‘Inferência baleias’ quebra a festa de codificação da IA

O Ai codificação O setor tem um problema.

Usuários pesados de Ai Os serviços de codificação têm acumulado custos enormes, forçando algumas startups líderes a revisar suas estruturas e ofertas de preços para evitar grandes perdas.

“Baleias de inferência”, como alguns da empresa chamam esses clientes, estão fazendo com que os insiders do setor questionem se os produtos de IA que estão apenas “revendendo inferência” podem sobreviver a longo prazo.

Inferência refere -se à forma como os modelos de IA são executados. Modelos de raciocínio mais recentes dividem as solicitações do usuário em várias etapas, o que aumenta os custos de inferência. Quando aplicados a serviços de codificação de IA, onde os desenvolvedores definem agentes automatizados para tarefas de longo prazo, as despesas podem subir rapidamente.

Este é um problema para os serviços de codificação de IA, porque são frequentemente oferecidos por meio de mensalmente planos de assinatura. Muitos planos permitem uso ilimitado por uma taxa mensal fixa, e alguns usuários aproveitaram bombardeando os serviços com grandes projetos.

Essas startups ainda devem pagar pelos modelos de IA subjacentes, então estão sendo espremidos entre um fluxo de receita relativamente fixo e os custos de back -end em rápido aumento.

“Se você está revelando puramente a inferência da IA, sua empresa pode ser muito frágil e vulnerável, porque os ventos podem mudar violentamente”, disse Eric SimonsCEO da Stackblitz e startup que oferece um serviço popular de codificação de IA chamado Bolt.New.

Baleias de código Claude

Antrópico ofereceu seu popular Código Claude Serviço através de um plano ilimitado de US $ 200 por mês no início deste ano. Alguns assinantes ficaram furiosos, usando milhares de dólares em inferência de IA ao longo de algumas semanas ou meses.

Alguém até construiu um site para classificar essas baleias codificadoras de IA. O RABOLA DE LIGADOR DE CÓDIGOS CLAUDE Lista um desenvolvedor no topo que queimou quase 11 bilhões de tokens.

Tokens são como os modelos de IA dividem as consultas em pedaços de dados digeríveis. Os preços da indústria são baseados em quantos tokens são processados. O uso de token do desenvolvedor mais bem classificado custa quase US $ 35.000, de acordo com esta tabela de classificação.

Isso se compara aos US $ 200 por mês que ele foi acusado. Mesmo que isso tenha um ano inteiro, o Antrópico estaria recebendo cerca de US $ 2.400, ao mesmo tempo em que incorre em custos de inferência muito mais altos.

Antrópico está mudando seus preços

Isso é claramente insustentável, portanto, os planos antropia para mudar seus preços. O plano de US $ 200 por mês permanecerá, mas a startup introduzirá limites semanais de taxa, a partir de 28 de agosto.

Se os usuários explodirem nesses novos limites semanais de taxa, eles terão que comprar capacidade adicional.

“Identificamos o uso extremo por um pequeno número de clientes que afetam a capacidade de nossa comunidade mais ampla”, disse um porta -voz antropia ao Business Insider.

A startup disse que também viu “violações de políticas”, como compartilhamento de contas e revelação do acesso.

“Estamos comprometidos em apoiar casos de uso avançado a longo prazo, mas precisamos garantir um desempenho consistente para todos os desenvolvedores nesse meio tempo”, acrescentou o porta-voz antrópico.

Uma baleia sueca

Rastreei uma das baleias perto do topo da tabela de líderes de Claude Code.

Albert Örwall, um desenvolvedor com sede na Suécia, disse que está usando a assinatura de US $ 200 por mês do Claude Code para construir sua própria plataforma de codificação de vibração, juntamente com algumas ferramentas agênticas de código aberto.

“Eu provavelmente estava executando de 3 a 4 tarefas bastante longas em paralelo constantemente enquanto trabalhava, e foi aí que realmente decolou”, disse ele sobre seu uso de código de Claude.

Mesmo excluindo esses grandes projetos, Örwall disse que seu fluxo de trabalho regular no código de Claude provavelmente aumenta os custos de inferência de US $ 500 por dia, sob uma assinatura que custa apenas US $ 200 por mês.

“Então, acho que meu fluxo de trabalho pode não ser sustentável para antropia”, acrescentou.

O cursor também respondeu

Quando o novo preço do Anthropic entra em ação, Örwall disse que manterá a assinatura de US $ 200 por mês por um tempo para ter uma ideia do que os limites semanais realmente significam para seu orçamento.

“Vou evitar pagar qualquer coisa além da assinatura de US $ 200”, disse ele, observando que pode mudar a maneira como ele escreve código e desenvolve projetos para evitar violar os novos limites de taxa.

“A razão pela qual eu mudei originalmente de Cursor para Claude Code foi porque os preços baseados em uso se tornaram muito caros no cursor”, acrescentou Örwall.

O Cursor é outro serviço popular de codificação de IA, que geralmente usa modelos de IA do Antrópico como a inteligência subjacente que alimenta seu produto.

A Cursor mudou recentemente seu plano profissional de US $ 20 por mês, de solicitações ilimitadas para um sistema em camadas com preços baseados em uso para solicitações “rápidas”, o que significa que os usuários são cobrados por exceder um certo limite.

Essa mudança, juntamente com a falta de comunicação clara, causou confusão e frustração entre alguns usuários que esperavam uso ilimitado.

O Cursor anunciou a mudança inicial em meados de junho. Em seguida, atualizou com mais detalhes cerca de duas semanas depois e, novamente, no início de julho.

“Novos modelos podem gastar mais tokens por solicitação em tarefas de mais tempo”, escreveu a startup em uma postagem no blog, pedindo desculpas por usuários surpreendentes com novas contas inesperadas.

“Embora os custos da maioria dos usuários tenham permanecido bastante constantes, as solicitações mais difíceis custam uma ordem de magnitude mais do que simples”.

Os custos de inferência não estão caindo

A suposição em todo o setor foi que os custos de inferência cairão drasticamente, tornando esses serviços de codificação de IA mais viáveis financeiramente.

No entanto, na prática, isso não aconteceu até agora. Em vez disso, quando um novo modelo de IA é lançado, todos os serviços de codificação de IA integram -o – junto com seus preços mais altos.

“Este é o primeiro pilar defeituoso da estratégia de ‘custos cairá'”, Ethan Ding, CEO da Startup TextQL, escreveu em um recente blog. “Existe a demanda para o período ‘O melhor modelo de idioma’. E o melhor modelo sempre custa o mesmo, porque é isso que a vantagem dos custos de inferência hoje”.

Desenvolvedores e outros usuários de IA geralmente desejam o melhor, não a principal inteligência do mês passado.

“Ninguém abre Claude e pensa: ‘Você sabe o quê? Deixe -me usar a versão de merda para salvar meu chefe.’ Somos criaturas cognitivamente gananciosas “, escreveu Ding. “Queremos o melhor cérebro que podemos obter”.

Mesmo quando os custos de inferência caem, o aumento dos fluxos de trabalho da IA agêntica significa que os desenvolvedores criam projetos automatizados mais longos que geram muito mais tokens.

Se um projeto usa 100 milhões de tokens, em vez de 1 milhão, o custo da iniciativa permanece alto, mesmo que os preços por toque possam ter caído.

“Uma assinatura de US $ 20/mês não pode sequer apoiar um usuário que faz uma única pesquisa de US $ 1 de profundidade por dia”, disse Ding. “Mas é exatamente isso que estamos correndo. Toda melhoria na capacidade do modelo é uma melhoria na quantidade de computação que eles podem consumir significativamente”.

“Não há como oferecer uso ilimitado neste novo mundo sob qualquer modelo de assinatura”, acrescentou. “A matemática quebrou fundamentalmente.”

Inscreva -se no boletim de memorando técnico da BI aqui. Entre em contato comigo por e -mail em abarr@businessinsider.com.