GLM 5.2 e o iminente colapso das margens de inferência em IA

• O GLM 5.2 mostra que modelos de pesos abertos (open weights) podem se aproximar de tarefas agentic no nível de Opus e GPT, pressionando as altas margens de inferência dos modelos frontier fechados
• A questão dos custos de IA não é tanto o custo de treinamento, que ocorre uma vez, mas o custo de inferência, que cresce com a demanda; preços de API na faixa de US$ 25/MTok provavelmente embutem margens brutas altas
• A qualidade é difícil de distinguir da do Opus, mas sua tendência a “pensar” bastante aumenta a velocidade percebida e o uso de tokens; a falta de suporte a visão e a busca web fraca continuam sendo pontos negativos
• Graças aos endpoints compatíveis com OpenAI e Anthropic da Z.ai e da Fireworks, é possível testar no Claude Code e no Codex trocando apenas a base URL e a API key
• O preço do GLM 5.2 é de cerca de US$ 4,40/MTok, menos de 20% do preço de varejo do Opus e cerca de 15% do GPT5.5, e pode cair ainda mais com otimizações da stack de serving e uso de AMD

---

Estrutura de custos: a inferência, mais que o treinamento, determina as margens

• Na época do DeepSeek R1, o mercado reagiu a relatos de que o treinamento do modelo V3 custara menos de US$ 6 milhões, interpretando isso como o fim dos grandes investimentos em infraestrutura para treinamento de modelos, mas isso foi mais um caso de leitura equivocada da estrutura de custos da IA
• Custos de treinamento exigem muito capital, mas em essência têm forte caráter de custo fixo pago antecipadamente
  • Laboratórios frontier continuam treinando novos modelos para manter a competitividade, portanto não é um custo totalmente pontual
  • Ainda assim, sua natureza é diferente dos custos de inferência, que aumentam proporcionalmente ao uso pelos clientes
• Custos de inferência crescem junto com a demanda e criam o verdadeiro custo marginal
• Quando Anthropic e OpenAI cobram US$ 25/MTok por inferência, há cálculos indicando que isso pode representar cerca de 90% de margem bruta em relação ao custo computacional
  • Documentos financeiros vazados da OpenAI sugerem uma margem bruta de cerca de 60% sobre a receita, mas é provável que isso inclua suporte, processamento de pagamentos e outros custos de serviço
• O modelo de negócios dos laboratórios frontier de IA consiste em treinar modelos com mão de obra cara e computação, depois amortizar esse custo por meio de grandes volumes de inferência altamente lucrativa

Qualidade e experiência de uso do GLM 5.2

• O GLM 5.2, da Z.ai, pode ser visto como o primeiro verdadeiro modelo concorrente de pesos abertos contra Opus e GPT
  • No momento da redação, o GPT mais recente é citado como GPT 5.5
  • Também há a ressalva de que modelos futuros podem superar esse patamar
• No uso real, a qualidade foi tão alta que era difícil distingui-lo do Opus usado no dia a dia
• A maior desvantagem é a lentidão percebida
  • Em tarefas agentic não interativas e pouco sensíveis ao tempo, como revisão de PR em background, isso não é um grande problema
  • No uso interativo, é um pouco lento para manter a atenção
  • A lentidão vem principalmente do fato de o modelo “pensar” muito, mais do que do serving em si
  • O GLM 5.2 da Fireworks foi lançado com alta velocidade em tokens/sec, mas a velocidade real oscilava um pouco
• Por pensar mais, ele aumenta o uso de tokens, reduzindo parte da eficiência de custo

Pontos fracos em visão e busca web

• O GLM 5.2 não tem suporte a visão (vision)
  • Após os recursos de visão em alta resolução do Opus 4.7, tornou-se comum ler PDFs baseados em imagem, screenshots e arquivos de design, então essa limitação é bem perceptível
  • Isso continua sendo uma desvantagem importante frente aos laboratórios frontier
• A ausência ou baixa qualidade da busca web também limita tarefas agentic
  • Quase toda sessão agentic faz muitas buscas web para procurar itens
  • A Z.ai oferece um MCP alternativo para busca web, mas ele era lento e de baixa qualidade
  • A Fireworks não oferece recurso de busca web
• Como contorno temporário, é possível instruir o agente a usar busca web via CLI, como ddgr
• Uma boa API de busca web de terceiros poderia preencher uma grande lacuna que provedores de modelos de pesos abertos ainda não conseguiram resolver
• A capacidade de busca web é essencial para muitas tarefas agentic, e pode ser resolvida com o tempo se houver atores criando índices de busca e as parcerias e integrações adequadas

Modelos de pesos abertos com baixo custo de troca

• O ponto mais ameaçador para os laboratórios frontier é a baixa dificuldade de migração para modelos de pesos abertos
• Tanto a Z.ai quanto a Fireworks oferecem endpoints compatíveis com OpenAI e Anthropic
  • No Claude Code e no Codex, troca-se a base URL para o provedor de inferência
  • Define-se a API key
  • Especifica-se GLM 5.2 como o modelo a ser usado
• Diante da situação em que a Anthropic anunciou e depois recuou da cobrança de API pelo uso agentic não interativo do claude -p, muitos casos de uso podem ser substituídos pelo GLM
• Mesmo no uso interativo, exceto pela falta de visão e pela lentidão, era difícil perceber dentro do Claude Code que se estava usando um modelo que não era o Opus
• Essa transição não é uma migração como as de lock-in à la Microsoft ou Salesforce, que precisam ser planejadas por anos
  • O custo de troca é baixo
  • Pode ser menor que o custo de acompanhar mudanças nas políticas e nos termos dos laboratórios frontier
  • Existe a possibilidade de o Claude Code dificultar no futuro o uso de provedores terceiros
  • Há muitas boas alternativas open source, incluindo Codex e OpenCode

Adoção corporativa: proteção de dados e opções de implantação

• Uma preocupação frequente nas empresas é privacidade e segurança de dados
• A API oficial e as assinaturas da Z.ai são vistas como opções pouco viáveis para empresas devido a termos fracos e a conexões profundas com a China continental
• Modelos de pesos abertos permitem escolher outro provedor
  • O mercado tem muitos provedores com condições contratuais mais adequadas
  • Se necessário, também é possível fazer hospedagem on-premises
• A implantação on-premises permite usar dados ainda mais sensíveis, que não podiam ser enviados a nenhum terceiro, em workflows agentic no nível do Opus

Preços e pressão sobre margens

• O preço atual do GLM 5.2 é de cerca de US$ 4,40/MTok
  • Menos de 20% do preço de varejo do Opus
  • Cerca de 15% do custo do GPT5.5
• Como o GLM 5.2 usa mais tokens na mesma tarefa, não é uma comparação totalmente apples-to-apples
• Ainda assim, é provável que ofereça qualidade semelhante em quase todos os workflows por mais de 50% menos
• A Z.ai oferece uma assinatura de “coding plan” semelhante aos planos da Anthropic e da OpenAI, com limites de uso mais altos
  • Porém, termos flexíveis demais sobre treinamento e retenção de dados podem dificultar a venda para uso profissional
  • Se os laboratórios frontier aumentarem muito os preços, ela pode se tornar uma opção confiável para usuários atentos ao orçamento
• Espera-se que o custo do GLM 5.2 caia bastante nos próximos meses com a otimização da stack de serving
  • A Wafer resumiu sua experiência rodando o GLM 5.2 em hardware AMD
  • Ela afirma que executar inferência em AMD reduz o custo por token em 2,75 vezes em comparação com Nvidia Blackwell
• A Fireworks ofereceu créditos gratuitos para experimentar o GLM

[GN⁺]

Opiniões do Hacker News

• Não tenho certeza de que o custo em si seja tão importante assim

  1. Desde o surgimento da nuvem, os custos de computação caíram bastante, mas os hyperscalers ainda mantêm margens altas
  2. Há muitas suítes de escritório open source, mas elas não conseguiram competir com a ubiquidade do G Suite ou do Office; GitHub e Slack são parecidos
  3. Windows e macOS dominam os desktops domésticos apesar de alternativas gratuitas existirem há muito tempo
  4. Componentes de infraestrutura que antes eram open source, como Redis e Elastic Search, também têm alternativas da família Apache, mas ainda geram boas margens
     Entendo a tese de colapso das margens, mas não vejo muitos paralelos históricos claros. Empresas provavelmente pagarão caro por garantias de serviço, integração e alguém que possam processar, e no fim parece que se repete o “ninguém foi demitido por comprar IBM”
  • Não acho que essa analogia seja tão clara. Primeiro, como a entrada e a saída dos LLMs são texto, quase não há efeito de aprisionamento, então é fácil migrar. Segundo, acho que você subestima o tamanho das faturas que as empresas estão pagando, e os departamentos financeiros já estão recebendo ordens para conter gastos mesmo em um cenário de grandes subsídios
    Terceiro, a estratégia dos EUA parece caminhar para restringir artificialmente o acesso a modelos poderosos, mas, se a China mantiver o ritmo atual, em seis meses lançará um modelo tão bom quanto o Fable e não o manterá bloqueado. Se houver um modelo aberto, mais barato e melhor, o incentivo para trocar será enorme; e, se a China estiver ganhando participação de mercado, terá muito menos motivo para subir preços. David Sacks e a estratégia de IA do governo dos EUA são muito míopes e provavelmente vão sair pela culatra
  • Ao pensar em paralelos históricos, há muito viés de sobrevivência. Quando margens desabam e a concorrência transforma uma indústria em commodity, os grandes nomes monopolistas da época deixam de existir
    Nos anos 1980, as margens de chips de memória desabaram e a Intel abandonou completamente esse negócio; na época, a Intel era mais conhecida como empresa de chips de memória do que como empresa de microprocessadores. As margens de workstations de alto desempenho também ruíram diante dos IBM PC compatíveis baratos e da explosão de software para MS Windows, o que levou diretamente ao desaparecimento de SGI, Sun, Symbolics, Lucid, LMI e outras
    Variantes proprietárias de UNIX como HP-UX, IRIX, AIX e SCO Unix praticamente desapareceram, substituídas por sistemas operacionais proprietários mais baratos como Windows e MacOS, ou por descendentes open source como Linux e BSD. Fornecedores de bancos de dados comerciais como Oracle, dBase, Sybase, FoxPro, SQL Server e Access da Microsoft também sofreram forte pressão de margem vinda de PostGres, MySQL e SQLite; a Oracle sobreviveu graças à enorme base instalada e ao departamento jurídico, e a Microsoft porque podia fazer subsídio cruzado a partir dos monopólios de OS e Office, mas dBase, Sybase e FoxPro desapareceram
  • Diferentemente desses exemplos, trocar de LLM é barato e fácil. A ponto de, quando um novo modelo sai a cada três meses, as pessoas começarem a usá-lo imediatamente
    Mesmo com provedores diferentes, a experiência do usuário é a mesma: você envia um prompt e recebe uma resposta. Nos outros casos, era preciso aceitar a perda de suporte ou um período de migração difícil; já LLMs quase não tinham suporte desde o início, e a migração hoje é basicamente atualizar o harness para conhecer outro modelo
    Uma comparação mais adequada talvez seja a ascensão da AMD. Ela pode não ter dominado o mercado, mas causou um grande estrago, e pesou muito o fato de o AMD x86 ser bem próximo e compatível com o Intel x86, além de muito mais barato
  • Eles não precisam simplesmente de boas margens; precisam recuperar quase US$ 1 trilhão em poucos anos. Comparar com Elastic Search ou Redis não é muito adequado
    Hyperscalers funcionam porque oferecem valor real em relação às alternativas gratuitas e porque o custo de trocar de provedor é enorme. Windows e macOS também têm custos muito altos de troca para outra coisa, e em muitos casos isso nem é possível. Office também tem custos de migração altos por causa de problemas de compatibilidade e retreinamento de funcionários
    No fim, o ponto central é o efeito de aprisionamento, e até agora os LLMs não parecem ter isso. Por isso, acho que os argumentos acima não se encaixam bem aqui
  • Acho que as suítes de escritório open source não conseguem competir com a ubiquidade do G Suite ou do Office porque colaboração é difícil de resolver. Sem colaboração, o G Suite/Office quase não oferece nada
    Mac OS também é gratuito. No sentido de grátis como cerveja
    É verdade que empresas pagam caro por garantias de serviço, integração e alguém que possam processar, mas, em linhas gerais, empresas americanas são extremamente ricas e talvez não sejam bons exemplos de gastadoras racionais

• No mês passado, cancelei minha assinatura do Claude Pro e usei aqueles US$ 20 para comprar créditos no Openrouter. A maioria das perguntas de exploração de conhecimento pode ser respondida pelo Gemma4, edição básica de código basta com o Qwen3.6 27b, e até tarefas realmente difíceis o GLM5.2 aguenta
  Também não sou um usuário tão intenso de IA, então acabo economizando dinheiro com créditos de API, usando o menor modelo possível conforme a complexidade da tarefa

• Concordo, mas pela direção oposta. A IA continua absorvendo meu trabalho como engenheiro sênior de software de sistemas em C/C++, e ao longo de alguns meses gastei só algumas centenas de dólares usando gpt-5.5/5.6 e codex.
  Não sei o que as pessoas fazem para queimar tantos tokens, mas para mim é ridiculamente barato e descubro recursos novos todos os dias. O custo subir ou cair não me importa, porque é barato demais em relação ao que recebo.

  • É porque pagamos preço de consumidor final, ou seja, assinatura. Os mesmos tokens custam milhares de dólares no faturamento empresarial.
  • Fluxos de trabalho agentivos consomem muito. É quando loops de agentes automatizados continuam avançando em direção a um objetivo.
    Se você usa um LLM como assistente do próprio trabalho, não gasta tantos tokens assim, mas se coloca vários agentes para trabalhar de forma independente e revisar o trabalho uns dos outros, o orçamento queima muito rápido.
  • É por ignorância, má higiene de código e prompts ruins. Como alguém que mal sabe programar, na era pré-agentes, quando o Gemini IDE quase não tinha limites de uso, eu tinha projetos antigos feitos com vibe coding; os arquivos incharam para milhares de linhas ou mais e o backlog de bugs se acumulou.
    Modelos burros começaram a quebrar nesse ponto e, como o projeto era mais ou menos utilizável para minhas necessidades, eu parei. Depois surgiram coding com agentes e modelos inteligentes o bastante para corrigir os problemas, mas a base de código estava tão bagunçada que eles lidavam com ela de forma extremamente ineficiente. Bastavam alguns prompts para consumir a cota de 5 horas.
    Depois de passar alguns dias criando um agent.md decente e refatorando a base de código, agora ela consome tokens só aos poucos. Imagino que muita gente ainda esteja nesse barco. Muitos de nós não conhecemos nenhuma prática recomendada e nem sabemos como dizer ao agente que deve se comportar.
    Olhando em retrospecto, eu deveria ter passado alguns dias aprendendo o básico, mas o problema é que a gente não sabe o que não sabe. Tenho dificuldade em acreditar que as empresas estejam, no onboarding de novos usuários, dando prompts para que os agentes ajam com consideração; para elas é vantajoso viciar pessoas como eu e fazê-las usar o máximo possível de tokens. Gastei algumas centenas de dólares a mais em assinaturas e tiers desnecessários, mas na época isso parecia pouco diante do ganho de produtividade de sair do 0 para o 1.
  • Mesma experiência. Eu realmente não entendo como as pessoas queimam o consumo de tokens que dizem que queimam.
  • Já conduzi a escrita de cerca de 500 mil linhas de código.

• Como o modelo em si não tem capacidade nativa de visão, existe um vision MCP para compensar isso: https://docs.z.ai/devpack/mcp/vision-mcp-server
  A busca na web também foi, em geral, decente. Usando o harness do ZCode, a cota de Coding Plan fica maior: https://zcode.z.ai/en
  Usei por pouco tempo e ele fica em algum ponto entre o OpenCode Desktop e o Claude Desktop. O OpenCode Desktop ainda é novo, mas é bom, e as versões recentes do Claude Desktop estão boas.
  Como modelo, o GLM 5.2 é, no modo de raciocínio máximo, em geral satisfatório; fica mais ou menos entre o Sonnet 5 e o Opus 4.8, e é claramente melhor que o DeepSeek V4 Pro.
  Em termos de preço, a assinatura não parece tão boa quanto eu esperava. Em um dia, usei cerca de 60% do limite semanal do plano Pro de US$ 50, e isso porque a cada limite de 5 horas ele só me deixava usar 20%; caso contrário, teria sido 80–100%. Não fiz nada especialmente maluco, só tarefas longas em paralelo em 2 projetos, com uma taxa de acerto de cache de cerca de 96% e no máximo 3 subagentes paralelos de code review.
  Com uma assinatura Max de US$ 100, deve dar para aguentar a semana inteira, mas a Anthropic também faz isso pelo mesmo dinheiro, e a OpenAI provavelmente também. Os horários fora de pico são melhores, mas não dá para ficar chupando o dedo das 9h às 13h no horário local.
  Uma economia de verdade provavelmente só aparece ao combinar o plano Max com pagamento anual, mas isso é mais difícil de convencer.

  • Era tão barato que mudei o Cline pass para pagamento anual.
  • Também existe o GLM-5V-Turbo: https://docs.z.ai/guides/vlm/glm-5v-turbo

• É importante que essas empresas não consigam conspirar para fixar preços. Ter a China como concorrente garante isso.
  A maneira mais fácil de entender a economia dos tokens continua sendo a microeconomia básica. Como isso poderia não ser um mercado competitivo, ou seja, um mercado em que o lucro tende a zero?
  Qualquer coisa que A ou O façam para tentar manter margens maiores pode ser copiada por concorrentes ou receber um preço mais baixo, e reduzir o preço ainda traz a vantagem de coletar dados de treinamento. Além de conluio ou fixação de preços, o que poderia impedir a margem bruta dos tokens de ir a zero?

  • Você deixou algo de fora: o que vai impedir isso é a política industrial do governo federal.
  • Observar as condições dentro de um único mercado ainda é microeconomia. Concordo, mas é difícil ver de onde as empresas tirariam poder de mercado, então acho que os lucros vão se aproximar de zero.
    Dito isso, eu pensava a mesma coisa sobre GPUs, e a Nvidia ainda parece não ter um concorrente de verdade em datacenters.

• Minha analogia favorita é que a IA vai ficar tão barata quanto eletricidade.
  Você sabe quem fornece a eletricidade que usa, ou de qual usina ela vem? Provavelmente não. A eletricidade é uma commodity de uso geral e em grande parte estabilizada, porque há muitos recursos energéticos. Existem energias alternativas e também minas de carvão. Todos competem nas transações de oferta e demanda de energia que acontecem em tempo real. Aqui, pense no OpenRouter.
  No fim, os consumidores ganham por causa da abundância.
  O maior exemplo para mostrar a abundância de inteligência barata e infinita talvez não seja o GLM5.2, mas o DeepSeek V4 Pro max, a US$ 0,435 por 1 milhão de tokens de entrada e US$ 0,87 por 1 milhão de tokens de saída.

• Não consigo entender o argumento de que “o treinamento exige muito CapEx, mas é um custo inicial fixo; você gasta centenas de milhões de dólares para treinar um modelo e pronto”.
  Se há concorrentes e as pessoas continuam esperando cada vez mais, então é preciso treinar novos modelos continuamente; e se o custo de treinamento em relação à taxa de melhoria parece ficar cada vez maior, isso não é um custo recorrente que precisa ser bancado o tempo todo? A nota de rodapé até sugere esse ponto, mas no fim parece passar por cima dele
  Também fico curioso se existe algum custo incremental de treinamento para manter o modelo continuamente relevante. Ou o modelo só sabe sobre eventos até o dia em que foi treinado?

  • Esses modelos dependem do conhecimento incorporado nos pesos. Quando surge uma nova biblioteca, uma nova versão do Linux ou algum novo protocolo substitui o anterior, você quer que o LLM saiba disso.
    Claro, dá para colocar na janela de contexto, mas isso tem seus próprios problemas.
    A menos que algumas novas pesquisas promissoras tragam um novo método, o custo de treinamento continuará sendo um ralo de dinheiro.
    Além disso, se você parar de treinar, seis meses depois alguém lança um modelo de pesos abertos, e aí você passa a competir para oferecer o mesmo produto pelo menor preço.
    Também não dá para esquecer que esse negócio não é apenas uma ferramenta técnica simples; é um negócio que precisa necessariamente entrar no mercado de trabalho global. Para justificar uma avaliação de US$ 1 trilhão, os modelos precisam ficar muito melhores.

• Fala em “a mudança iminente menos compreendida na economia da IA” e depois trata de algo que aparece todo dia nas notícias de IA. Dá a impressão de “você nunca ouviu falar que modelos open source estão ficando mais baratos e melhores?”
  Para começar, por nenhum critério o GLM5.2 é tão bom quanto o Opus.
  Em segundo lugar, é verdade que modelos open source acabarão pressionando as margens, e todo mundo sabe disso. Mas será que o modelo de negócios de IA de hoje será o mesmo amanhã?

  • O GLM-5.2 não é tão bom quanto o Opus; é melhor. Dá para remover as inibições do GLM-5.2 e colocá-lo em projetos que o Opus recusaria.
  • Depende do que você está fazendo. Para tarefas complexas ou mal definidas, provavelmente o Opus é a escolha certa; mas, em tarefas relativamente simples ou muito bem definidas, o GLM-5.2 é igualmente bom e geralmente muito mais rápido.
    A personalidade também é mais neutra e menos confrontadora que a do Opus. O Opus sempre passa uma sensação de “para contestar isso...”, enquanto o GLM fica mais perto de “sim, entendido!”. Uso os dois e gosto dos dois, mas não choraria se o Opus desaparecesse amanhã. Eu me adaptaria rapidamente só com o GLM-5.2.

• Dizem que a capacidade de busca na web do GLM 5.2 é ruim, mas acho que isso é responsabilidade do harness.
  Rodei minha própria instância do SearXNG em um VPS e a integrei ao Pi junto com uma ferramenta de webfetch, e até agora o GLM 5.2 tem encontrado as coisas bem. Pedi notícias recentes de um jornal online austríaco difícil de parsear por causa de overlays agressivos de anúncios, e os apps de chat padrão do ChatGPT e do Claude falharam. O GLM 5.2 dentro do Pi foi esperto o bastante para procurar o feed RSS e me deu uma visão geral detalhada.
  A falta de visão é realmente uma pena. Implementei uma solução alternativa no Pi, e ela funciona mais ou menos, mas não é tão boa e a experiência geral fica estranha.

• Parece um texto bastante sem sentido por olhar apenas para tokens de saída.
  Em codificação agente, tokens de entrada em cache representam 90% do “custo” da API. Eles não exigem processamento em GPU, e a DeepSeek mostrou que, com MLA/CSA/HCA e muitos discos, dá para processá-los por 50 a 100 vezes menos. É isso que vai derrubar as margens.

  • Os laboratórios de IA dos EUA não estão tentando desesperadamente encontrar outros mercados além de codificação agente?
  • MLA/CSA/HCA não são todos métodos de compressão com perdas? Fico me perguntando se essa não é uma das razões pelas quais as pessoas reclamam da queda de qualidade conforme o tamanho do contexto aumenta.
  • O comentário atualmente no topo em https://lobste.rs/s/ua1gxl/glm_5_2_coming_ai_margin_collapse identificou corretamente os tokens de entrada em cache, mas chegou à conclusão oposta.
    Ele diz algo como: “por uma mensalidade de US$ 100, você recebe o equivalente a US$ 3.600 em uso de API. Isso provavelmente é possível porque a Anthropic encontrou formas inteligentes de roteamento de modelos e cache de entrada, subsidiando com dinheiro de investidores e aceitando perdas na margem operacional”.
    Minha interpretação é que essa é exatamente a imagem que a Anthropic quer que todos acreditem. Na realidade, 90% desses US$ 3.600 são tokens de entrada em cache e, como a DeepSeek mostrou, podem ser tornados praticamente gratuitos.