2 pontos por GN⁺ 3 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • A SpaceXAI lançou o Grok 4.5, seu modelo topo de linha voltado para codificação, tarefas agentivas e trabalho de conhecimento
  • O processo de treinamento focou em dezenas de milhares de GPUs NVIDIA GB300 e em deduplicação de dados, pontuação de qualidade e seleção centrada em domínio, enfatizando a qualidade do sinal mais do que o simples volume de tokens
  • Nos benchmarks, registrou 83.3% no Terminal Bench 2.1, 64.7% no SWE Bench Pro, 62.0% no DeepSWE 1.0 e 53% no DeepSWE 1.1
  • A velocidade de serving é de 80 TPS, e a média de tokens de saída por tarefa no SWE Bench Pro é de 15.954, cerca de 4,2 vezes menos que os 67.020 do Opus 4.8(max)
  • O Grok 4.5 pode ser usado no Grok Build, em todos os planos do Cursor e no console da SpaceXAI, mas a disponibilidade na UE ainda não foi aberta e está prevista para meados de julho

Treinamento e avaliação voltados para codificação e tarefas agentivas

  • O Grok 4.5 foi treinado com datasets que incluem conhecimentos de codificação, ciência, engenharia e matemática, tendo como principais casos de uso tarefas reais de engenharia e trabalhos agentivos
  • Resultados de benchmark

    • Os números dos modelos comparados foram obtidos nos system cards públicos ou leaderboards de benchmark divulgados por cada desenvolvedor
    • DeepSWE 1.0: Grok 4.5 62.0%, Fable(max) 66.1%, GPT 5.5(xhigh) 64.31%, Opus 4.8(max) 55.75%, Opus 4.7(max) 40.12%
    • DeepSWE 1.1: Grok 4.5 53%, Fable(max) 70%, GPT 5.5(xhigh) 67%, Opus 4.8(max) 59%, GLM 5.2 44%
    • Terminal Bench 2.1: Grok 4.5 83.3%, Fable(max) 84.3%, GPT 5.5(xhigh) 83.4%, Opus 4.8(max) 78.9%, Opus 4.7(max) 78.9%
    • Taxa de resolução no SWE Bench Pro: Grok 4.5 64.7%, Fable(max) 80.4%, Opus 4.8(max) 69.2%, Opus 4.7(max) 64.3%, GLM 5.2 62.1%, GPT 5.5(xhigh) 58.6%
  • Infraestrutura de treinamento e processamento de dados

    • A infraestrutura de treinamento usou dezenas de milhares de GPUs NVIDIA GB300 e inclui técnicas de estabilidade para execuções de treinamento em larga escala
    • O processamento de dados investiu em filtragem e curadoria mais do que no simples volume de tokens
      • Deduplicação
      • Pontuação de qualidade
      • Seleção centrada em domínio
    • O aprendizado por reforço foi conduzido em centenas de milhares de tarefas, com foco na inteligência por token
      • As tarefas centrais são engenharia de software em múltiplas etapas e outros trabalhos técnicos
      • Foram usadas avaliação automática e avaliação baseada em modelo
      • Os rollouts agentivos podem rodar por várias horas, e o treinamento usa uma stack de aprendizado assíncrono que continua em execução em dezenas de milhares de GPUs
  • Exemplos de uso em codificação

    • O Grok 4.5 é apresentado como forte em tarefas de codificação, desde trabalhos difíceis em Rust e C/C++ até a criação de apps end-to-end baseados em prompt
    • Um prompt de exemplo pede a criação, com threejs, de uma simulação do espaço e do sistema solar, incluindo controle de tempo, movimento realista, órbitas, estrelas e um HUD moderno

Velocidade, preço e suporte a ferramentas de trabalho

  • O Grok 4.5 é oferecido com velocidade de modelo de 80 TPS
  • A média de tokens de saída por tarefa no SWE Bench Pro é de 15.954, cerca de 4,2 vezes menos que os 67.020 do Opus 4.8(max)
  • O preço é de US$ 2 por 1 milhão de tokens de entrada e US$ 6 por 1 milhão de tokens de saída
  • A SpaceXAI afirma que o Grok 4.5 alcança cerca de 2 vezes mais eficiência de tokens do que os principais modelos comparados e resolve tarefas em menos da metade das etapas
  • Grok Build e plugins do Office

    • O Grok 4.5 é o modelo padrão do Grok Build
    • O Grok Build pode criar modelos complexos de Excel com pesquisa na web, uso de fórmulas em várias planilhas e stickies ou notas para referência futura
    • No PowerPoint, ele pode criar diagramas complexos com formas nativas e projetar conteúdo de slides de forma intuitiva
    • No Word, ele ajuda a escrever frases com clareza
    • Os plugins do Office estão disponíveis para Word, PowerPoint e Excel
  • Canais de disponibilidade e restrições

    • O Grok 4.5 está disponível atualmente no Grok Build, no Cursor em todos os planos e no console da SpaceXAI
    • Há oferta limitada de uso gratuito do Grok 4.5 no Grok Build e no Cursor
    • Na UE, ainda não é possível usar o Grok 4.5 nos produtos da SpaceXAI nem no console de API, e a disponibilidade é esperada para meados de julho

1 comentários

 
GN⁺ 3 시간 전
Opiniões no Hacker News
  • Acho difícil confiar sabendo que a xAI ajusta ativamente as respostas do modelo para se alinharem a uma narrativa política.
    Fica a dúvida de como confiar, em um ambiente corporativo, em um modelo que continua sendo direcionado no backend.

    • Não seria possível que todos os provedores de modelos também estejam ajustando as respostas para as narrativas políticas que preferem?
    • A réplica é que os outros modelos também não seriam diferentes.
    • Se você perguntar ao Claude sobre temas sensíveis, como taxas de criminalidade de minorias no Ocidente ou a biologia de mulheres trans, talvez não perceba que ele mentiu.
      Mesmo apontando a mentira para o modelo, provavelmente não teria sido fácil fazê-lo admitir que isso se deve ao processo de HRLF e a vieses embutidos.
      Ver o Claude dizer por conta própria que não deveria ser usado em 10 a 15 grandes áreas de pesquisa, ou admitir que em questões “difíceis” as fontes são frequentemente escolhidas a dedo e que ele apresenta um equilíbrio extremamente equivocado, faz parecer que todos os LLMs são enviesados e que a maioria pende para o lado progressista.
      Pelo contrário, em testes, o Grok muitas vezes dava respostas mais politicamente corretas que GPT ou Gemini, e ele só ganhou uma reputação mais agressiva porque usuários do X conseguem provocar deliberadamente respostas politicamente incorretas.
      Acrescenta que o Grok em grok.com ou no app é, na prática, bastante comportado, até entediante.
    • Não bastaria não usá-lo para fins políticos?
      A posição é: se for usar apenas para geração de código, por que se preocupar com isso?
    • A retórica de Elon e o comportamento do modelo não batem muito.
      O Grok também faz críticas a Elon e costuma rebater vários pontos de extrema direita que ele promove.
  • Surpreende que as pessoas queiram usar o Grok.
    A xAI parece descaradamente uma empresa moralmente falida, e dá a impressão de ser a única empresa de IA que parece ok com CSAM, ou ao menos não faz o suficiente para impedir isso.
    Não há motivo para dar dinheiro a ela, a menos que fosse a única opção, e hoje não é nem de longe o caso.

    • A visão é que as pessoas pagam justamente por causa dessa postura moral.
      A interpretação é que elas acham CSAM ativamente aceitável, ou simplesmente não se importam.
    • É perigosa a ideia de que basta haver uma, no máximo duas, empresas de IA.
      Historicamente, os métodos para decidir quem é mais moral não deram resultados muito bons.
    • Antes, eu pensava bastante sobre usar o Grok ou produtos moralmente questionáveis, mas comprei uma casa, gastei muito dinheiro com salário de engenheiro de software, talvez tenha contribuído para a gentrificação ao me mudar para SF alguns anos atrás, e pensei que não fiz nada apesar de inúmeras crianças na China não terem dinheiro para estudar.
      Então uso o Grok, doei uma quantia considerável a uma ONG chinesa, a ponto de deixar minha família desconfortável, e decidi não doar para organizações sem fins lucrativos de SF porque ainda tenho hipoteca e também sou um tanto egoísta.
      Acredito que moralidade e boas ações devem ser abordadas com uma postura pragmática.
      Gosto do Grok em vários aspectos, e boicotar também é moralmente bom, mas acho que há muitas outras escolhas morais que dá para fazer mantendo os pés no chão.
    • A moralidade dos figurões do setor de IA é toda suspeita.
      Os corpora de treinamento, em geral, foram roubados, e todos continuam correndo mesmo tendo contraído dívidas das quais é difícil escapar.
      Mas os produtos ficaram úteis demais, então quase ninguém vai ficar de fora esperando surgir um LLM “moralmente aceitável”, e esse modelo provavelmente será inevitavelmente inferior.
      Ainda assim, no caso de CSAM é difícil julgar, e concordo que, se a xAI realmente acha isso aceitável, ela é mais imoral que as outras empresas.
  • O Grok 4.5 parece muito econômico.
    Ele tem eficiência de inferência 4 vezes melhor que o Opus e custa $2/$6; em comparação, o GPT 5.4 custa $2,5/$15, o GPT 5.5/5.6 custa $5/$30, o Opus 4.8 custa $5/$25, e o Fable custa $10/$50.
    Se os benchmarks não foram manipulados, ele parece estar no nível do Opus 4.7, e isso também bate com o que Elon disse em https://x.com/elonmusk/status/2074911038286295049.
    Os dados do Cursor devem ter sido bastante úteis.

    • O preço de $2/$6 parece se aplicar apenas a comprimento de contexto de até 200K.
      Acima disso, até o contexto máximo de 500K, o preço dobra para $4/$12.
      https://docs.x.ai/developers/models/grok-4.5
    • A xAI tem um dos maiores clusters, mas é menos popular que as concorrentes, então tem muito menos tráfego e tokens para processar; a hipótese é que ela consegue repassar essa economia ao usuário final.
    • Seria bom haver um plano equivalente com limites de computação parecidos com o plano de $100 da Claude.
      Uso a versão de $40 por mês do Grok, e o máximo que consigo fazer de programação com o Grok Build “sem parar” em um mês é cerca de 8 horas.
    • Fico curioso sobre como ele se compara às APIs chinesas.
      Se a xAI não parece significativamente mais competente, ou sequer um pouco mais honesta, que os laboratórios chineses, penso que talvez seja melhor simplesmente mandar o trabalho para a China, a menos que ela seja muito mais barata.
    • Comparado ao Deepseek v4 Pro, de desempenho parecido, ele é muito caro.
      O Grok está preso em uma posição ambígua. Não é o melhor em nenhuma área e também não é o mais barato.
      Mesmo antes de considerar seu histórico, é difícil encontrar um motivo para usá-lo, e também me pergunto se propor na empresa o uso de um modelo que chama a si mesmo de “MechaHitler” levaria a uma promoção.
  • Segundo o blog do Cursor, ele foi treinado com trilhões de tokens de dados do Cursor, abrangendo uma ampla gama de interações reais de usuários com codebases e ferramentas de software
    Graças a esse conjunto de dados, é possível aprender não só com software existente, mas também com interações desenvolvedor-agente, capturando a forma como desenvolvedores trabalham e como agentes interagem com o ambiente
    Vejo aí o motivo de tanto dinheiro envolvido. O Cursor foi o primeiro grande player a ter dados de projetos reais antes de Claude Code ou Codex decolarem de fato
    Usaram aprendizado por reforço em problemas difíceis de ambientes realistas para ensinar investigação de problemas, uso de ferramentas, recuperação de erros e validação de resultados; e, à medida que as tarefas existentes deixavam de ensinar algo novo, foi preciso projetar problemas difíceis o bastante para até modelos de fronteira falharem
    Quando um engenheiro define o problema e a forma de validação, eles criam um sistema distribuído de agentes em que agentes em larga escala configuram, testam e melhoram o ambiente; a estrutura usa modelos da geração anterior para preparar o dataset da próxima iteração de treinamento
    É um ciclo em que, quanto melhor fica o modelo, melhores ficam os dados e melhor fica o próximo modelo; e, para quem acha que “os modelos chineses estão perto do estado da arte mais recente”, há também uma comparação com o treinamento do Composer 2.5
    A avaliação de que a xAI entrou em decadência depois de entregar muito poder computacional para a Anthropic parece um tanto exagerada, e o Grok 4.5 foi treinado em dezenas de milhares de GPUs NVIDIA GB300

    • A Microsoft, mesmo tendo o GitHub e o Visual Studio, não tem um bom modelo de programação
    • Também é possível preparar dados para a próxima geração de modelos usando a geração anterior, ou até fazê-la gerar dados sintéticos
      Antigamente isso era considerado uma má ideia, mas ficou claro que, ao usar muito poder computacional para criar os dados e montar scaffolds para avaliá-los, a qualidade fica bastante boa
    • A grana pesada foi para ações da SpaceX, inclusive ações novas logo após o IPO, então, no geral, parece uma escolha bem inteligente
    • Já li várias vezes que preparar o dataset da próxima iteração usando modelos da geração anterior é prejudicial ao treinamento
      Na prática, isso parece descrever o que muita gente chama de destilação; pelo que entendo, ela só é útil para induzir comportamento no pós-treinamento e ensina o modo de agir, não o modo de pensar
      Posso estar errado, então seria bom alguém que entenda melhor explicar
  • Não entendo como gastar bilhões de dólares para criar o terceiro melhor modelo faz sentido economicamente
    O primeiro e o segundo já parecem ter dificuldade para dar lucro, então fico curioso para saber o que estou deixando passar
    Não quero levar a coisa até o fim no estilo Ed Zitron, mas não consigo entender

    • Antes era um quarto lugar bem distante e, embora não dê para alcançar OpenAI ou Anthropic de uma vez, ele subiu um degrau na escada
      No curto prazo, os laboratórios não são lucrativos, e dizem que a Anthropic está quase chegando lá
      A Amazon também foi famosa por passar muito tempo sem lucro, mas no fim venceu em grande escala; portanto, a lucratividade atual não é necessariamente o ponto central para investidores. O que importa é se eles acreditam na possibilidade de lucro futuro
      Elon parece acreditar que, no futuro, grande parte da economia será operada por IA, e que o valor econômico dos tokens crescerá mais rápido do que o custo de gerá-los. Isso inclui a amortização do custo de treinamento do modelo que produzirá esses tokens
      Por isso ele está criando um laboratório que treina modelos e cobra pelo custo de inferência, e parece acreditar que, se não agora, em algum momento isso se tornará lucrativo
      Você pode concordar ou não, e, diante das dificuldades recentes dele para reter pesquisadores, é ainda mais incerto se ele conseguirá vencer Anthropic/OpenAI; mas a receita atual não é um bom indicador para julgar se alguém acredita no potencial de receita futura
      Tesla e SpaceX também tiveram uma lucratividade muito ruim, mas em algum momento isso deixou de ser verdade
      Pessoalmente, concordo que haverá receitas enormes no futuro, mas não tenho a mesma confiança na capacidade de Elon vencer Anthropic/OpenAI
    • É o mesmo sonho dos concorrentes
      Encontrar uma ruptura, ganhar vantagem e chegar a uma posição dominante
      Além disso, quando a palavra IA aparece ao redor de uma empresa, os números necessários sobem; então, para Musk, ter uma divisão interna de IA que possa ser agrupada com suas outras empresas e elevar o valuation é útil, mesmo que o produto em si dê prejuízo
    • Uma visão meio em tom de piada é que essa é a única forma de escapar de uma subclasse permanente, e Elon não é exceção
    • Dá para dizer exatamente o mesmo do Google ou de vários outros laboratórios hoje
      Um mercado diversificado, com muitas opções, ajuda a evitar uma repetição das guerras dos navegadores
    • Este mercado não está maduro nem estabelecido o suficiente para ranquear posições
      Houve muitos mercados de tecnologia em que o começo não previu a fase posterior
      Sou pessoalmente cético em relação ao Grok, mas, se o Claude perder sua vantagem, ele pode criar um nicho lucrativo por meio da integração com o Cursor
  • Eu tinha configurado o OpenRouter para usar apenas ZDR, então nunca tinha experimentado os modelos Grok
    Acabei de verificar e parece que agora há um endpoint ZDR da xAI, então pretendo testar de verdade
    Fico curioso para saber se alguém sabe quando isso foi adicionado
    No entanto, no item de anonimato aparece “Requires user IDs”, o que é incomum no OpenRouter e não passa uma impressão muito boa. Em geral, o OpenRouter é um proxy que anonimiza as requisições antes de encaminhá-las ao provedor, mas não encontrei uma configuração que force isso em toda a conta como no modo apenas ZDR

  • A primeira impressão é bem boa
    O número de tokens por segundo é alto, parece ficar por volta de 90, e a eficiência de tokens também é muito alta, então vence facilmente GPT 5.5, Opus 4.8 e GLM 5.2 em velocidade
    O preço também é muito bom; pagando diretamente o custo da API, GPT e Opus são caros demais e, considerando também a eficiência de tokens, talvez saia até mais barato que o GLM 5.2
    Vai levar um bom tempo para avaliar o nível de inteligência, mas ele é claramente bom e parece estar na parte inferior da mesma categoria do Opus, junto com o GLM 5.2

    • Concordo
      No Cursor, eu tinha o problema de que “esta suíte de testes não é robusta o bastante para me deixar satisfeito e, em muitos casos, depende demais do estado interno em vez dos resultados”, então pedi para “analisar e propor uma solução”; ele organizou bem a abordagem de testes, os pontos fortes, fracos e lacunas, e recomendou uma abordagem múltipla e sistemática baseada na biblioteca de testes confiável https://hypothesis.readthedocs.io/en/latest/
      Separou o que fazer nesta rodada de melhorias e o que deixar para depois, identificou casos muito difíceis ou possivelmente fora de escopo e ainda deu a opção de focar neles; os novos testes também foram estruturados de forma lógica
      Depois de uma rodada de feedback e ajuste do plano, coloquei em modo agente e, alguns minutos depois, surgiu uma suíte de testes muito melhor
      Eu nunca tinha usado o Grok, então minhas expectativas eram baixas, mas ele executou muito bem um trabalho complexo, detalhado e de várias etapas que antes eu só teria confiado ao GPT ou ao Opus
      Atualizando: ele também encontrou um bug real antigo. Depois das melhorias nos testes, pedi para revisar todo o código e o empacotamento; ele encontrou pequenos defeitos e coisas faltando, mas também identificou uma fraqueza no tratamento de erros e um bug funcional bem constrangedor, corrigiu tudo e ainda adicionou testes
    • É interessante, mas não sei se estou fazendo algo errado: este modelo me parece quase inutilizável
      Ele continua errando até pedidos básicos que quase não exigem contexto; por exemplo, pedi para inlinear uma função auxiliar e, em vez de uma alteração de 10 linhas, ele reescreveu metade dos módulos relacionados
  • Entre os 3 modelos que testei diretamente, o Grok foi o melhor para criar o app iOS que eu queria para uso pessoal
    Era um app de computador de bicicleta com condições específicas, e o Claude desistiu e tentou ir para uma implementação em HTML/CSS, mas eu insisti em native SwiftUI+Metal
    O Grok também erra às vezes, mas fiquei surpreso por ele inferir bem partes que eu achava que teria de orientar uma por uma
    Como não sou desenvolvedor iOS, foi realmente útil conseguir o que eu precisava em horas ou dias, em vez de passar meses ou anos aprendendo a linguagem e as APIs
    Não é, de forma alguma, “vibe coding” no Caddy; é mais algo que estou mexendo como projeto pessoal

    • É muito estranho dizer que o Claude tentou ir para uma implementação em HTML/CSS e que você teve de insistir em native SwiftUI+Metal; isso é o oposto da minha experiência
      Você não disse qual modelo usou, mas Opus 4.8 ou Sonnet nunca ignoraram a linguagem e a stack que eu queria
    • Fiz bastante desenvolvimento iOS nativo com o Opus 4.8 e, antes, também usei 4.7/4.6; acho difícil aceitar isso
      Fiquei curioso se você usou Opus ou algum outro modelo
    • Acho que já li antes um comentário praticamente igual ou muito parecido com este
      Tinha a mesma ideia de um app iOS de computador de bicicleta e de algum modelo ter desistido
      Separadamente, sou realmente grato pelo Caddy. Ele ajudou muito a começar novos projetos e simplesmente funcionou bem por padrão, a ponto de reduzir uma possível fonte de erros com que eu precisaria me preocupar no onboarding da equipe
    • Fiquei curioso se você usou o Claude no Claude Code
      Talvez tenha usado um modelo mais fraco, como o Haiku; o Claude não deveria ser tão ruim quanto você descreveu
    • Como alguém insatisfeito com computadores de bicicleta, há muitas decisões terríveis de UI/UX, então fiquei curioso se você poderia compartilhar ou descrever o que criou
      Gosto do servidor web
  • O Cursor também participou do treinamento do modelo, e o post do anúncio está em https://cursor.com/blog/grok-4-5
    Em especial, eles dizem que Grok 4.5 e Composer 2.5 são classes diferentes de pesos de modelo, e que estão satisfeitos por dar suporte a ambos os tamanhos e pesos
    O Composer 2.5 continuará sendo oferecido, e eles dizem que planejam lançar novos modelos desse tamanho no futuro

    • O Composer 2.5 é baseado no Kimi 2.5, com 1T total e 32B ativos, e Elon disse publicamente que o Grok 4.5 tem 1,5T parâmetros no total
      Não parece uma diferença tão grande para chamar de classes diferentes de pesos
      A diferença no custo da API é de cerca de 2,5 vezes, provavelmente porque os custos que a xAI precisa recuperar são bem maiores
  • https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

    • O hamster também está melhorando aos poucos, mas ainda está bem longe em comparação com os modelos mais recentes de ponta
      https://aibenchy.com/showcase/?q=grok
    • Parece alguém andando de bicicleta com rodas de carro com calotas grossas