O resultado de criar os mesmos 4 apps com GPT-5.6, Grok 4.5, Claude e Muse Spark

 (tryai.dev)
2 pontos por GN⁺ 4 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Ao pedir a 12 modelos que criassem um labirinto raycaster, um cubo de Rubik 3D, uma calculadora e o Conway’s Game of Life, GPT-5.6 Sol e Claude Fable 5 dividiram a liderança nas tarefas complexas
  • Cada modelo fez 5 tentativas por tarefa, com divulgação do número de sucessos, custo, tempo e todos os resultados, mas há a limitação de que não se trata de uma avaliação científica, e sim de uma comparação subjetiva baseada na inspeção direta dos artefatos gerados
  • No raycaster, o GPT-5.6 Sol marcou 5/5; no cubo de Rubik, o Claude Fable 5 marcou 5/5. Em contraste, Claude Opus 4.8 e GPT-5.6 Luna ficaram em 0/5 no cubo, mostrando grande variação por modelo e por tarefa
  • Os modelos open weight ficaram atrás dos modelos de ponta em tarefas complexas ou novas, mas no Game of Life, que tem muitos códigos de exemplo disponíveis, Qwen 3.7 Plus e GLM-5.2 entregaram bons resultados por um custo muito menor
  • O Grok 4.5 foi uma alternativa barata ao nível do Claude Opus 4.8 em algumas tarefas, e o Muse Spark 1.1 também foi, no geral, melhor que os modelos open weight; ainda assim, o flagship mais recente e mais caro não venceu automaticamente em todas as tarefas

Método de comparação e os 12 modelos

  • Incorporando feedback sobre a comparação anterior, a escala foi ampliada para 12 modelos, 4 apps e 5 tentativas por tarefa
  • Como houve feedback de que é difícil avaliar com base em um único resultado, foram registrados separadamente o número de sucessos e o resultado preferido de cada tarefa, e todas as tentativas foram publicadas para permitir verificar a variação entre execuções
  • Trata-se de uma comparação subjetiva baseada na observação dos resultados gerados, não de uma avaliação objetiva ou científica

Labirinto raycaster no estilo Doom

  • A tarefa era criar um labirinto em primeira pessoa com movimento WASD, rotação, sombreamento de paredes conforme a profundidade, chão e teto, e tratamento de colisão
  • O sucesso foi julgado apenas por ser possível mover-se e girar dentro do labirinto, não pela qualidade visual
  • O GPT-5.6 Sol marcou 5/5, com custo de $1.35 e 120 segundos; foi avaliado como o melhor resultado por ser mais consistente que o GPT-5.5 e trazer mais detalhes de jogo
    • O GPT-5.6 Luna também marcou 5/5, por $0.15 e 23 segundos, mas a qualidade dos resultados foi considerada inferior à do GPT-5.5
    • O GPT-5.6 Terra marcou 3/5, por $0.44 e 39 segundos; tinha bons detalhes, mas em alguns resultados não era possível andar
  • Grok 4.5 marcou 5/5, por $0.27 e 62 segundos, sendo uma alternativa prática em custo-benefício; o GPT-5.5 marcou 4/5, por $1.44 e 138 segundos
  • A família Claude ficou abaixo do esperado
    • O Claude Opus 4.8 foi consistente, com 4/5, mas os resultados eram monótonos
    • O Claude Fable 5 produziu bons resultados, mas teve baixa consistência, com 3/5
  • Entre os modelos open weight, Qwen 3.7 Plus e Kimi K2.6 marcaram 2/5 cada, enquanto DeepSeek V4 Pro marcou 3/5
    • O GLM-5.2 renderizou telas detalhadas, mas o personagem não se moveu nenhuma vez, ficando em 0/5
  • O Muse Spark 1.1 marcou 2/5, mas os resultados que funcionaram foram avaliados como semelhantes aos de Fable e Sol e melhores que os de Grok e Opus, mostrando um desempenho inesperado

Cubo de Rubik 3D

  • A tarefa era criar um cubo 3D colorido com botões Scramble e Solve, mostrando as rotações na tela com animação
  • Para contar como sucesso, as animações de embaralhar e resolver precisavam funcionar suavemente, sem erros nem mudanças de cor
  • Claude Fable 5 foi o único a obter cinco sucessos limpos, marcando 5/5, por $2.03 e 92 segundos
    • O Claude Opus 4.8 ficou em 0/5 porque todos os resultados tinham pequenos erros ou mudanças de cor
  • GPT-5.6 Sol e Terra marcaram 4/5 cada
    • O Sol teve boa qualidade nos resultados que funcionaram, mas também gerou uma animação estranha e um resultado renderizado totalmente em preto
    • O Terra teve uma animação de embaralhamento estranha, mas foi ligeiramente melhor que o GPT-5.5
    • O Luna muitas vezes parecia correto no início, mas quebrava imediatamente ao iniciar o embaralhamento, ficando em 0/5
  • O GPT-5.5 marcou 4/5, mas tinha piscadas de cor e rotações pouco suaves; o Grok 4.5 marcou 3/5 com resultados simples, mas bons
  • Qwen 3.7 Plus, Kimi K2.6 e DeepSeek V4 Pro marcaram 1/5 cada, e o GLM-5.2 marcou 0/5
  • O Muse Spark 1.1 marcou 2/5, um degrau acima dos modelos open weight, mas foi avaliado como tendo poucos motivos para ser escolhido em vez do Grok quando se considera o preço
  • Enquanto a família GPT, que havia liderado no raycaster, ficou abaixo do esperado, o Claude puxou os resultados com o Fable, mostrando uma virada conforme a tarefa

Calculadora

  • A tarefa exigia botões de números, operadores, limpar e igual, precedência correta dos operadores e uma aparência de calculadora real
  • Cálculos básicos como (((5 × 5) − 100) / 10) foram usados para verificar a ordem das operações e a renderização do resultado, mas não houve um teste funcional abrangente
  • Claude Opus 4.8 e Claude Fable 5 marcaram ambos 5/5
    • Os resultados do Fable foram os preferidos em termos de estilo
  • O Grok 4.5 marcou 5/5 com resultados simples e consistentes, e o GPT-5.6 Luna também marcou 5/5, oferecendo uma experiência parecida com a do Grok
  • O GPT-5.6 Sol marcou 5/5, mas tentou aplicar estilo excessivo e representação 3D, prejudicando uma experiência de calculadora limpa e consistente
    • GPT-5.6 Terra e GPT-5.5 marcaram 4/5 cada, e o GPT-5.5 às vezes criava botões desnecessários ou representações 3D cortadas
  • O Muse Spark 1.1 marcou 5/5, em nível semelhante ao Grok 4.5, mas em alguns resultados a ordem e a disposição dos botões ficaram estranhas
  • Entre os modelos open weight, o Qwen 3.7 Plus marcou 4/5 por $0.04 e 12 segundos, mas um resultado não lidava com números negativos
    • O DeepSeek V4 Pro marcou 3/5, com erro na ordem dos números e ausência de exibição do resultado
    • O GLM-5.2 marcou 2/5, mas a qualidade dos resultados bem-sucedidos foi boa
    • O Kimi K2.6 não lidava com números negativos e foi contado como 0/5
  • Os modelos GPT mais simples funcionaram de imediato sem ajustes, e uma implementação focada nas funções básicas ofereceu uma experiência melhor do que os resultados com efeitos visuais complexos

Conway’s Game of Life

  • A tarefa era implementar um canvas em grade, Play, Pause, Step, Randomize, Clear, alternância de células por clique e animação das gerações
  • Nesta tarefa não foi aplicada uma avaliação de 5 tentativas bem-sucedidas; foram comparados apenas custo, tempo e impressão geral
  • O Grok 4.5 gerou bons resultados e, como a tarefa em si é simples e há bastante código de exemplo público, os modelos open weight também se saíram muito bem
  • O Qwen 3.7 Plus, com $0.04 e 11 segundos, e o GLM-5.2, com $0.10 e 121 segundos, entregaram bons resultados a baixo custo e foram considerados adequados para esse tipo de tarefa
  • Como os modelos open weight continuaram tendo dificuldades nas outras tarefas mais complexas, é difícil generalizar os resultados do Game of Life para o desempenho geral
  • Os demais principais custos e tempos foram: Grok 4.5, $0.14 e 38 segundos; GPT-5.6 Luna, $0.13 e 18 segundos; Terra, $0.36 e 25 segundos; Sol, $0.99 e 62 segundos; Muse Spark 1.1, $0.32 e 98 segundos

Velocidade e custo em respostas curtas

  • Em prompts curtos, a família GPT-5.6 teve os menores tempos para início de resposta
    • Luna: 1,0 s · 97 tok/s · $0.001
    • Terra: 1,5 s · 62 tok/s · $0.001
    • Sol: 1,8 s · 45 tok/s · $0.003
  • O Qwen 3.7 Plus foi muito barato e rápido, com 2,1 s · 204 tok/s · $0.001; o Grok 4.5 marcou 3,0 s · 112 tok/s · $0.003, e o Muse Spark 1.1, 3,1 s · 125 tok/s · $0.002
  • O Claude Opus 4.8 marcou 2,5 s · 44 tok/s · $0.004, mas o Claude Fable 5 foi mais lento e caro, com 6,6 s · 30 tok/s · $0.01
  • O DeepSeek V4 Pro marcou 9,3 s · 37 tok/s · $0.001, e o GLM-5.2, 7,0 s · 58 tok/s · $0.001, com início de resposta lento
  • Alguns modelos open weight emitiram a resposta inteira de uma vez e atingiram o limite de 400 tokens; portanto, o tok/s exibido é um valor teto, não a velocidade real de decodificação

Tarefa bônus de SVG

  • A tarefa era gerar um SVG de uma só vez, sem bibliotecas; entre 5 resultados, primeiro foram priorizados os SVGs válidos e depois escolhido o mais detalhado
  • Na cena de um cavalo carregando um astronauta, Claude Fable 5 teve bons resultados em qualidade e humor
    • A família GPT ficou abaixo do esperado, sem conseguir renderizar de forma limpa o cavalo e o astronauta
    • O Grok 4.5 também produziu bons resultados
  • Na cena mais difícil de Elon Musk e Jeff Bezos observando um booster da Blue Origin descendo em uma plataforma de pouso no mar, o Claude Fable 5 também ficou à frente
    • Ele compôs detalhes como o brilho na testa de Bezos e a fumaça ao redor da plataforma de pouso, renderizando tudo de forma limpa
    • A família GPT produziu resultados cartunescos, e pequenos erros permaneceram em cada artefato gerado
    • GLM-5.2 e Qwen 3.7 também entregaram bons resultados nesta tarefa de SVG

A escolha do modelo varia conforme a tarefa

  • Em tarefas complexas e novas, como o raycaster e o cubo de Rubik, a vantagem dos modelos de ponta ficou clara, com GPT-5.6 Sol e Claude Fable 5 mostrando pontos fortes distintos
  • Em tarefas simples e amplamente implementadas, Qwen 3.7 Plus e GLM-5.2 podem gerar resultados competitivos por um custo muito menor
  • O Grok 4.5 chegou ao nível do Claude Opus 4.8 em algumas tarefas, mostrando desempenho suficiente para ser usado como modelo auxiliar quando o custo é importante
  • O Muse Spark 1.1 ficou um degrau abaixo do Grok 4.5, mas foi, no geral, melhor que os modelos open weight; ainda assim, não chegou ao ponto de ser uma primeira escolha imediata
  • Dependendo da tarefa, a ordem entre Sol, Fable, Grok e os modelos open weight baratos muda, então o flagship mais recente e mais caro nem sempre vence

Leituras relacionadas

1 comentários

 
GN⁺ 4 시간 전
Comentários do Hacker News

  • Expressões como “para ser sincero, há um ponto a destacar” e “não há erros nem mudanças de cor” são bons sinais para identificar isso. Li até o fim, mas teria sido melhor se fosse um texto realmente escrito por uma pessoa

    • Acho que ouço “Honestly” mais vezes da Anthropic do que de todas as pessoas somadas
    • Não dá para pegar essa nova linguagem típica de LLM e passar por outro transformer para remover essas frases irritantes? Nem parece difícil e todo mundo sairia ganhando

  • Reconheço que é um texto feito com capricho, mas quando leio parágrafos como os seguintes, perco o apreço pelo texto inteiro
    “Usei uma tabela separada para cada pergunta. Isto não é uma tarefa de build, mas uma ferramenta padronizada de teste de latência…”, “Portanto, tokens por segundo são um limite superior e não a velocidade real de decodificação…”
    Era mesmo tão difícil escrever essas duas frases diretamente com a própria voz?

    • Não sei de onde vem esse estilo característico, e como é quase impossível eliminá-lo, ele incomoda demais
    • É óbvio demais e desagradável. A pessoa deveria simplesmente escrever o que quer dizer como uma pessoa normal
      Produzir texto com IA não é só preguiçoso, como também sem graça, cansativo e desrespeitoso com o tempo do leitor
    • Para fins de discussão: e se esse for realmente o jeito natural de escrever do autor?
    • Eu às vezes já escrevia assim muito antes de surgirem os LLMs. Também estou ficando de saco cheio de ler esse tipo de crítica
    • Depois da chegada da IA, as pessoas ficaram sensíveis demais. É como implicar porque um programador não escreveu a prosa do jeito que combina com o gosto pessoal de alguém

  • Talvez eu tenha uma tendência excessiva a controlar tudo, mas essa forma de pedir a um agente para concluir um app aleatório de uma vez só é totalmente diferente de como a IA é usada em engenharia de software de verdade

    • Para criadores solo, esse tipo de benchmark one-shot é bastante útil. Há certa correlação com saber se modelos de ponta melhores, no meu caso Opus e Fable, tomam decisões melhores até onde eu não especifiquei e se trazem sugestões melhores desde o começo
    • Na escala de tempo dos LLMs, os modelos já fazem bem a criação de novos apps há bastante tempo
      Melhorar a forma de criar apps novos é interessante, mas tenho muito mais curiosidade sobre como eles resolvem problemas difíceis em codebases existentes, complexas e cheias de dependências
    • Se primeiro criassem um app básico de uma vez e depois fossem recebendo pedidos de funcionalidade um por um, isso pareceria uma forma clara de avaliar arquitetura e manutenibilidade
    • Não é como se usa na prática, mas é assim que se fica famoso no Twitter/X
    • Mesmo não sendo igual ao uso real, é uma tentativa de introduzir pelo menos algum critério objetivo de medição nessa área, em vez de depender só de impressão

  • O (LM)Arena na prática já cumpre esse papel, e me parece o melhor teste para evitar otimização excessiva apenas para pontuação de benchmark
    Agente: https://arena.ai/leaderboard/agent
    Desenvolvimento web: https://arena.ai/leaderboard/code/webdev
    No momento, em desenvolvimento web, Fable e 5.6 estão praticamente empatados, um resultado muito parecido com o deste texto

    • Se quiser, também dá para fazer certa otimização voltada para pontuação no Arena. A distribuição de prompts lá é bem diferente do uso real da maioria dos desenvolvedores, especialmente porque há muitos pedidos para criar um jogo do zero de uma vez
      Se alguém fizer fine-tuning para ser especialmente bom em criar jogos divertidos de uma vez só com prompts insuficientes, o modelo de código pode parecer melhor do que realmente é em tarefas gerais. Trabalho na OpenAI, mas não estamos tentando inflar pontuação, porque isso tornaria o Arena um indicador pior para todos
    • Existe bastante otimização para pontuação do Arena, especialmente em torno do Facebook, mas ainda assim concordo que ele é um dos melhores benchmarks reais
      Reproduzir efeitos clássicos da demoscene sempre é divertido. A geração de música ainda é péssima, mas o Claude pelo menos parece fazer sintetizadores decentes. Mesmo tentando fazê-lo reproduzir o efeito de fluidos e partículas de Agenda Circling Forth com um texto explicativo da implementação e screenshots, ele ainda falha bastante
    • Ainda tenho curiosidade sobre por que Grok 4.5 não está na lista. O 5.6, lançado depois, já está lá

  • Esses benchmarks visuais provavelmente mostram mais conhecimento, isto é, o quanto os dados de treino são abrangentes e o quão bem o modelo consegue recuperar isso, do que capacidade de raciocínio
    Não sei como um modelo conseguiria montar a cadeia de raciocínio (CoT) para relacionar a geometria e a animação de um cubo com uma representação no espaço latente sem um volume considerável de conhecimento prévio

    • Existe alguma evidência de que LLMs realmente tenham nova capacidade de raciocínio? Nunca consegui fazê-los operar dessa forma, e o artigo da Apple de antes também me pareceu uma forte evidência de que essa capacidade não existe
      Pela minha experiência, quando o espaço latente é esparso, o raciocínio falha completamente, de forma até ridícula
    • É bem possível que a Anthropic esteja levando vantagem nesse tipo de teste por causa dos dados obtidos com a Canva

  • Hoje também adicionamos GPT 5.6 Sol, Terra e Luna ao nosso Model Arena, no qual 26 modelos fizeram 52 apps cada um
    https://arena.logic.inc/
    Comparar os apps dos três modelos lado a lado é muito interessante. Ainda precisamos adicionar estatísticas à interface, mas o tempo real decorrido do Terra foi metade do Sol, enquanto o Luna levou cerca de 23% mais tempo do que o Sol
    Embora o Luna seja muito mais barato, para a maioria dos usos o Terra parece ter um equilíbrio melhor entre tempo e custo. A qualidade do Terra em geral é quase igual à do Sol, mas com muito mais velocidade e menor custo. Ainda assim, valorizo bastante o senso de design do Sol em coisas como o sequenciador de áudio. Por um tempo, os resultados visuais de todos os modelos ficaram parecidos; nesse aspecto, este é um modelo claramente diferenciado pela primeira vez em bastante tempo

    • Um número que chamou atenção é que o GPT-5.6 Sol gerou 1.264 linhas de código, arquivos de 35,5KB e gzip de 10,0KB, enquanto o GPT-5.6 Terra ficou em 827 linhas, 20,0KB e gzip de 6,7KB

  • Isso parece reforçar a crítica de que modelos como o GLM estão otimizados demais para benchmarks e, olhando para os resultados, não chegam tão perto de modelos de ponta quanto os números por si só fazem parecer

  • Gosto muito mais desse tipo de metodologia de avaliação de IA do que de outros benchmarks
    O mundo real é complexo, e é evidente que outros benchmarks são mais fáceis de explorar por modelos abertos chineses. O estilo do texto também não me incomoda e é perfeitamente legível

  • Texto relacionado recente: comparação em que Grok 4.5, GPT-5.5 e Claude fizeram o mesmo app
    https://news.ycombinator.com/item?id=48838772 — julho de 2026, 92 comentários

  • Falta o prompt exato, então é difícil tentar reproduzir
    Também tenho curiosidade sobre como o prompt foi escrito. Isso pode ser uma grande razão para alguns modelos, como o GLM 5.2, terem falhado completamente na renderização de SVG