O que ainda podemos aprender com o Kimi K3 e o benchmark do pelicano
(simonwillison.net)- O Kimi K3, apresentado pela Moonshot AI, é o modelo de maior desempenho da empresa, com 2,8 trilhões de parâmetros; está disponível no site e via API, e os pesos abertos devem ser publicados até 27 de julho de 2026
- Nos benchmarks próprios, superou em geral o Claude Opus 4.8 max e o GPT-5.5 high, mas ficou atrás do Claude Fable 5 e do GPT-5.6 Sol; na Arena.ai Frontend Code arena, chegou ao 1º lugar
- Com preço de US$ 3 por 1 milhão de tokens de entrada e US$ 15 por 1 milhão de tokens de saída, é o modelo mais caro entre os de laboratórios chineses de IA; gerar um único SVG de pelicano custou US$ 0,25 e 16.658 tokens de saída, incluindo 13.241 tokens de raciocínio
- O teste de SVG de um pelicano andando de bicicleta não mede as chamadas de ferramentas por agentes, hoje importantes, nem a confiabilidade no uso de ferramentas em conversas longas, portanto não é adequado para comparar o desempenho geral entre modelos
- Ainda assim, executar diretamente o mesmo prompt simples permite observar rapidamente acessibilidade e custo da API, volume de raciocínio, validade do SVG, percepção espacial, desempenho de visão e melhorias entre gerações dentro de uma família de produtos
Lançamento e desempenho do Kimi K3
- A Moonshot AI apresentou o Kimi K3 como seu modelo de maior desempenho, com 2,8 trilhões de parâmetros
- Ele pode ser usado pelo site e pela API
- Os pesos abertos devem ser publicados até 27 de julho de 2026
- A empresa chama o K3 de primeiro “modelo aberto de classe 3T”, classificando-o ao arredondar 2,8 trilhões para 3 trilhões
- O DeepSeek V4 Pro, citado como o maior modelo anterior, tem 1,6 trilhão de parâmetros
- O K3 é mais de duas vezes maior que o Kimi K2.6, que tem 1 trilhão de parâmetros
- Nos benchmarks próprios, superou em geral o Claude Opus 4.8 max e o GPT-5.5 high, mas ficou atrás do Claude Fable 5 e do GPT-5.6 Sol
Avaliações externas e preço
- Em uma tarefa privada de conhecimento de longo prazo da avaliação da Artificial Analysis, registrou Elo 1.547 no geral
- 732 pontos acima do Kimi K2.6
- Ficou em 2º lugar, atrás do Claude Fable 5
- O custo por tarefa foi de US$ 0,94, parecido com os US$ 1,04 do GPT-5.6 Sol
- É cerca de metade dos US$ 1,80 do Claude Opus 4.8
- Mas é mais caro que outros modelos de pesos abertos
- No Artificial Analysis Intelligence Index, o uso de tokens de saída caiu 21% em relação ao K2.6
- Na Arena.ai Frontend Code arena, passou o Claude Fable 5 e chegou ao 1º lugar
- O preço da API é de US$ 3 por 1 milhão de tokens de entrada e US$ 15 por 1 milhão de tokens de saída
- Está no mesmo patamar da família Anthropic Claude Sonnet
- É o modelo mais caro já lançado por um laboratório chinês de IA
- Teve um grande aumento em relação aos US$ 0,95/US$ 4 do Kimi K2.6
Experimento de geração de SVG de pelicano
- Usando o OpenRouter e o plugin llm-openrouter, foi executado o prompt
Generate an SVG of a pelican riding a bicycle - O processo de geração usou 95 tokens de entrada e 16.658 tokens de saída
- Desses tokens de saída, 13.241 eram tokens de raciocínio
- O custo total foi de US$ 0,25
- Como também há suporte a entrada de imagem, um prompt de texto alternativo foi aplicado ao SVG gerado
- O resultado da análise identificou corretamente um pelicano branco com cachecol vermelho, uma bicicleta vermelha, marcações de pista e movimento, céu, nuvens, sol, pássaros, grama e flores
- A análise da imagem consumiu 822 tokens de entrada e 243 tokens de saída, a um custo de US$ 0,006
Limitações como benchmark geral
- O teste de SVG de um pelicano andando de bicicleta começou, 21 meses atrás, como uma piada satirizando a dificuldade de comparar modelos, mas no primeiro ano mostrou uma correlação surpreendentemente alta com a qualidade real dos modelos
- Hoje, essa correlação praticamente desapareceu
- Os pelicanos criados pelo GPT-5.6 e pelo Claude Fable 5 são piores que o resultado do GLM-5.2
- Mas é difícil considerar o GLM-5.2 um modelo no nível do Claude Fable
- Não há certeza de que os laboratórios tenham treinado os modelos para esse teste
- Se tivessem realmente otimizado para ele, os resultados deveriam ser muito melhores
- Ainda existe a possibilidade de que o Gemini tenha sido otimizado para combinações gerais de “animais andando em veículos”
- A maior limitação é que o teste não avalia de forma alguma as chamadas de ferramentas por agentes, algo importante nos modelos atuais
- Também não mede a capacidade de operar ferramentas de maneira confiável quando a conversa fica longa
- Portanto, o resultado do pelicano não deve ser usado para comparar o desempenho geral entre modelos
Um experimento que força a execução direta
- O teste do pelicano funciona como um mecanismo de incentivo para chamar de fato um novo modelo
- Se houve resultado, isso significa que ao menos a execução do prompt funcionou
- Quando existe uma API oficial, ela é usada
- Modelos de pesos abertos pequenos o suficiente para caber em um MacBook Pro M5 de 128 GB são executados localmente com llama.cpp, LM Studio e Ollama
- O OpenRouter é usado com frequência por permitir usar proxies de APIs oficiais sem novas chaves de API
- A maioria dos resultados é gerada com a ferramenta de CLI LLM, e nesse processo também é verificado se o plugin já oferece suporte aos modelos mais recentes
- Mesmo um único prompt de SVG consegue revelar características do modelo em termos de custo, modo de raciocínio e processamento de entrada
Características reveladas no Kimi K3
- No momento, o K3 tem apenas um nível de esforço de raciocínio,
max, e consumiu 13.241 tokens de raciocínio para produzir uma resposta de 3.417 tokens- O custo de US$ 0,25 para uma simples geração de pelicano é pesado
- O fato de um prompt curto ter sido contado como 95 tokens de entrada sugere a existência de entrada oculta
- O tokenizador da OpenAI conta o mesmo prompt como 10 tokens
- A calculadora de tokens da Anthropic conta 10 tokens no Opus 4.6, 30 tokens no Opus 4.7 e 25 tokens no Sonnet 5/Fable 5
- Ao enviar
hiao K3, a contagem também foi de 86 tokens, indicando a possibilidade de um prompt de sistema oculto de cerca de 85 tokens - O K3 recusou o pedido para revelar esse prompt de sistema
- A qualidade do texto alternativo que analisou o SVG gerado mostra que os recursos de visão funcionam bem
- Embora o K3 tenha apenas um nível de esforço de raciocínio, em outros modelos é possível executar o mesmo prompt com vários níveis de esforço e comparar rapidamente o impacto
- A tabela comparativa da família GPT-5.6 é um exemplo disso
O que o teste do pelicano ainda mostra
- Pode ser usado como um exercício de “Hello World” para enviar um prompt a um novo modelo
- Permite estimar aproximadamente o custo e o volume de raciocínio necessários para uma tarefa simples
- Ajuda a observar se a saída SVG é válida e se há noções básicas de geometria e percepção espacial
- Essa capacidade é especialmente importante em modelos pequenos executados em notebooks
- Ainda vale a pena comparar lançamentos dentro da mesma família de modelos
- O pelicano do K3 é claramente melhor que o do Kimi 2.5
- Permite compartilhar o fato de que o modelo foi testado diretamente; no Hacker News, publicar resultados do pelicano em comentários sobre novos modelos se tornou uma espécie de tradição
1 comentários
Opiniões do Hacker News
O benchmark do pelicano escancara o problema das contratações no setor de tecnologia. Não é diferente de uma entrevista em que pedem para a pessoa desenhar um pelicano e avaliam sua competência, embora isso não tenha relação com o trabalho real
O motivo de o prompt “gere um SVG de um pelicano andando de bicicleta” ser contabilizado como 95 tokens de entrada pode ser que, ao definir uma intensidade de raciocínio personalizada, um prompt para a intensidade de raciocínio seja inserido antes do token inicial. O caso do modo máximo do DeepSeek-V4 também vale como referência: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...
Proponho seriamente o SWE-bench-adversarial-pelican-gen. Seria parecido com o SWE-bench, mas a cada 5 trocas de conversa ou chamadas de ferramenta ele interromperia o trabalho, geraria o SVG de um animal aleatório e depois retomaria a tarefa; além disso, comentários relacionados a SVGs de pelicanos seriam inseridos em vários pontos das saídas das ferramentas
Quando o contexto chegasse a 800 mil tokens, ele teria de gerar outro SVG de pelicano, e então seriam avaliadas tanto a qualidade do pelicano quanto a conclusão e a eficiência da tarefa original. Só tem habilidade de verdade quem consegue resolver o problema mesmo sob um ataque de pelicanos em SVG
Como na conclusão do Simon, o principal uso desse benchmark não é cravar qual modelo é melhor, mas observar a relação entre qualidade, custo e velocidade. Comparando rapidamente Opus, Fable e Kimi recentemente, o Kimi era 5 vezes mais barato, mas 2 vezes mais lento
https://9gpyw4uxr2.evvl.io/
O “Expires in 6 days” no canto superior direito do site também é estranho. É difícil entender por que uma página com apenas alguns KB de dados precisaria expirar
É surpreendente que Simon acredite que esses exemplos não estejam nos dados de treinamento, embora haja centenas de pelicanos andando de bicicleta em blogs, fóruns e no GitHub. O blog da nossa empresa tem 1.000 vezes menos tráfego que o site do Simon, mas depois de 6 meses os posts já são conhecidos pelos LLMs
No começo achei essa avaliação absurda, mas depois testei combinações que certamente não estariam nos dados de treinamento e confirmei sua validade
Nossa resposta ao benchmark do pelicano é o benchmark de SVG do MacBook: https://playcode.io/blog/macbook-svg-benchmark
Continua me incomodando que cada modelo gere o pelicano apenas uma vez. O mesmo modelo produz resultados diferentes a cada execução, então a escolha do resultado pode influenciar o julgamento de que “este modelo é melhor”
Eu gostaria de ver lado a lado 8 execuções por modelo. Se dois modelos forem parecidos, imagino que a variação entre execuções individuais seja tão grande quanto a diferença entre modelos
Também já criei um sistema de pontuação ELO: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
O benchmark em si parece um pouco velho, mas há bastante demanda pela galeria de resultados, então vale a pena dedicar tempo a ele de novo
A distância está diminuindo. O Kimi 3 está cerca de 3 meses atrás dos modelos americanos e parece um modelo no nível do GPT 5.5 lançado no fim de abril
Fico curioso para saber como laboratórios chineses treinam modelos de 3 trilhões de parâmetros com recursos computacionais que inevitavelmente devem ser bem menores. Se a vantagem dos EUA em recursos computacionais continuar, fisicamente seria difícil a China alcançar para sempre, mas até agora ela vem se saindo bem
Também há rumores de que a Tencent teria acessado isso via Japão: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
Também existe a opção de comprar em Singapura e contrabandear; além disso, chips dedicados a IA são relativamente mais fáceis de projetar e produzir do que CPUs e GPUs de alto desempenho, então não há motivo para supor que os projetos chineses próprios continuarão ficando para trás. No fim, eles podem usar as mesmas foundries
As 5090 baseadas no GB202 e as RTX 6000 Pro Blackwell, sujeitas a restrições de exportação, são fabricadas pela TSMC e depois encapsuladas e finalizadas na China, então a brecha já é grande desde o início. A NVIDIA e seus parceiros de distribuição também vendem em países como Singapura sem muita verificação; e, se transportadores individuais as levarem pessoalmente para dentro do país, a alfândega chinesa não tem motivo para aplicar leis americanas em território chinês
É interessante que a qualidade do pelicano e a qualidade geral do modelo se movam separadamente. Eu esperava que, como as capacidades gerais são formadas no pré-treinamento, um pré-treinamento de alta qualidade gerasse pelicanos melhores, enquanto o aprendizado por reforço teria pouco efeito na qualidade do pelicano
Mas o resultado em que o GLM 5.2 supera o GPT 5.6 e o Claude Fable não se encaixa nessa hipótese. A única possibilidade que me ocorre é que o GLM 5.2 tenha obtido excelente desempenho por meio de aprendizado por reforço específico para geração de SVG