Kimi K2 - modelo de linguagem Mixture-of-Experts (MoE) de ponta

• Kimi K2 da Moonshot AI é um modelo de linguagem Mixture-of-Experts (MoE) de ponta com 1 trilhão de parâmetros
• Introduz a técnica de otimização Muon no processo de treinamento para resolver problemas de estabilidade em larga escala
• Foca em inteligência agêntica para uso de ferramentas, raciocínio e resolução autônoma de problemas
• Comprova desempenho de alto nível em programação, matemática e tarefas gerais em diversos benchmarks
• É conveniente para implantação e uso, com API compatível com OpenAI/Anthropic e suporte flexível a ambientes de execução

---

Por que o Kimi K2 é importante

• Kimi K2 é o mais recente modelo de linguagem Mixture-of-Experts (MoE) desenvolvido pela Moonshot AI
• Com escala de 1 trilhão de parâmetros e um método inovador de otimização (Muon), oferece alto desempenho e estabilidade no campo dos grandes modelos de linguagem
• Em comparação com modelos open source de alto desempenho já existentes, alcança nível SOTA global e o melhor patamar entre open source em várias aplicações práticas, como programação, matemática e uso de ferramentas
• Destaca-se tanto na questão de treinar modelos grandes com rapidez e estabilidade quanto na flexibilidade para dar suporte a diversos cenários de uso de inteligência artificial

1. Introdução ao modelo

• Kimi K2 é um modelo de linguagem MoE de ponta com 1 trilhão (1T) de parâmetros totais e 32 bilhões (32B) de parâmetros ativos
• Usa o otimizador Muon para resolver de forma eficaz a instabilidade no treinamento de modelos em larga escala
• É especializado em capacidades de alto nível, como uso de ferramentas, raciocínio complexo e agentes autônomos

Principais características

• Treinamento em larga escala: o modelo de 1 trilhão de parâmetros foi pré-treinado com 15,5 trilhões de tokens, sem instabilidade durante o treinamento
• Otimizador MuonClip: garante estabilidade ao combinar o algoritmo Muon, voltado para modelos de grande escala, com uma nova técnica de otimização
• Agentic Intelligence: projetado com foco em uso de ferramentas, raciocínio complexo e resolução autônoma de problemas

Tipos de modelo

• Kimi-K2-Base: modelo base adequado para fine-tuning customizado e uso por pesquisadores
• Kimi-K2-Instruct: modelo pós-treinamento (post-training) otimizado para chat e execução de agentes gerais

2. Resumo do modelo

• Arquitetura: Mixture-of-Experts (MoE)
• Parâmetros totais: 1 trilhão (1.000.000.000.000)
• Parâmetros ativos: 32 bilhões (32B)
• Número de camadas: 61 (incluindo Dense layer)
• Número de Dense Layers: 1
• Attention hidden dimension: 7168
• MoE hidden dimension (por especialista): 2048
• Attention Head: 64
• Número de especialistas: 384
• Número de especialistas selecionados por token: 8
• Número de especialistas compartilhados: 1
• Tamanho do vocabulário: 160K
• Comprimento de contexto: 128K
• Mecanismo de Attention: MLA
• Função de ativação: SwiGLU

3. Resultados de avaliação

Desempenho do modelo Instruction

• Registra desempenho de alto nível em diversos benchmarks, incluindo tarefas de programação, uso de ferramentas, matemática/ciências exatas e tarefas gerais
• Em várias categorias de código e ferramentas, matemática e lógica, e tarefas gerais — como SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME e MATH-500 — mostra desempenho SOTA ou no nível dos melhores da categoria
• Registra pass@1 de 65,8% no SWE-bench Verified e 47,3% no SWE-bench Multilingual, com resultados especialmente marcantes também em ambientes de Agentic Coding
• Mostra excelente precisão também em testes de exatas, como MATH-500, AIME, HMMT e CNMO
• Garante desempenho superior em diversas tarefas gerais, como MMLU e SimpleQA, em comparação com modelos open source e comerciais concorrentes

Desempenho do modelo Base

• Registra resultados de topo entre modelos open source da mesma categoria em benchmarks representativos como MMLU, TriviaQA e GPQA-Diamond
• Garante vantagem geral em relação a grandes modelos base open source em programação, matemática e avaliação em chinês

4. Implantação e execução em engines

• A API do Kimi K2 (compatível com OpenAI/Anthropic) pode ser usada em https://platform.moonshot.ai
• Os checkpoints do modelo (block-fp8) também são disponibilizados no Huggingface (https://huggingface.co/moonshotai/Kimi-K2-Instruct)
• Engines de inferência recomendadas: vLLM, SGLang, KTransformers, TensorRT-LLM e outras, com compatibilidade para diversos ambientes

5. Exemplos de uso do modelo

Interface de chat

• Após executar o serviço local de inferência, é possível interagir diretamente por meio de um cliente compatível com OpenAI, como a Chat Completions API
• temperature recomendado: 0.6; também é recomendado usar o prompt de sistema na forma padrão

Recurso de chamada de ferramentas

• O Kimi-K2-Instruct tem forte capacidade de chamada de ferramentas (tool-calling)
• Se o usuário fornecer a lista de ferramentas disponíveis em cada solicitação, o modelo decide de forma autônoma quando usar e executar as ferramentas
• É possível demonstrar exemplos e mensagens de resultado ao longo de todo o pipeline
• É necessário suporte da engine à lógica de parsing de ferramentas do Kimi-K2

6. Licença

• Tanto o código quanto os pesos do modelo são distribuídos como open source sob a Modified MIT License

[GN⁺]

Comentários do Hacker News

• Usei o Kimi em alguns problemas de programação; ele funcionou bem em casos em que o Claude errava ou ficava dando voltas. O modelo é gigantesco, então não é adequado como modelo “local”; imagino que seriam necessárias algo como 16 GPUs H200 para rodá-lo. Também senti que ele tem uma personalidade um pouco diferente dos outros modelos, e isso foi satisfatório. Pelo menos em um ambiente com uso de ensemble, parece que pode ser útil.
  • Com quantização de 4 bits, dá para obter uma velocidade prática com dois Mac Studio de 512GB (no esquema MLX TB4 Ring; veja mais informações neste link) ou com um sistema Epyc com mais de 1TB de RAM. Dá para experimentar por algo em torno de 20 mil dólares. Mas, se quiser velocidade realmente de nível de produção, vai precisar de hardware muito mais forte. Faz mais sentido pensar nisso como um “modelo com selo pessoal” do que como “local”.
  • Fiz alguns testes comparando diretamente com o Claude. O Kimi gerou código mais simples e fácil de ler, enquanto o Claude pareceu bem mais overengineered. Por outro lado, o Kimi deixou passar alguns edge cases sutis que o Claude cobriu.
  • Você disse Claude, mas qual? Sonnet? 3.7? 3.5? Opus? 4? Fiquei curioso sobre qual versão era.
  • A primeira pergunta que fiz ao Kimi — um problema lúdico de matemática bem simples — recebeu uma resposta absurdamente errada. Para ser justo, os modelos da OpenAI também falharam nessa pergunta. Melhorou um pouco com prompts adicionais, mas ainda assim foi surpreendente.
• Assim como GPT-4o e a família DeepSeek-V3, este modelo (Kimi K2) é um LLM de propósito geral extremamente impressionante — e ainda por cima é open source. Acho que ele está recebendo menos atenção hoje em dia porque a fronteira avançou para os modelos de raciocínio e multimodais. Se você olhar os benchmarks de acurácia, os modelos do topo são todos especializados em raciocínio (link de referência). Se alguém treinar um modelo focado em raciocínio com base no Kimi K2, eu realmente gostaria de ver o desempenho.
  • Quando você diz “se treinassem um modelo focado em raciocínio com o Kimi K2”, imagino que a MoonshotAI provavelmente já esteja trabalhando nisso.
  • Fico curioso por que os modelos atuais ou passados da Kimi ainda não foram adicionados ao benchmark da Artificial Analysis.
• Além das vantagens técnicas, o Kimi K2 impressiona por parecer menos robótico. Assim como os melhores modelos da Anthropic, ele soa alegre, inteligente e fluente. É uma pequena vitória não ter que ler respostas naquele estilo engessado de bot.
• Na minha opinião, o lançamento do modelo open source da OpenAI foi adiado porque o Kimi K2 tomou conta do debate e superou os números.
  • O pessoal da OpenAI também comentou que ele é “grande demais para ser hospedado em casa”, então isso pode fazer sentido. A esta altura, talvez já estejam na OpenAI rodando benchmarks atrás de uma métrica em que consigam “vencer”.
  • Em termos de benchmark, o Kimi K2 vence o GPT-4.1 em várias categorias. Para a OpenAI competir de verdade, teria que abrir os pesos do GPT-4.1 ou de um modelo equivalente, mas isso provavelmente não deve acontecer.
• Não é open source, e sim uma “licença MIT modificada”. Há uma condição dizendo que, se for usado em um serviço comercial com 100 milhões de usuários ativos mensais ou 20 milhões de dólares de receita mensal (ou mais), o serviço deve exibir claramente “Kimi K2” na interface.
  • Essa condição parece uma mistura da exigência de visibilidade “Built with Llama” com a cláusula de “700 milhões de usuários ativos mensais” do Llama, e ainda vem embalada como se fosse levemente “MIT modificada”.
  • Não vejo essa condição como uma violação da OSD (Open Source Definition), nem da definição de software livre da FSF, nem dos critérios do Debian. GPLv2, GPLv3 e BSD de 4 cláusulas também têm obrigações de divulgação parecidas, só que sem limite de usuários ou receita. Além disso, redes neurais não são construídas a partir do código-fonte, então até o termo “open source” fica meio ambíguo. Numa analogia com open source de verdade, o mais próximo seria divulgar também os dados e o processo de treinamento, mas isso custa milhões de dólares e não é o mesmo que compilar. Então isso é separado da questão da licença.
  • Fico curioso sobre qual das quatro liberdades fundamentais do software livre essa condição estaria infringindo. Você poderia apontar isso de forma concreta?
  • Isso é até menos restritivo do que as condições do OpenStreetMap.
  • Essa condição parece ter sido colocada para impedir que o Google faça uma “versão adaptada” e lance isso como Gemini-3.0-pro.
• Para mim, K2 é o nome de uma montanha, e SOTA significa “summits on the air”, então me assustei quando vi a manchete.
  • Quando falam K2, eu penso primeiro no compilador do Kotlin 2.0, link do blog relacionado
• Gosto de ver um novo LLM, sólido, mas não exatamente um modelo de lógica, expandindo a fronteira. Esse tipo de modelo ainda tem bons usos (em áreas que não são STEM nem quebra-cabeças lógicos), e é útil quando você não quer gastar com tokens de raciocínio.
• “Open source”? Na prática é open weights, como sempre. Não fornecem dataset, scripts de treinamento etc.
  • Neste momento nem open weights é de fato. A liberação dos pesos vem com a condição da “licença MIT modificada” (mencionada acima).
  • Dentro do sistema atual de direitos autorais, parece realisticamente impossível desenvolver modelos SOTA sem texto protegido por copyright. Fico me perguntando como isso pode ser distribuído.
• Gosto da qualidade e do tom das respostas (menos polido e mais direto do que ChatGPT ou DeepSeek), mas parece errar ou bagunçar o formato de resposta com mais frequência do que os modelos SOTA atuais (incluindo o DeepSeek).
• Hoje em dia todos os modelos de IA abusam do em dash (—). Eu disse ao ChatGPT para não usar em dash, e ele continuou usando. Alguém sabe por quê?
  • Como alguém que gosta de usar em dash, é uma pena que agora ele esteja sendo percebido como um símbolo da falta de capricho característica dos LLMs.