- Kimi Linear usa uma arquitetura híbrida com KDA e MLA em proporção 3:1 e, sob as mesmas condições de treinamento, registrou desempenho superior ao MLA completo em avaliações de contexto curto, contexto longo e aprendizado por reforço
- O módulo central, Kimi Delta Attention (KDA), refina o portão de esquecimento por cabeça do Gated DeltaNet para o nível de canal, permitindo que cada dimensão de característica da memória RNN finita tenha uma taxa de esquecimento independente
- Com uma matriz de transição especial Diagonal-Plus-Low-Rank (DPLR) e um algoritmo paralelo por chunks, reduz a quantidade de computação em relação ao DPLR geral, com eficiência do operador aproximadamente 100% maior
- Um modelo com 3B de parâmetros ativos e 48B de parâmetros totais foi treinado em 1,4T tokens e alcançou 51,0 pontos no MMLU-Pro 4K, 84,3 pontos e aceleração de 3,98x no RULER 128K; em 1M tokens, ficou 6,3x mais rápido em tempo por token de saída que o MLA
- Na geração de textos longos, pode reduzir o KV cache em até 75% sem alterar as interfaces de cache e escalonamento do pipeline existente de atenção completa; o kernel KDA, a implementação em vLLM e os checkpoints do modelo também foram disponibilizados
O gargalo criado pela atenção completa no raciocínio de longo prazo
- LLMs do tipo agente e a ampliação em tempo de teste baseada em aprendizado por reforço precisam processar, durante a inferência, trajetórias longas, interações com uso de ferramentas e espaços complexos de tomada de decisão
- A atenção softmax padrão tem complexidade temporal que cresce quadraticamente e um KV cache que aumenta proporcionalmente ao comprimento do contexto, limitando throughput, expansão de contexto e interações em tempo real
- A atenção linear pode reduzir a complexidade computacional, mas sua expressividade é limitada, e ela apresentou desempenho inferior ao da atenção softmax até mesmo em modelagem de linguagem com sequências curtas
- Mecanismos recentes de gating e decaimento e a regra delta (delta rule) reduziram a diferença de qualidade em sequências de comprimento intermediário, mas arquiteturas puramente lineares são limitadas na modelagem de sequências longas e na busca dentro do contexto por causa da capacidade finita de estado
- Estruturas híbridas que combinam algumas camadas de atenção global com muitas camadas lineares surgiram como um compromisso entre qualidade e eficiência, mas os modelos existentes tinham escala limitada ou careciam de avaliação em benchmarks variados
Da atenção linear ao Gated DeltaNet
- A atenção linear básica acumula continuamente associações chave-valor em um estado recorrente em forma de matriz, usando-o como pesos rápidos (fast weight), uma memória associativa temporária
- Como não há critério para decidir quais memórias apagar, o estado se acumula sem limite e causa interferência em contextos longos
- O DeltaNet realiza descida de gradiente online sobre a perda de reconstrução para que o estado restaure a chave para o valor
- Usa a regra delta clássica, que corrige continuamente o estado existente
- A atualização de posto 1 é equivalente a uma transformação de Householder generalizada e pode ser paralelizada por chunks
- O Gated DeltaNet (GDN) adiciona um portão de esquecimento escalar
αtpara atenuar associações antigas- O portão funciona como weight decay sobre os pesos rápidos e implementa um mecanismo de esquecimento semelhante à regularização L2 dependente dos dados
- Controla a vida útil da memória e reduz interferências, preservando a estrutura de paralelização do DeltaNet
- O GDN pode ser interpretado como uma codificação posicional multiplicativa que relaxa a restrição de ortogonalidade do RoPE, pois sua matriz de transição é dependente dos dados e treinável
Controle fino de memória no Kimi Delta Attention
- KDA substitui o único decaimento escalar do GDN por portões diagonalizados por canal, controlando de forma independente o decaimento de memória e as informações posicionais de cada dimensão de característica
- A taxa de esquecimento por canal ajusta com mais precisão a memória RNN finita e oferece granularidade semelhante à do Gated Linear Attention (GLA)
- A dinâmica de transição é parametrizada por uma matriz DPLR especial e mantém consistência com a regra delta clássica
- Uma sequência de transformações matriciais de posto 1 é comprimida em uma representação densa, permitindo processamento paralelo estável por chunks mesmo sob gating diagonal
Algoritmo paralelo por chunks
- A sequência é dividida em chunks de tamanho fixo, e o estado final do chunk anterior é usado como estado inicial de cada chunk
- A representação WY agrupa várias atualizações de posto 1 em uma única representação comprimida e, seguindo a expansão de Comba, evita a necessidade de inversões matriciais adicionais nos cálculos subsequentes
- A transformação UT reduz FLOPs em operações que não são multiplicações matriciais, aumentando a utilização do hardware durante o treinamento
- A inversa de uma matriz triangular inferior é calculada linha a linha usando substituição para frente da eliminação gaussiana
- A atualização de estado é feita em forma matricial por chunk e, na etapa de saída, combina processamento recorrente entre chunks com processamento paralelo dentro do chunk
- O cálculo dentro do chunk é organizado em torno de multiplicações matriciais para aproveitar o throughput dos Tensor Cores
Menos computação que o DPLR geral
- Tanto o KDA quanto o DPLR generalizado oferecem decaimento fino, correspondendo-se em termos de capacidade expressiva
- O decaimento fino pode causar problemas de precisão numérica em divisões dentro do chunk
- O GLA usa cálculos no domínio logarítmico e chunking secundário em precisão total, mas isso limita o uso de multiplicações matriciais em meia precisão e reduz a velocidade do operador
- O KDA vincula as duas variáveis da transição DPLR à chave
k- Reduz o cálculo de matrizes de chunk secundário de 4 para 2
- Elimina 3 multiplicações matriciais adicionais
- Em medições de kernel por comprimento de entrada, a eficiência do operador do KDA melhora cerca de 100% em relação ao DPLR geral
Configuração do modelo Kimi Linear
- O backbone do modelo segue o Moonlight, com camadas de mistura de canais MoE posicionadas após as camadas de mistura de tokens
- A consulta, a chave e o valor de cada cabeça KDA são calculados passando por ShortConv e Swish
- Normalização L2 é adicionada à consulta e à chave para estabilidade dos autovalores
- A dimensão de cabeça de chaves e valores é definida como 128 em todos os experimentos
- O portão de decaimento por canal é parametrizado por uma projeção de baixo posto com posto igual à dimensão da cabeça, usando uma função de decaimento semelhante à do GDN e do Mamba
- Antes da projeção de saída, aplicam-se RMSNorm por cabeça e um portão de saída dependente dos dados
- O portão de saída também é configurado em baixo posto, mantendo desempenho semelhante ao de um portão de posto completo e permitindo uma comparação justa de parâmetros
- Esse portão mitiga o Attention Sink
Híbrido 3:1 de KDA e MLA
- Para compensar as limitações da atenção puramente linear na busca em contextos longos, camadas de Full MLA, uma atenção global completa, são inseridas entre camadas KDA
- Em vez de misturar cabeças dentro de uma mesma camada, camadas inteiras são alternadas
- A configuração por camada simplifica a infraestrutura e aumenta a estabilidade do treinamento
- Nos experimentos, a proporção 3:1, repetindo 3 KDAs seguidos de 1 MLA, ofereceu o melhor equilíbrio entre qualidade e throughput
- Na geração de textos longos, apenas as camadas de atenção completa mantêm o KV cache, reduzindo o uso de memória e KV cache em até 75% enquanto preserva o fluxo global de informações
Aplicação de NoPE e resultados de avaliação
- Todas as camadas MLA usam NoPE, sem codificação posicional, enquanto o KDA fica responsável pelas informações posicionais e pelo viés de recência
- O KDA desempenha um papel semelhante ou mais forte que componentes auxiliares sensíveis à posição, como convoluções curtas ou atenção de janela deslizante
- Com NoPE, o MLA pode ser convertido em Multi-Query Attention (MQA) puro e eficiente na inferência
- Não são necessários ajustes baseados em frequência do RoPE nem técnicas como YaRN, simplificando o treinamento em contextos longos
- Em uma comparação treinada da mesma forma em 1,4T tokens, o Kimi Linear registrou os seguintes resultados
- 51,0 pontos no MMLU-Pro 4K, superando 47,2 do MLA e 47,9 do GDN-H
- 84,3 pontos e aceleração de 3,98x no RULER 128K, acima dos 81,3 pontos do MLA e 80,5 do GDN-H
- Em 1M tokens, o tempo por token de saída (TPOT) foi de 1,84 ms, 6,3x mais rápido que os 11,48 ms do MLA
- Mantém TPOT baixo mesmo em sequências longas, permitindo usar batches maiores
- O modelo pré-treinado tem 3B de parâmetros ativos e 48B de parâmetros totais, e supera de forma consistente o MLA completo em tarefas de contexto curto, contexto longo e pós-treinamento no estilo de aprendizado por reforço
- O kernel KDA, a integração com vLLM e o checkpoint Kimi-Linear-48B-A3B-Instruct foram disponibilizados
- Pode substituir a implementação existente sem modificar as interfaces de cache ou escalonamento do pipeline de atenção completa
1 comentários
Comentários no Hacker News
Olhando o artigo recente do Kimi K3, ele parece ser uma expansão em larga escala do Kimi Linear discutido aqui, com visão nativa e melhorias em aprendizado por reforço adicionadas à arquitetura
https://arxiv.org/abs/2607.24653
Fico me perguntando se a inteligência vista nos modelos de ponta é realmente uma propriedade emergente que só aparece ao escalar a arquitetura
Parece contrariar a intuição que um modelo de 1 milhão de parâmetros com a mesma arquitetura não consiga resolver nem puzzles básicos, enquanto um modelo de 1 trilhão de parâmetros consiga até produzir contraexemplos para a conjectura jacobiana. Dar mais computação a um algoritmo simples de ordenação não faz com que ele vença o quicksort, mas a pesquisa moderna em LLMs às vezes parece uma corrida para continuar ampliando o mesmo algoritmo e arquitetura na esperança de que a resposta apareça
Vale a pena ler o texto curto original: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
Modelos grandes conseguem criar apoio nesse espaço de representação interna com mais facilidade e, depois que a otimização avança, talvez a maior parte dos pesos nem esteja fazendo muita coisa. Ainda não está claro quanta capacidade expressiva é necessária para aprender esse espaço, mas até agora parece exigir dezenas de bilhões de parâmetros
A pergunta mais interessante é o quanto o modelo precisa ser invariante aos dados. Acho que a razão de raciocínio matemático e programação elevarem tanto o desempenho geral é que são habilidades repetíveis em uma ampla classe de tarefas. Treinar intensivamente lógica de programação, independente de linguagem ou tarefa, pode ser o caminho para modelos menores
Em analogia, modelos pequenos ficam internamente presos a algo no nível de bubble sort por limitações de capacidade e de sinal de treino, enquanto modelos grandes conseguem explorar mais fundo e encontrar algo mais próximo de quicksort
Inteligência não é binária, e tanto um modelo de 1 bilhão quanto um de 10 trilhões de parâmetros têm algum grau de inteligência. O primeiro depende demais de regularidades estatísticas e por isso é fácil de descartar; o segundo apenas avançou até o ponto de encontrar novos contraexemplos para conjecturas em aberto. Entre os dois, isso se parece mais com pequenos ganhos acumulando até virar uma avalanche do que com um salto repentino
Resultados específicos, como habilidade em matemática, podem parecer saltar de repente, mas por baixo disso há um acúmulo gradual de capacidades gerais de reduzir erros e se recuperar deles. Quando essas capacidades ficam boas o suficiente, o modelo começa a resolver tipos totalmente novos de problemas lógicos
O laboratório do Marcus Hutter expressou isso em termos de indução de Solomonoff e mostrou que esse viés é universalmente eficaz. Um viés eficaz pode usar a maldição da dimensionalidade a seu favor, permitindo continuar melhorando em modelos grandes, de forma parecida com obter respostas melhores quanto mais dados se tem
Ainda assim, a classe de modelos com esse tipo de comportamento é extremamente estreita, e estamos mais perto de ter chegado ali por sorte. É por isso que os princípios estatísticos gerais ainda ensinam que, em geral, não se deve esperar esse comportamento
Passar de 1 milhão para 1 trilhão de parâmetros é uma escala de 1 milhão de vezes. É parecido com reduzir um cérebro humano para 1% em cada dimensão, ou seja, algo na faixa de poucos mm
Comecei a construir um modelo interno com Kimi Linear, mas depois o Gated Deltanet 2 pareceu uma evolução em termos de expressividade, e nos nossos próprios testes ele realmente foi melhor
https://arxiv.org/abs/2605.22791
É excelente que tenham aberto o código-fonte do kernel KDA e da implementação no vLLM para pesquisa, e ainda distribuído checkpoints de modelos pré-treinados e ajustados por instrução
Se você quer acreditar que o sucesso do Kimi se deve apenas a um ataque de destilação, então pode ignorar este trabalho
Gostaria de saber como fica o desempenho em busca em contexto longo, especialmente em needle-in-a-haystack ou no RULER, em comparação com modelos de atenção total do mesmo tamanho. O ganho de eficiência é ótimo, mas modelos híbridos de atenção linear geralmente desmoronam nessa parte
Fico curioso se empresas como a Etched ficam em apuros quando esses Transformers não padrão começam a ser amplamente usados
Este artigo é material de 2025, já se passaram 9 meses e nesse meio-tempo novos modelos importantes foram lançados
A principal contribuição do artigo do K3 é o Stable LatentMoE. Ele comprime os dados passados entre as camadas, como alguns outros modelos, então exige certas condições do roteador; o K3 melhora o desempenho com uma estratégia mais equilibrada de seleção de especialistas