Visão geral da arquitetura do Kimi K3 e notas de design

 (sebastianraschka.com)
2 pontos por GN⁺ 3 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Modelo de produção que expande o Kimi Linear, divulgado no ano passado, de 48B para 2,8T; atualmente é o maior entre os modelos de pesos abertos
  • O recém-introduzido LatentMoE comprime grandes camadas lineares por meio de down-projection, e a arquitetura geral substitui MoE e atenção comuns por componentes voltados à eficiência de inferência
  • Resíduos de atenção (attention residuals) conectam resíduos entre camadas com pesos baseados em pontuações de atenção, melhorando de forma consistente e leve a perda de validação e o desempenho em downstream
  • Com os resíduos de atenção, o custo de treinamento aumenta cerca de 4% e o de inferência cerca de 2%; todas as camadas RoPE são removidas e NoPE é aplicado a todo o modelo
  • Com a adição de suporte multimodal nativo, o Kimi K3 busca combinar a expansão em larga escala do Kimi Linear com melhorias em eficiência de inferência e nos caminhos residuais

Expansão do Kimi Linear para 2,8T

  • O Kimi K3 é uma versão de produção do Kimi Linear expandida de 48B para 2,8T, e atualmente é o maior modelo de pesos abertos
  • Em relação ao Kimi Linear, o novo LatentMoE é essencialmente igual à abordagem do Nemotron 3 Ultra
  • Seguindo a tendência observada em modelos como Nemotron 3 e DeepSeek V4, o foco está na melhoria da eficiência de inferência
    • Substitui o MoE comum por LatentMoE
    • Usa atenção latente multi-head e Kimi Delta Attention em vez de atenção comum

Caminhos residuais e informação posicional

  • Resíduos de atenção são um componente voltado à melhoria dos caminhos residuais, não à otimização de eficiência, e já haviam sido aplicados ao Kimi Linear
    • Diferentemente das mHC (manifold-constrained Hyper-Connections) do DeepSeek V4, que ampliam os caminhos residuais, os resíduos de atenção conectam resíduos entre camadas
    • Usam pontuações de atenção, que indicam a importância ou contribuição de cada resíduo, como pesos de conexão
    • Segundo o relatório técnico, melhoram de forma consistente e leve a perda de validação e o desempenho em downstream, mas aumentam o custo de treinamento em cerca de 4% e o de inferência em cerca de 2%
  • Remove todas as camadas RoPE e aplica NoPE, ou seja, sem embeddings posicionais, a todas as camadas
    • Arquiteturas recentes vinham tendendo a usar RoPE em atenção local, como atenção de janela deslizante, e NoPE em camadas globais
    • Já existiam arquiteturas anteriores usando apenas NoPE, mas o Kimi K3 é, até onde se sabe, o primeiro modelo de nível frontier a aplicá-lo integralmente

Suporte multimodal nativo

  • O Kimi K3 também adiciona suporte multimodal nativo

Leituras relacionadas

1 comentários

 
GN⁺ 3 시간 전
Comentários no Hacker News

  • Ao contrário de chefes de laboratórios ocidentais de pesquisa que tratam o Kimi como simples produto de um ataque de destilação, na prática ele está introduzindo abordagens novas e originais

  • Sebastian Raschka é um excelente pesquisador e autor de grandes modelos de linguagem, e recomendo fortemente seu Substack

    • Eu não conhecia antes, mas fiquei impressionado com como ele vai direto ao ponto e ainda assim escreve de forma fácil de entender
    • Em uma área cheia de resumos de IA gerados de qualquer jeito, parece uma joia rara, então adicionei ao meu feed RSS

  • Dizem que “curiosamente, o Kimi K3 remove todas as camadas RoPE e, em vez disso, usa NoPE (No Positional Embeddings) em toda parte”
    O simples fato de isso funcionar já é surpreendente. Sem informação posicional, fico me perguntando se não vira uma sopa de tokens, e se a atenção é precisa o suficiente para aprender que é o segundo token apenas aprendendo a acumular algo no espaço de embeddings quando chega o segundo token

    • Com máscara causal, o modelo pode aprender embeddings posicionais implícitos. A noção de que blocos Transformer são invariantes a permutação na verdade não é correta
    • Em Transformers causais apenas com decodificador, embeddings posicionais não são necessariamente exigidos, mas em modelos não causais, como o codificador do artigo original dos Transformers, eles certamente são necessários
      A intuição de acumulação também é adequada. Se alguns cabeçotes de atenção continuarem escrevendo valores na mesma região do fluxo residual, conforme os tokens de entrada aumentam, os valores se acumulam pela soma da atenção e podem funcionar como uma espécie de índice mesmo sem codificação posicional separada
    • Camadas lineares usam atenuação parecida com filtros FIR para fornecer naturalmente posição relativa. Assim, camadas de atenção completa podem se concentrar em conectar conceitos independentemente da distância
    • Em um modelo híbrido de atenção como esse, pelo menos as camadas de modelo de espaço de estados (SSM) provavelmente já incorporam embeddings posicionais relativos por meio de sua estrutura recorrente

  • É interessante que usem NoPE em toda parte. Outros modelos normalmente deixam RoPE nas camadas locais, mas aqui parece que camadas de atenção linear como a Kimi Delta assumiram silenciosamente o tratamento posicional, permitindo omiti-lo. Fico curioso se isso se sustenta em escala de ponta

    • Apesar do nome, Kimi Delta Attention (KDA) é mais próxima de uma RNN que pode ser paralelizada com eficiência durante o treinamento do que de atenção no sentido usual. É uma estrutura levemente modificada do Gated DeltaNet, uma RNN com estado oculto que funciona como uma pequena memória de atenção editável
      Por ser parecida com RNN, ela reconhece essencialmente a ordem de X, Y e Z em XYZ. O Transformer básico lida com conjuntos sem ordem, então é preciso informar separadamente a posição entre os itens
      Há 3 camadas KDA para cada camada de atenção, e também 3 antes da primeira camada de atenção, então todos os tokens podem aprender sua informação posicional antes de chegar à primeira camada de atenção de fato
      RoPE degrada parte da informação, então poder omiti-lo assim é vantajoso. O Gemma-4 também tem uma estrutura parecida de 5:1, com cinco camadas de sliding window attention (SWA) para cada camada de atenção global. A SWA é barata e menos potente, mas processa informação local e preenche o espaço entre camadas globais fortes; neste modelo, o KDA cumpre esse mesmo papel
      No Gemma, o RoPE só é necessário na SWA, que é atenção de fato, e é omitido na atenção global. Como o KDA não é atenção, ele não precisa de embeddings posicionais
      Não sei o quanto maior do que isso seria necessário para ser escala de ponta, mas não há motivo para que isso não funcione em escala ainda maior. À medida que os parâmetros aumentam, fica até mais fácil para as camadas KDA transmitirem informação posicional
    • O Kimi K3, pelos benchmarks, está em uma faixa parecida com Opus e Fable, então fico na dúvida se algo maior do que isso já seria escala de ponta. Todos estão na faixa de 2 a 4 trilhões de parâmetros, e imagino que a principal diferença esteja na qualidade do treinamento e na arquitetura
    • Também há um efeito colateral um pouco estranho. Os provedores que usei não armazenavam o cache KV só até o prompt de entrada mais recente, e sim em blocos incrementais fixos de 1.024 tokens. Como resultado, em cada inferência eram adicionados até 1.023 tokens de entrada com cache miss