A jornada da DeepSeek rumo ao open source do seu motor de inferência

• A equipe da DeepSeek revelou um plano para devolver ao open source o seu motor interno de inferência (DeepSeek Inference Engine)
• O motor de inferência atual é baseado em vLLM, e o compartilhamento está sendo considerado à medida que cresce a demanda de implantação dos modelos DeepSeek-V3 e R1
• A divulgação completa é difícil devido ao código existente, às dependências de infraestrutura e ao custo de manutenção, então a direção mudou para uma abordagem de modularização e contribuição por funcionalidade
• Daqui para frente, o plano é colaborar de perto com a comunidade open source para compartilhar otimizações de desempenho e recursos reutilizáveis
• A DeepSeek será ativa em otimização de inferência e sincronização do suporte Day-0 com a comunidade no lançamento de modelos

---

A jornada da DeepSeek rumo ao open source do seu motor de inferência

Reação à Open Source Week e contribuições posteriores

• Na recente Open Source Week, várias bibliotecas foram disponibilizadas como open source
• Com a reação positiva da comunidade, colaboração, discussões e correções de bugs aconteceram ativamente
• A partir disso, foi tomada a decisão de compartilhar como open source o motor interno de inferência da DeepSeek

Tecnologias de base

• O framework de treinamento da DeepSeek é baseado em PyTorch
• O motor de inferência foi desenvolvido com base em um fork inicial do projeto vLLM, incluindo muitas customizações específicas para os modelos da DeepSeek

Limitações práticas para abrir todo o código

• Diferença no codebase: começou a partir de um fork do vLLM de mais de um ano atrás; a estrutura é semelhante, mas houve mudanças consideráveis
• Dependência de infraestrutura interna: é fortemente acoplado à infraestrutura própria da DeepSeek, como ferramentas de gerenciamento de cluster, o que dificulta o uso externo
• Falta de recursos de manutenção: como uma pequena equipe de pesquisa, não há capacidade suficiente para manter continuamente um grande projeto open source

Alternativa: colaboração com projetos open source existentes

No futuro, as contribuições devem seguir estas direções:

• Extração de funcionalidades modularizadas: separar componentes reutilizáveis em bibliotecas independentes para contribuir com eles
• Compartilhamento de otimizações de desempenho: levar para projetos open source existentes as melhorias de performance e ideias de design da implementação interna

Agradecimento à comunidade e visão de futuro

• Sem a existência da comunidade open source, o avanço no desenvolvimento de AGI teria sido impossível
• Sistemas operacionais, linguagens, frameworks de ML e motores de inferência: a base da inovação em IA é o ecossistema open source
• A DeepSeek continuará se esforçando, em cooperação com a comunidade, para que os benefícios da AGI possam contribuir para toda a humanidade

[!NOTE]
Este texto é uma orientação sobre a estratégia de open source do codebase do DeepSeek Inference Engine.
Em relação a futuras divulgações de modelos, a DeepSeek pretende continuar ampliando a colaboração com a comunidade open source e com parceiros de hardware.
Em especial, antes do lançamento de modelos, a empresa pretende coordenar o ecossistema para permitir suporte SOTA desde o Day-0 em diversos ambientes de hardware, por meio do compartilhamento prévio e alinhamento de tecnologias relacionadas à inferência.

[GN⁺]

Comentários do Hacker News

• Em março, o vLLM aplicou melhorias do artigo da DeepSeek, elevando o desempenho da DeepSeek no vLLM v0.7.3 em mais de 3 vezes

  • Ainda há bastante espaço para melhorias
  • Usando vLLM, foram feitos benchmarks de 5K tokens/seg com o dataset sharegpt e 12K tokens/seg com random 2000/100
  • Segundo a visão geral do sistema de inferência DeepSeek-V3/R1, cada nó H800 fornece em média 73,7k tokens/seg de entrada durante o prefilling (incluindo cache hit) ou 14,8k tokens/seg de saída durante o decoding
  • A DeepSeek implanta uma arquitetura de inferência diferente, mas isso mostra que ainda há muito espaço para melhorar
  • Espero mais open source

• Concordo com o ponto de inflexão da codebase

  • Com base em um fork inicial do vLLM, ficou difícil customizar para os modelos da DeepSeek e escalar
  • Separar uma sub-biblioteca sustentável e compartilhar informações diretamente é uma boa forma de colaborar com a comunidade
  • Há obstáculos, mas eles não escolheram o caminho mais fácil, que seria não contribuir
  • Talvez fosse melhor compartilhar apenas informações sobre a tecnologia, mas ainda assim é compartilhamento de conhecimento
  • Parece que seria mais fácil não fazer isso
  • Meus aplausos para eles

• As motivações para empresas comerciais de IA compartilharem resultados de pesquisa e know-how

  • O motivo de o Google ter divulgado a arquitetura Transformer
  • Pode ser que queiram fazer algo bom para a humanidade e promover o progresso
  • Fico me perguntando como a diretoria de uma empresa pode tomar atitudes que vão contra o interesse comercial
  • Tenho curiosidade se existe uma lógica comercial que incentive o compartilhamento de informação e propriedade intelectual

• "Há coisas interessantes para a comunidade open source, mas para rodar isso fora da empresa é preciso muito trabalho de organização, e não temos equipe para manter isso adequadamente após o lançamento"

  • Muitas empresas estão nessa situação
  • Gostaria que open-sourceassem com um bilhete dizendo: "Não vamos manter isso, mas fiquem à vontade para fazer fork"

• Vi um bom trabalho de engenharia da DeepSeek

  • Espero que continue

• Fico pensando se é uma estratégia da China lançar em massa ferramentas, modelos etc. de IA open source para responder ao domínio dos EUA

  • Acho que isso é bom para o mercado

• tl;dr: "O fork do vLLM se tornou impossível de manter, e agora eles vão reconstruí-lo publicamente"

• Parece uma forma de implementar censura