Tenstorrent e a situação das startups de hardware de IA

• Pontos fortes da Tenstorrent
  • Desenvolve CPUs de alto desempenho baseadas em RISC-V e núcleos de IA, mostrando uma abordagem original no setor de hardware de IA
  • Disponibiliza toda a stack de software e as ferramentas para desenvolvedores como código aberto, criando um ecossistema amigável para desenvolvedores
  • Pode produzir chipsets de IA diferenciados usando o processo Samsung Foundry SF4X, com competitividade de preço
• Desvantagens e preocupações
  • O forte domínio da Nvidia no mercado de hardware de IA
  • Em comparação com concorrentes centrados em GPU, uma fraqueza relativa da Tenstorrent ainda é o problema de latência (latency) elevada
• Posição no mercado
  • A Tenstorrent oferece valor diferenciado em relação a Nvidia, AMD e ARM por meio do potencial do hardware de IA e do IP RISC-V
  • Uma estratégia focada em Inference (inferência) aumenta as chances de sucesso no mercado

Visão geral técnica da Tenstorrent

• Principais características do Grendel (chipset de IA de 3ª geração)
  • Introdução de uma arquitetura chiplet: separa núcleos de CPU RISC-V de alto desempenho e núcleos de IA
  • Projeto de topologia em malha para movimentação eficiente de dados entre os núcleos
• Estrutura dos núcleos
  • Núcleos RISC-V grandes: podem executar Linux e servem para processamento de código de uso geral
  • Núcleos Baby RISC-V: núcleos ultracompactos usados para movimentação de dados e execução de kernels. São 752 núcleos ocupando menos de 1% da área total do die
  • Núcleos Tensix: unidades de computação de IA dedicadas a operações vetoriais e matriciais. Cada núcleo Tensix tem 5 núcleos Baby RISC-V gerenciando a execução de kernels
• Compilador
  • Usa um compilador modificado com base no GCC. O usuário precisa escrever apenas um único kernel, e o GCC processa o restante automaticamente

Desafios das startups de hardware de IA

1. Competição no mercado de treinamento (Training)
   • A GPU H100 da Nvidia domina o mercado
   • Grandes empresas de nuvem, como Amazon e Google, colaboram com parceiros de design de semicondutores para produzir seus próprios chips
2. Oportunidades no mercado de inferência (Inference)
   • Há possibilidade de competir com a Nvidia em custo e desempenho
   • Competitividade de preço devido ao uso do processo da Samsung e à ausência de HBM
3. Aquisição de clientes
   • O principal alvo é o mercado de hardware voltado para inferência destinado a pequenas empresas e startups

Estratégia de software da Tenstorrent

• 6ª versão da stack de software
  • Oferece acessibilidade adaptada a diferentes desenvolvedores e usuários, de modelos de ML a kernels de baixo nível
  • Colabora com a comunidade no Discord para desenvolver kernels inovadores
• Resolução de problemas do passado
  • Antes, era necessário reconstruir a stack de software para cada hardware
  • Agora, desenvolve uma stack de software unificada que funciona independentemente do hardware

Discussão técnica e conclusão

• Filosofia da Tenstorrent
  • "O futuro da IA não está em operações puras de álgebra linear, mas em cargas de trabalho mistas"
  • Enfatiza a necessidade de integração entre CPU e núcleos de IA
• Visão de Jim Keller
  • Se as futuras cargas de trabalho de IA exigirem integração com CPU, a Tenstorrent será a única fornecedora preparada
• Perspectiva de mercado
  • O mercado de treinamento em IA quase não oferece oportunidades para startups devido à posição monopolista da Nvidia
  • Há possibilidade de sucesso no mercado de inferência com uma abordagem inovadora
  • O desempenho do Blackhole de 2ª geração e do Grendel de 3ª geração será um critério importante de avaliação no futuro

Investimento e valor da empresa

• Avaliação atual da Tenstorrent
  • Recentemente foi avaliada em US$ 2 bilhões em uma rodada Série D
  • Captura oportunidades relacionadas ao aumento de preços da ARM no mercado de IP RISC-V
• Comparação com concorrentes
  • Em comparação com outras startups de hardware de IA, como a Cerebras, apresenta superioridade em capacidade técnica e adequação ao mercado
  • Tem como fraqueza a competitividade no ecossistema CUDA em relação à Nvidia
• Estratégia futura
  • Manter o foco no mercado de inferência para preservar a competitividade
  • Continuar com a filosofia centrada em ecossistema de desenvolvedores e código aberto

Conclusão

• A Tenstorrent adota uma abordagem original no hardware de IA e no design de CPUs RISC-V, oferecendo importantes diferenciais em um mercado dominado por Nvidia e ARM
• Seu potencial de crescimento no mercado de inferência é alto, e a empresa é vista como uma das startups de IA com maior valor para investimento.

[GN⁺]

Comentários do Hacker News

• Opero um negócio de aluguel de computação de alto desempenho e quero democratizar o acesso à computação para que qualquer pessoa possa usá-la com facilidade. Sinto que, por causa da posição dominante da Nvidia, há pouco interesse em outros equipamentos. Espero que o interesse e a demanda por esse tipo de serviço aumentem.
  • Com a ARM aumentando os preços de licenciamento e os royalties, acho que o futuro do IP de CPU RISC-V é promissor. É preocupante ver mais empresas rompendo contratos.
  • Em vez de ser hardware de IA, isso parece mais uma versão reduzida da computação tradicional de alto desempenho, e deve ser útil para vários tipos de trabalho independentemente da febre da IA.
  • A Tenstorrent vê o futuro da IA em cargas de trabalho mistas. Cargas de trabalho de CPU serão necessárias, e até agora não houve grandes mudanças.
  • Menciona a possibilidade de a Groq ser uma fraude e afirma que o Llama 3.1 405B pode substituir engenheiros júnior.
  • Eu quase tinha esquecido da disputa entre ARM e Qualcomm, e grandes mudanças devem acontecer em breve.
  • Acho que seria bom se AMD e NVIDIA entrassem de forma mais agressiva nos mercados de data center e supercomputação. Comparo a situação atual ao fanatismo por times esportivos.
  • Elogia a postura da equipe da Tenstorrent de discutir abertamente e deseja que mais empresas sejam assim.
  • Há preocupação de que o Llama seja útil para engenheiros sênior, mas possa atrapalhar o aprendizado dos engenheiros júnior. É preciso pensar em formas de os engenheiros júnior aprenderem e compreenderem de maneira eficaz.
  • Ri da afirmação de que o Llama 3.1 405B pode substituir engenheiros júnior.