Tenstorrent, liderada por Jim Keller, revela a Grayskull baseada em RISC-V como resposta às GPUs

• A Tenstorrent é uma empresa liderada por Jim Keller, renomado projetista de chips por trás da arquitetura Zen da AMD e dos chips de direção autônoma da Tesla
• Lançou a Grayskull, uma alternativa às GPUs baseada em RISC-V, fácil de programar e expandir, com destaque para o processamento de esparsidade e computação condicional em tempo de execução
• Apresentou kits de desenvolvimento em duas versões, Grayskull e75 e Grayskull e150. Trata-se de hardware dedicado apenas a inferência para desenvolvimento de IA, acompanhado dos softwares TT-Buda e TT-Metalium
• A Tenstorrent firmou uma parceria com o Leading-edge Semiconductor Technology Center (LSTC), do Japão.
• Pretende construir aceleradores de IA de ponta em 2 nm usando o IP de RISC-V e chiplets da Tenstorrent

O poder da Grayskull!

• O modelo Grayskull e75 traz um único processador Grayskull em uma placa PCIe Gen 4 half-length, low-profile, operando a 75W.
• O modelo Grayskull e150 traz o processador Grayskull em uma placa PCIe Gen 4 de altura padrão e 3/4 de comprimento, operando em até 200W, oferecendo equilíbrio entre energia e throughput.

Processadores e DevKits da Tenstorrent

• Os processadores da Tenstorrent são compostos por uma grade de núcleos chamada Tensix, com hardware de comunicação em rede que permite comunicação direta entre si pela rede, sem passar pela DRAM.
• Os DevKits Grayskull oferecem suporte a diversos modelos, como BERT para processamento de linguagem natural, ResNet para reconhecimento de imagem, Whisper para reconhecimento e tradução de fala, YOLOv5 para detecção de objetos em tempo real e U-Net para segmentação de imagem.
• Os DevKits Grayskull e75 e e150 podem ser comprados por $599 e $799, respectivamente.

Opinião do GN⁺

• A Grayskull da Tenstorrent, como alternativa às GPUs tradicionais baseada em RISC-V, pode ampliar a diversidade do setor ao oferecer uma nova opção para desenvolvedores de IA.
• O fato de a Grayskull ser especializada em esparsidade em tempo de execução e computação condicional traz potencial para melhorar a eficiência e o desempenho de modelos de IA.
• Ao adotar essa tecnologia, é preciso considerar a compatibilidade com ambientes de desenvolvimento existentes, o suporte do ecossistema e a eficiência de desempenho e custo no longo prazo.
• Outros produtos do setor com funções semelhantes incluem as GPUs da NVIDIA e as TPUs do Google, mas a Grayskull se diferencia por ser baseada na arquitetura RISC-V.
• O sucesso da Grayskull pode impulsionar o crescimento e a inovação no ecossistema de hardware open source, contribuindo para a democratização da tecnologia e para a melhoria da acessibilidade.

[ryudaewan]

Parece que o Jim Keller é fã de He-Man. https://youtu.be/V8h8snfYidg?feature=shared

[GN⁺]

Comentários do Hacker News

• Resumo do kit de desenvolvimento Grayskull:

  • Grayskull e75: consumo de 75W, 96 núcleos Tensix, clock de 1GHz, 96MB de SRAM, 8GB de memória LPDDR4 (102.4 GB/s), preço de $599
  • Grayskull e150: consumo de 200W, 120 núcleos Tensix, clock de 1.2GHz, 120MB de SRAM, 8GB de memória LPDDR4 (118.4 GB/s), preço de $799
  • Há interesse em saber como o desempenho de inferência desses produtos se compara ao de placas gráficas e se eles seriam adequados para homelab.
  • Existe uma entrevista de unboxing de uma versão preview do produto, mas sem números de desempenho.

• Opiniões sobre a arquitetura:

  • A participação de Jim Keller desperta interesse, mas para quem não tem conhecimento de design de CPU/ASIC, a arquitetura parece um tanto “estranha”.
  • Pedem uma explicação da topologia em rede, na qual a grade de núcleos, memória e interfaces aparecem misturadas.

• Explicação de como a arquitetura funciona:

  • Sistema básico composto por núcleos Tensix e memória compartilhada.
  • Cada núcleo Tensix inclui uma unidade densa de matemática tensorial (FPU) para operações com tensores, um mecanismo SIMD (SFPU), 5 núcleos de CPU Risc-V e uma grande memória local.
  • Os núcleos são conectados em duas direções opostas em formato de toro.
  • Os núcleos RISC-V são usados para controlar a FPU e a SFPU, além de preparar/mover dados.
  • A SFPU é um mecanismo SIMT mais genérico que pode ser acionado a partir dos núcleos RISC-V.
  • É possível testar o simulador da SFPU no GitHub, e o modelo de programação pode ser visto em exemplos de kernels de baixo nível.
  • A SFPU do Grayskull tem 4 LRegs de uso geral capazes de armazenar 64 valores de 19 bits, enquanto o Wormhole tem 8 LRegs de uso geral capazes de armazenar 32 valores de 32 bits.
  • A SFPU do Wormhole tem cerca de 3x mais IPC que a do Grayskull, além de algumas novas instruções de SFPU.
  • Mais informações podem ser encontradas ao revisar a documentação e explorar o repositório no GitHub.

• Dúvidas sobre a escolha dos modelos:

  • Questionam por que começar com modelos como BERT, ResNet, Whisper, YOLOv5 e U-Net.
  • Supõe-se que o objetivo seja eficiência energética, mas isso não parece se encaixar completamente.

• Perguntas sobre os requisitos do sistema:

  • Questionam por que o sistema host precisa de 64GB de RAM.
  • Levantam a dúvida se um servidor de inferência não deveria ter configuração mínima além do hardware de inferência.

• Comparação com silício customizado de outras empresas:

  • Há curiosidade sobre como comparar esse tipo de processador com o silício customizado da AWS, Google e Tesla.

• Semelhança da arquitetura:

  • Parece semelhante à forma como o projeto de GPU Larrabee da Intel tentava funcionar, só que usando RISC-V.

• Decepção com soluções apenas para inferência:

  • Há quem diga estar cansado de startups promissoras como Groq e Tenstorrent oferecendo soluções apenas para inferência.
  • Pelos canais oficiais da Groq, foi obtida a informação de que não há planos de investir em desenvolvimento que permita treinamento.
  • Dá para entender, já que a demanda por inferência pode ser milhões de vezes maior que a demanda por treinamento, mas ainda assim isso é decepcionante.

• Número de núcleos RISC-V no Grayskull™ e150:

  • O Grayskull™ e150 tem 120 núcleos Tensix, e cada um inclui 5 núcleos RISC-V, totalizando 600 núcleos de CPU RISC-V.

• Falta de informações sobre desempenho e arquitetura:

  • Não conseguem encontrar informações detalhadas sobre desempenho ou arquitetura.
  • Para um dispositivo voltado a ML, a largura de banda de memória parece muito baixa e o preço muito alto.
  • Questionam o que podem estar deixando passar.