Lançamento do acelerador de IA Intel Gaudi 3

• Introdução ao acelerador de IA Intel Gaudi 3

  • O acelerador de IA Intel Gaudi 3 foi anunciado no evento Intel Vision, realizado em Phoenix, Arizona, em 9 de abril de 2024
  • Oferece 4 vezes o desempenho de operações de IA em BF16 e um aumento de 1,5 vez na largura de banda de memória em relação à geração anterior
  • Oferece aos clientes mais opções por meio de software genérico baseado em comunidade e Ethernet padrão do setor, além de permitir escalar sistemas com mais flexibilidade

• Por que o Gaudi 3 é importante

  • Empresas de setores-chave como finanças, manufatura e saúde estão ampliando o acesso à IA e acelerando a transição de projetos de IA generativa (GenAI) da fase experimental para implementações em larga escala
  • Para gerenciar essa transição, impulsionar a inovação e atingir metas de aumento de receita, são necessárias soluções e produtos abertos, com boa relação custo-benefício e alta eficiência energética
  • O acelerador Intel Gaudi 3 deve atender a essas exigências e oferecer diversidade por meio de software aberto baseado em comunidade e Ethernet aberta com padrões do setor, ajudando empresas a escalar sistemas e aplicações de IA com flexibilidade

• Como a arquitetura personalizada oferece desempenho e eficiência para GenAI

  • O acelerador Intel Gaudi 3 foi projetado para operações de IA eficientes em larga escala e, fabricado em processo de 5nm, representa um grande avanço em relação à geração anterior
  • Foi desenvolvido para ativar todos os motores em paralelo, possibilitando a aceleração necessária para operações de deep learning rápidas, eficientes e escaláveis
  • Principais recursos:
    • Motor de computação dedicado para IA: vem com um motor de computação heterogêneo composto por 64 TPCs programáveis personalizados para IA e 8 MMEs
    • Reforço de memória para requisitos de capacidade de LLM: oferece 128GB de memória HBMe2, 3.7TB de largura de banda de memória e 96MB de SRAM on-board
    • Escalabilidade eficiente do sistema para GenAI corporativa: integra 24 portas Ethernet de 200Gb, oferecendo rede flexível e com padrões abertos
    • Software aberto do setor para produtividade de desenvolvedores: integração com o framework PyTorch e modelos baseados na comunidade Hugging Face otimizados
  • Recurso adicional do Gaudi 3 PCIe: novo form factor ideal para ajuste fino, inferência e geração aumentada por recuperação (RAG)

• Adoção no mercado e disponibilidade

  • O acelerador Intel Gaudi 3 deve ser fornecido aos OEMs no 2º trimestre de 2024 em configurações padrão do setor de Universal Baseboard e Open Accelerator Module (OAM)
  • Adoção prevista por grandes OEMs como Dell Technologies, Hewlett Packard Enterprise, Lenovo e Supermicro
  • A disponibilidade geral do acelerador Intel Gaudi 3 é esperada para o 3º trimestre de 2024, e a placa add-in Intel Gaudi 3 PCIe deve ser oferecida no 4º trimestre de 2024
  • O acelerador Intel Gaudi 3 deve ser usado em várias infraestruturas de nuvem de LLM com boa relação custo-benefício, incluindo a NAVER

• Próximos planos

  • O impulso do acelerador Intel Gaudi 3 servirá de base para o Falcon Shores, o GPU de próxima geração da Intel para IA e HPC
  • O Falcon Shores deve integrar Intel Gaudi e Intel Xe IP e fornecer uma única interface de programação de GPU baseada na especificação Intel oneAPI

Opinião do GN⁺

• O Intel Gaudi 3 mostra melhorias significativas no desempenho de treinamento e inferência de modelos GenAI em comparação com produtos concorrentes importantes, como Nvidia H100 e H200. Isso indica que ele pode se posicionar como uma alternativa capaz de desafiar a posição dominante da Nvidia no mercado de IA
• O suporte a software aberto e escalabilidade baseada em padrões pode contribuir para melhor custo-benefício e evitar vendor lock-in nas empresas. Isso pode ser uma opção especialmente atraente para companhias que pretendem construir sistemas de IA em grande escala
• Ainda assim, a Intel enfrentou nos últimos anos dificuldades como perda de competitividade no mercado de CPUs e atrasos no lançamento de produtos. Vale acompanhar se o Gaudi 3 será lançado conforme o cronograma e se conseguirá ampla adoção por parte dos clientes
• Como produtos concorrentes, como o Instinct MI300 da AMD, também estão prestes a chegar ao mercado de semicondutores de IA, a concorrência deve se intensificar. Além da vantagem técnica, a construção de um ecossistema de software e a conquista de clientes devem ser fatores decisivos

[GN⁺]

Opiniões no Hacker News

• O uso da interface OAM deve permitir que entusiastas aproveitem este dispositivo mesmo daqui a 8–10 anos
• Há ceticismo sobre se a Intel dará suporte consistente e de longo prazo a esta linha de produtos
• Ele usa memória HBM2e, a mesma usada na Nvidia A100 lançada em 2020; não é a mais recente, mas com 8 stacks alcança uma largura de banda comparável à da H100
• Há curiosidade sobre se o preço do 'Gaudi 3 PCIe' será razoável o bastante para equipar uma workstation
• Agradecimento pelo uso da técnica 5Ws e H neste anúncio
• O Gaudi 3 parece ser fabricado em processo de 5 nm pela TSMC ou Samsung
• Com o avanço de arquiteturas esparsas como MoE, a capacidade de 128 GB parece importante, e o produto deve competir com a Nvidia
• Também se espera um benchmark MLPerf para o AMD MI300x
• A integração de 24 portas Ethernet de 200 Gb é impressionante, mas também decepciona quando se considera o custo dos cabos e afins
• É curioso que "terabytes (TB)" tenha sido usado como unidade de largura de banda de memória