O MI300X da AMD supera o H100 da Nvidia em inferência de LLM

O MI300X da AMD supera o H100 da NVIDIA em desempenho

Principais pontos

• Acelerador MI300X da AMD: o mais recente acelerador MI300X da AMD apresentou desempenho superior ao H100 da NVIDIA.
• Colaboração entre TensorWave e MK1: no último mês, a TensorWave e a MK1 trabalharam juntas para otimizar o desempenho de inferência de IA em hardware da AMD.
• Arquitetura MoE: o desempenho foi testado usando a arquitetura Mixture of Expert (MoE). O MoE é aplicado a poderosos LLMs open source usados por empresas como Mistral, Meta, Databricks e X.ai.
• Resultados iniciais: usando o software de inferência da MK1, o MI300X atingiu um throughput 33% maior que o H100 SXM ao executar o vLLM com o Mixtral 8x7B.
• Competitividade: embora o ecossistema de software da NVIDIA seja mais maduro, a AMD está surgindo como uma forte concorrente no mercado de IA. Considerando disponibilidade de hardware e custo, o MI300X é uma opção atraente para empresas que executam inferência em larga escala na nuvem.
• Perspectiva futura: espera-se que, com otimizações adicionais, a vantagem de desempenho da AMD aumente ainda mais.

Opinião do GN⁺

• Potencial de ganho de desempenho: mesmo com resultados iniciais, o MI300X da AMD já mostrou alto desempenho. Com otimizações adicionais, é possível esperar resultados ainda melhores.
• Competitividade no mercado: embora o ecossistema de software da NVIDIA seja mais maduro, o hardware da AMD demonstra desempenho competitivo, o que pode fortalecer sua posição no mercado.
• Eficiência de custo: em termos de disponibilidade de hardware e custo, o MI300X pode ser uma escolha melhor. Isso é especialmente importante para empresas que realizam cargas de inferência em grande escala.
• Pontos a considerar na adoção da tecnologia: ao adotar um novo hardware, compatibilidade de software e otimização são fatores importantes. No caso do MI300X da AMD, pode ser necessário um esforço adicional na configuração inicial e na otimização.
• Produtos concorrentes: além do H100 da NVIDIA, existem outros aceleradores de IA, como o TPU do Google e os aceleradores da Habana Labs, da Intel. É importante comparar as características e o desempenho de cada produto para fazer a melhor escolha.

[GN⁺]

Comentários do Hacker News

• A TensorWave é uma provedora de nuvem especializada em cargas de trabalho de IA e oferece alto desempenho usando os aceleradores Instinct™ MI300X da AMD.
• Em 2024, usar um benchmark com 128 tokens de entrada não representa a maioria das cargas de trabalho, e o desempenho de prefilling é muito importante.
• Precisamos de concorrência, e atualmente o valor de mercado da Nvidia é de cerca de US$ 0,6 trilhão, maior que o da Bolsa de Valores de Frankfurt inteira.
• O mercado e os preços de venda refletem o valor das soluções da Nvidia e o das soluções da AMD, incluindo ferramentas, software, custo total de propriedade (TCO) e capacidade de gerenciamento.
• Fico me perguntando se muitas empresas realmente gastam muito dinheiro para executar em paralelo modelos de 8x 7B parâmetros, e se é possível treinar um modelo de 14B em um único acelerador.
• A AMD e outras empresas estão tentando vencer a Nvidia usando benchmarks escolhidos a dedo e modelos de comparação de geração intermediária.
• Como cientista de IA, acho que a AMD é subvalorizada em relação à Nvidia. Os chips não são tão rápidos quanto os da Nvidia, mas, na maior parte da indústria, têm bom custo-benefício e podem entregar resultados semelhantes.
• Fico me perguntando se a configuração de paralelismo de tensor afeta o desempenho. Segundo o artigo, a AMD define o paralelismo de tensor como 1, e a Nvidia como 2.
• Sem métricas estatísticas adequadas e desempenho por watt, a comparação não faz sentido.
• Benchmarks em INT8/FP8 teriam sido bons, e ambas as placas poderiam ser carregadas com cerca de 60 GB de VRAM.
• A AMD tem hardware melhor, mas ainda não tem capacidade de produção para competir com a Nvidia. Quando a concorrência real alcançar esse nível, as margens serão comprimidas.
• O domínio da Nvidia não se deve ao CUDA, mas ao fato de que cerca de 40% da receita vem de grandes empresas que usam suas próprias stacks customizadas. Quando a concorrência alcançar esse nível, ela oferecerá GPUs mais baratas.
• Em teoria, a MI300X deveria ser mais barata, mas ainda resta ver se isso acontece na prática.