Estouro da bolha das GPUs H100: por que o preço das GPUs caiu de $8 para $2

• Após o lançamento do ChatGPT em novembro de 2023, a demanda por GPUs H100 disparou, fazendo o aluguel por hora subir de $4,70 para mais de $8
• Provedores de data center estimavam um período de retorno do investimento inferior a 2 anos ao alugar H100 por mais de $4,50 por hora
• Porém, em agosto de 2024, o aluguel de GPUs H100 em clusters pequenos caiu para a faixa de $1~$2

Critérios de rentabilidade do investimento em H100 para data centers

• Acima de $2,85 por hora: possibilidade de superar o retorno do S&P500
• Abaixo de $2,85 por hora: retorno inferior ao do S&P500
• Abaixo de $1,65 por hora: expectativa de prejuízo no investimento ao longo de 5 anos

Principais causas da forte queda no preço de mercado das GPUs H100

• Ascensão dos modelos com pesos abertos, aumentando a demanda por inferência e fine-tuning
• Em contrapartida, retração do mercado de fabricantes de modelos fundacionais de pequeno e médio porte
  • Muitas empresas e startups perceberam que ajustar modelos open weight existentes é mais econômico e eficaz do que treinar seus próprios modelos
  • Retirada de investimentos por parte de startups e empresas sem planos de treinar modelos grandes, acima de 70B
• Muitos provedores de infraestrutura garantiram lucro por meio de contratos de longo prazo de 3 a 5 anos
  • Isso foi imposto por várias empresas de modelos fundacionais durante o pico da IA em 2023
  • Início da revenda da capacidade ociosa de nós reservados
• A construção de clusters próprios por grandes fabricantes de modelos, como Facebook e Microsoft, reduziu a demanda pelos clusters existentes
• O ChatGPT foi lançado em novembro de 2022 com a série A100, e o H100 foi introduzido em março de 2023. O H100 era 3 vezes mais potente que o A100, mas custava apenas o dobro
• Surgimento de GPUs alternativas ao H100, como AMD MI300 e Intel Gaudi3
• Queda da demanda por mineração com GPU devido à transição do Ethereum para proof-of-stake e ao domínio dos ASICs na mineração de Bitcoin

Implicações

• O custo médio de uma H100 é superior a $50k e, assumindo uma vida útil de 5 anos, existem diversos modelos de locação
  • Acima de $2,85 por hora, é possível superar a TIR do mercado acionário, mas abaixo disso podem ocorrer prejuízos
• Novos investimentos em hardware H100 têm alta probabilidade de gerar perdas
  • Exceto em situações excepcionais, como H100 com desconto, custo de energia, exigências específicas de clientes etc.
• Por outro lado, a queda dos preços da H100 deve servir como catalisador para a disseminação da IA de pesos abertos
  • Espera-se maior atividade de desenvolvedores e engenheiros em experimentação com modelos abertos e desenvolvimento de aplicações
• A Featherless.AI oferece inferência imediata para mais de 2.000 modelos de IA open source por um preço fixo de $10 por mês
  • Para garantir a rentabilidade do hardware, é essencial otimizar todas as camadas e selecionar GPUs sob medida

Opinião do GN⁺

• Mudança no mercado de GPUs: a queda no preço das H100 mostra a rápida transformação do mercado de GPUs. Isso tem grande impacto para investidores e provedores de infraestrutura
• Influência dos modelos open source: o surgimento de modelos open source como o Llama 3 aumenta a demanda por fine-tuning e inferência. Isso reduz a demanda por treinamento de modelos em grande escala
• Ascensão das GPUs alternativas: com GPUs da AMD e da Intel surgindo como alternativas à H100, a concorrência no mercado está se intensificando. Isso pode exercer pressão adicional sobre a queda dos preços das GPUs
• Oportunidade para aplicações de IA: a redução do custo das GPUs pode diminuir a barreira de entrada para o desenvolvimento de aplicações de IA e estimular mais inovação
• Necessidade de repensar a estratégia de investimento: investimentos em infraestrutura de GPU exigem uma abordagem cuidadosa, com observação atenta das tendências do mercado

[readiz]

O efeito borboleta provocado pelo llama... interessante. haha

[GN⁺]

Opinião no Hacker News

• Serviços que oferecem GPU a $2 podem colocar o negócio em risco ao depender de computação não confiável. A AWS aumentou a confiabilidade da infraestrutura de GPU corporativa de alto nível.

  • É impossível lucrar oferecendo H100 a $2.

• Data centers que já tinham infraestrutura conseguiram obter grandes lucros com a H100. Porém, em um mercado eficiente, essas oportunidades não duram para sempre.

  • A $2,00 ainda é lucrativo, mas exige eletricidade/infraestrutura/mão de obra baratas.

• O lucro real está em alugar clusters InfiniBand, e não GPUs ou máquinas individuais.

  • O cluster Lambda One Click indica $4.49/H100/hora.

• No mundo todo, há menos de 50 equipes que precisam de 16 nós H100. Muitas equipes não conseguirão ter lucro.

  • Até empresas tradicionais de desenvolvimento de software têm baixa taxa de sucesso.

• Muitos fundadores tentam treinar modelos para convencer investidores, mas são raros os casos de modelos realmente valiosos terem sido treinados.

  • Até a OpenAI tem dificuldade para conter a saída de caixa.
  • Há preocupação com a possibilidade de surgirem avanços tecnológicos ou concorrentes mais baratos.

• Expressa tristeza pelos laboratórios universitários que não conseguiam comprar recursos computacionais quando a pesquisa em IA estava em alta.

  • Com a chegada do inverno da IA, os custos de computação voltarão a ficar baratos.

• Essa situação faz lembrar o ciclo de boom e bust do petróleo descrito em 'The Prize: The Epic Quest for Oil, Money & Power'.

• A OpenAI precisa continuar melhorando seus modelos em resposta ao avanço dos modelos open source.

  • Com o tempo, a vantagem da OpenAI pode deixar de ser importante para a maioria das pessoas.

• Isso soa como uma má notícia para fazendas de aluguel de GPU.

• Compartilha a opinião de que aumentou um pouco sua posição vendida em NVDA.

  • Considera que o pico está próximo.