Nuvens alternativas crescem rapidamente à medida que empresas buscam acesso mais barato a GPUs

Crescimento das plataformas de nuvem alternativas

• A demanda por plataformas de nuvem alternativas está aumentando mais do que nunca
• A CoreWeave levantou recentemente US$ 1,01 bilhão em novos investimentos, elevando sua avaliação para US$ 19 bilhões
• A Lambda Labs também garantiu US$ 500 milhões em financiamento estruturado, enquanto a Voltage Park está investindo US$ 500 milhões em data centers baseados em GPU
• A Together AI recebeu um investimento de US$ 106 milhões liderado pela Salesforce

Aumento da demanda por IA generativa

• Com o boom da IA generativa continuando, também cresce a demanda por hardware para executar e treinar modelos de IA generativa em larga escala
• As GPUs incluem milhares de núcleos capazes de processar em paralelo as equações de álgebra linear que compõem os modelos generativos, tornando-as uma escolha ideal para treinamento, ajuste fino e inferência
• No entanto, como o custo de instalação de GPUs é alto, a maioria dos desenvolvedores e organizações está recorrendo à nuvem

Vantagens das plataformas de nuvem alternativas

• Provedores tradicionais de computação em nuvem, como AWS, Google Cloud e Microsoft Azure, oferecem GPUs e instâncias de hardware especializado otimizadas para cargas de trabalho de IA generativa
• Porém, para alguns modelos e projetos, as nuvens alternativas podem ser mais baratas e ter melhor disponibilidade
• Na CoreWeave, o aluguel de uma Nvidia A100 40GB custa US$ 2,46 por hora, o que equivale a US$ 1.771 por mês. No Azure, a mesma GPU custa US$ 3,40 por hora e US$ 2.448 por mês; no Google Cloud, US$ 3,67 por hora e US$ 2.642 por mês

Desafios das plataformas de nuvem alternativas

• A grande questão será se os provedores de nuvem alternativos conseguirão continuar colocando grandes volumes de GPUs online e oferecendo preços competitivos
• À medida que empresas estabelecidas como Google, Microsoft e AWS aumentam os investimentos em hardware personalizado para execução e treinamento de modelos, a competição de preços pode ficar mais difícil
• Muitas cargas de trabalho de IA generativa rodam melhor em GPUs, mas para tarefas que não são sensíveis ao tempo, GPUs podem não ser necessariamente essenciais
• Se a bolha da IA generativa estourar, existe o risco de excesso de oferta de GPUs e uma forte queda na demanda

Opinião do GN⁺

• Com a explosão da demanda por GPUs, a influência dos principais fornecedores de GPU, como a Nvidia, pode aumentar ainda mais. Há relatos de que a Nvidia deu prioridade no fornecimento de GPUs para provedores de nuvem alternativos, o que parece ser uma estratégia para reforçar seu domínio de mercado
• Se os provedores de nuvem conseguirem garantir grandes clusters de GPUs, poderão obter vantagem competitiva na atração de grandes projetos de IA. Um exemplo representativo é o contrato de vários bilhões de dólares que a Microsoft assinou com a CoreWeave para fornecer capacidade computacional em GPU à OpenAI
• No longo prazo, porém, o cenário da indústria de nuvem pode mudar bastante com o desenvolvimento de silício customizado especializado em IA, como Google TPU, MS Azure Maia/Cobalt e AWS Trainium. Os hyperscalers provavelmente tentarão reduzir sua dependência da Nvidia
• Embora a nuvem alternativa tenha surgido como uma nova opção, o número de clientes com capacidades de segurança, compliance e gestão multicloud seguirá limitado. A dominância de mercado dos provedores de nuvem tradicionais continua extremamente forte

[GN⁺]

Comentários do Hacker News

Resumo:

• O modelo de negócios da AWS parece ser tornar a precificação confusa, de modo que você só saiba o custo depois de usar
• A análise do custo mensal do novo tipo de instância n4-standard-2 da GCP mostra que os custos de vCPU e memória são altos, em US$ 69 por mês, e o preço do SSD também é caro
• Espera-se que os grandes provedores de nuvem enfrentem dificuldades nos próximos 10 anos. O custo e a complexidade de construir sistemas em escala planetária são altos demais para serem facilmente justificados
• Há um erro de cálculo em um artigo que compara os custos de aluguel de GPUs Nvidia A100 40GB da CoreWeave, Azure e Google Cloud. O custo mensal da CoreWeave difere em cerca de 30%
• A fly.io é recomendada como uma alternativa adequada para cargas de trabalho com GPU. O recurso de autoscaling é bom
• O modelo de negócios da AWS parece gerar muito lucro no processo em que startups iniciais crescem e viram grandes empresas. Porém, com o fim do ZIRP e a dificuldade de captação com VCs, espera-se que diminua o número de startups capazes de gastar muito dinheiro em busca de crescimento explosivo
• Foi levantada uma pergunta sobre a experiência de usar GPUs de nuvens alternativas para tarefas de inferência. A latência é importante, e a comunicação entre a infraestrutura da AWS e GPUs em outros lugares pode ser difícil
• Core Weave e Lambda Labs têm políticas de preços predatórias nas quais não é possível alugar GPUs sem contrato anual. Também há empresas como a sfcompute que oferecem computação por hora
• O simples fato de “ter conseguido uma pequena quantidade de H100s/A100s” pode, por si só, ser um modelo de negócio de tecnologia lucrativo
• A Crusoe Cloud oferece H100s, A100s e L40s a preços muito baixos e não cobra taxa de uso de rede. O preço por FLOP é incomparável