CEO da Nvidia, Jensen Huang, anuncia novo chip de IA: "É preciso uma GPU maior"

CEO da Nvidia, Jensen Huang, anuncia novo chip de IA: 'É preciso uma GPU maior'

• A Nvidia anunciou na segunda-feira uma nova geração de chips de inteligência artificial (IA) e software para executar modelos de IA.
• O novo processador gráfico de IA se chama 'Blackwell' e deve começar a ser enviado no fim deste ano.
• O anúncio acontece em um momento importante para empresas e desenvolvedores de software que ainda correm para conseguir chips semelhantes ao H100 da geração atual.

Blackwell, sucessor do Hopper

• A Nvidia atualiza sua arquitetura de GPU a cada dois anos, alcançando grandes saltos de desempenho.
• O GB200, processador baseado em Blackwell, oferece 20 petaflops de desempenho em IA, em comparação com os 4 petaflops do H100, permitindo que empresas de IA treinem modelos maiores e mais complexos.
• O chip inclui um 'Transformer Engine' feito especialmente para executar IA baseada em transformers e combina dois dies fabricados pela TSMC em um único chip grande.

Microsserviços de inferência da Nvidia

• A Nvidia adicionou à assinatura de software Nvidia Enterprise um novo produto chamado 'NIM' (Nvidia Inference Microservice).
• O NIM facilita o processo de inferência para executar software de IA usando GPUs Nvidia já existentes, permitindo que as empresas continuem usando os milhões de GPUs Nvidia que já possuem.
• Essa estratégia incentiva clientes que compram servidores baseados em Nvidia a aderirem ao Nvidia Enterprise, que cobra uma licença anual de US$ 4.500 por GPU.

Opinião do GN⁺

• O anúncio do novo chip de IA 'Blackwell' da Nvidia e do software relacionado 'NIM' simboliza o avanço tecnológico no campo da IA e destaca a importância das plataformas de hardware e software para o treinamento e a inferência de modelos de IA.
• O ganho de desempenho do chip Blackwell oferece aos pesquisadores de IA a oportunidade de experimentar modelos maiores e mais complexos, o que pode desempenhar um papel importante no avanço da IA.
• No entanto, o alto preço de chips de IA de alto desempenho pode se tornar uma barreira de entrada para algumas empresas ou instituições de pesquisa, o que pode estimular discussões sobre a democratização da tecnologia.
• Outras empresas que competem com a Nvidia também estão desenvolvendo produtos com capacidades semelhantes, como o Radeon Instinct da AMD ou o TPU do Google, oferecendo alternativas no mercado de hardware para IA.
• Entre os fatores a considerar na adoção de tecnologia de IA estão custo, desempenho, compatibilidade e suporte técnico, e a nova escolha tecnológica da Nvidia pode trazer grandes vantagens para empresas que atendam a esses critérios.

[corelyai]

• Conferência de desenvolvedores da Nvidia: apresentação do chip Blackwell e de tecnologias futuras

• A Nvidia apresentou o Blackwell, uma plataforma inovadora com 208 bilhões de transistores em dois dies adjacentes para criar um único chip gigantesco capaz de transferir 10 terabytes de dados por segundo, oferecendo compatibilidade de formato com o Hopper.
• O switch de link MVY do Blackwell, com 50 bilhões de transistores, permite comunicação em velocidade máxima entre GPUs, possibilitando construir um sistema de IA em exaflops em um único rack.
• A Nvidia anunciou parcerias do Blackwell com AWS, Google, Oracle e Microsoft para acelerar diversos serviços de IA e integrar a tecnologia da Nvidia a essas plataformas.
• A Nvidia revelou uma AI Foundry em colaboração com empresas como SAP, ServiceNow, Cohesity, Snowflake e Dell para a construção de soluções de IA generativa e fábricas de IA.
• Com streaming do Omniverse Cloud para o Vision Pro, viabilizando integração fluida e fluxos de trabalho entre várias ferramentas de design, a Nvidia também apresenta o Project GR00T, Isaac Lab e OSMO para robôs com IA.
• O robô bdx da Disney, movido por Jetson, fez uma participação especial e demonstrou capacidades de aprendizado no Isaac Sim.

Este é um resumo do conteúdo em vídeo da CNET feito com o corely.ai (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Comentários do Hacker News

• Foi observado na conferência que a Nvidia está avançando no sentido de ampliar a stack.

  • Como fornecedora de hardware, a Nvidia está, como esperado, continuando a construir coisas maiores.
  • O ponto que chama atenção é que ela está construindo o NIM, um "docker for llms".
  • O NIM é um sistema de contêineres que pode ser implantado facilmente em hardware da Nvidia.
  • Será interessante observar que impacto isso terá nas startups de IA.

• Há o reconhecimento de que a Nvidia está se transformando em uma provedora de plataforma.

  • Isso parece ser mais lucrativo para a Nvidia como plataforma de serviços de IA.
  • Pode ser difícil equilibrar isso com as parcerias com AWS e Microsoft.
  • A Nvidia está em posição vantajosa porque a dependência de IA em relação ao CUDA é alta.
  • Há interesse em ver como isso vai se desenrolar no futuro.

• Há curiosidade sobre se FP4 é ponto flutuante de 4 bits.

  • O gráfico de comparação que mostra algo 30 vezes maior que Hopper é um tanto enganoso.

• A Nvidia adquiriu a Bright Cluster Manager há alguns anos.

  • Fica a dúvida sobre quem será a próxima aquisição, e percebe-se a intenção de oferecer a stack completa.

• Pergunta-se se "empresa de plataforma" neste caso significa múltiplos chips.

  • Como é irrealista colocar transistores demais em um único die, seguir para múltiplos chips é algo lógico.

• Alega-se uma redução de 25 vezes no consumo de energia, o que é difícil de entender.

  • É necessário explicar de onde veio esse número.

• Houve menção à produção em massa na casa de dezenas de petaflops.

  • Existem várias estimativas sobre o poder computacional necessário para replicar a atividade do cérebro humano.
  • Um petaflop é 10^15.
  • Enfatiza-se que estamos vivendo tempos impressionantes.

• A receita de data center da Nvidia atingiu um recorde de US$ 18,4 bilhões no 4º trimestre de 2023.

  • Isso representa alta de 27% em relação ao trimestre anterior e de 409% na comparação anual.
  • Isso sugere que a receita com inferência está aumentando de forma significativa.

• O fato de o FP8 ser 2,5 vezes melhor que Hopper é um pouco decepcionante depois de tanto tempo.

  • Como são 2 chips fundidos, o efeito real seria de apenas 25% de aumento.
  • A maior parte do avanço está na largura de banda de memória e no uso de energia.
  • Há curiosidade sobre como esses avanços afetarão o segmento de consumo.

• Foi fornecido um link com mais informações sobre os detalhes técnicos.