Cloud TPU v5e
- A Cloud TPU mais econômica, versátil e escalável, com integração com os principais frameworks como Google Kubernetes Engine (GKE), Vertex AI, Pytorch, JAX e TensorFlow
- Oferece até 2x mais desempenho de treinamento por dólar e até 2,5x mais desempenho de inferência para LLMs e modelos de IA generativa em comparação com a Cloud TPU v4
- Suporta 8 configurações diferentes de máquinas virtuais (VMs), permitindo escolher a configuração adequada para diversos tamanhos de LLMs e modelos de IA generativa
- Com a introdução da tecnologia Multislice, os usuários podem escalar modelos de IA além dos limites físicos de um pod de TPU, chegando a dezenas de milhares de chips Cloud TPU v5e ou TPU v4
A3 GPU VM
- Equipada com a GPU NVIDIA H100 Tensor Core. Foi criada especialmente para treinar e servir cargas de trabalho de IA generativa e LLMs com requisitos elevados, e estará geralmente disponível no próximo mês
- As A3 VMs oferecem treinamento 3x mais rápido e largura de banda de rede 10x maior em comparação com a geração anterior, entregando grande escala e desempenho
Ainda não há comentários.