O presente e o futuro do dilema dos custos de infraestrutura de IA

• Por que o custo computacional de modelos de IA é tão caro?
• O debate sobre tempo e custo das GPUs
• Pontos a considerar sobre infraestrutura de IA
  • Infraestrutura externa vs. infraestrutura própria
  • Nuvem vs. construção de data center
  • Comparação entre provedores de serviços em nuvem: preço, disponibilidade, modelo de entrega de computação, interconexão de rede, suporte ao cliente
  • Comparação entre GPUs: treinamento vs. inferência, requisitos de memória, suporte de hardware, requisitos de latência, variações bruscas de demanda (spikiness)
  • Otimização e agendamento de modelos
• Como os custos de infraestrutura de IA vão evoluir?
• Tradução e resumo do texto da a16z, "Navigating the High Cost of AI Compute".