O orçamento do Projeto Manhattan e do Programa Apollo foi surpreendentemente "barato" quando ajustado aos padrões de hoje. O orçamento gasto para a missão de pouso na Lua nos anos 1960 estava em nível semelhante ao da recente recompra de ações pela Apple.
Tanto o Projeto Manhattan quanto o Programa Apollo usaram 0,4% do PIB da época. Com base no PIB de US$ 27 trilhões hoje, isso equivaleria a US$ 108 bilhões. A Meta ainda não gastou nem 1/3 disso em GPUs.
A complexidade avassaladora das GPUs, CPUs e SoCs atuais não nos abriga; quando comparada ao processo de produção de um chip de 3 nm com 3 bilhões de transistores, o Projeto Manhattan foi revolucionário, mas não tão grande em escala.
Fico curioso para saber por que a Meta, mesmo investindo tanto, não consegue alcançar a OpenAI. Como a OpenAI consegue ter desempenho tão superior?
Fico sempre impressionado com a qualidade e habilidade das obras produzidas antes da década de 1960. Embora não se saiba exatamente o que levou a sociedade moderna a se tornar mais desperdício, lenta, cara e sem ambição depois disso, seria bom se pudéssemos voltar no tempo.
Fico curioso se há alguma transparência sobre quanto a Meta usa essas GPUs em suas operações internas e que efeitos de redução de custos isso traz. Além do decepcionante chatbot "Meta AI", imagino que haja muitos outros casos para usar H100, como motores de recomendação de conteúdo, prevenção de abuso e otimização de largura de banda da rede.
O Projeto Manhattan parece ter tido uma melhor relação custo-benefício.
Isso é em grande parte devido ao efeito de um ecossistema de jardim fechado e do valor da propriedade intelectual. Se a lei mudar e não for possível proteger IP/dados, no próximo ano haverá muitas pessoas criando cópias clonadas e modificadas do Facebook. O mesmo ocorrerá com quem pegar e modificar o design de GPUs da NVIDIA. A concorrência empurrará preços e margem de lucro para perto de zero.
Fico curioso sobre quão provável é que, em 10 anos, graças à Lei de Moore, uma GPU de US$ 1 milhão consiga entregar o desempenho de hoje. Com esse valor, parece que daria para comprar um fabricante de GPUs.
Isso não é tão impressionante quanto parece, porque o PIB real dos Estados Unidos (ajustado pela inflação) é quase 9 vezes maior do que em 1945.
1 comentários
Comentário do Hacker News