Surpreende que o Manhattan Project e o Apollo Program pareçam ter sido mais “baratos” do que se imagina
É estranho que o custo de levar uma pessoa à Lua nos anos 1960 tenha ficado em um nível parecido com a recente recompra de ações da Apple
Pode ser porque a inflação tenha sido subestimada nos últimos cerca de 100 anos. Com o tempo, essa diferença se acumula muito por efeito composto
Uma comparação mais justa seria ver a quantos anos de salário de um cidadão médio isso equivale
O Manhattan Project custou US$ 2 bilhões em 1944 e, com base na renda mediana domiciliar do censo de 1940, isso corresponde a 121 mil domicílios-ano
A recompra de ações da Apple foi de US$ 110 bilhões em 2024 e, com base no censo de 2022, corresponde a 122.910 domicílios-ano
Ou seja, ao longo de 80 anos, os números oficiais de inflação teriam subestimado o custo em cerca de 3,5 vezes
Na época, os EUA eram muito mais pobres e o padrão de vida era bem mais baixo. Por isso, os salários também eram muito menores mesmo após ajuste pela inflação e, em meio à guerra, pessoas convocadas tinham de trabalhar por baixos salários sem ter escolha. Isso explica boa parte
Na realidade, não foi nada barato; apenas empurraram os custos para o futuro. Estima-se que a descontaminação do local de Hanford custe de US$ 16,8 bilhões a US$ 550 bilhões
A instalação de Santa Susana, onde os foguetes Apollo foram testados, também deve custar bilhões de dólares para ser descontaminada, e há outros fatores de custo ali
Em situações de pressão, o custo-benefício é essencial. Em uma sociedade relativamente rica e frouxa como a atual, em comparação com a Segunda Guerra Mundial e os anos 60 do pós-guerra, todos os custos sobem
Naquela época era possível construir estradas, ferrovias e navios, mas hoje há centenas de regras, lobistas e partes interessadas exigindo sua fatia
Depois que a questão da sobrevivência é temporariamente resolvida, os incentivos financeiros passam a importar muito mais
O Manhattan Project e o Apollo Program foram ambos 0,4% do PIB. Com o PIB atual de US$ 27 trilhões, US$ 108 bilhões teriam a mesma proporção, e o dinheiro que a Meta gastou em GPUs não chega nem a um terço disso
Então uma empresa gastou cerca de 0,1% do PIB dos EUA em um projeto de hobby que nem sequer é líder de mercado?
É uma escala difícil de acreditar, e não é algo bom
A Meta está pagando por essas GPUs ao longo de vários anos, não em um único ano. O investimento anual em capex da Meta fica em torno de US$ 30 bilhões, e nem tudo isso foi para GPUs
Além disso, a Meta certamente não está pagando preço de varejo
Então a recompra de ações de US$ 110 bilhões da Apple é ainda maior do que isso
Se você somar os gastos ou a receita de todas as empresas, o total pode passar em muito do PIB
Parece que a complexidade avassaladora das GPUs, CPUs e SoCs modernas, paradoxalmente, não nos impressiona tanto
Comparado ao processo de produzir chips de 3 nm com dezenas de bilhões de transistores, é difícil ver o Manhattan Project como um projeto gigantesco. Foi inovador, claro, mas é difícil chamá-lo de “gigantesco” em comparação com o desenvolvimento de wafers EUV
Também vale mencionar as grandes realizações menos conhecidas do Manhattan Project. O ponto central não foram os cientistas, mas Hanford e Oak Ridge
Hanford não foi apenas um reator; foi literalmente um projeto que criou uma cidade com mais de 43 mil pessoas onde não havia nada
Oak Ridge tinha o K-25, o maior prédio do mundo na época, que só foi superado mais de 20 anos depois pela Boeing Everett Factory
Esses dois locais também foram os principais centros de custo do projeto. A ciência é barata; enriquecer urânio e fabricar plutônio, especialmente fazendo algo que ninguém jamais tinha feito, não é barato
10% é complexidade avassaladora, 90% é a margem de lucro da Nvidia
Fico impressionado sempre que vejo a qualidade e o nível de artesanato de coisas criadas, grosso modo, antes dos anos 1960.
Não sei por que, naquela época, a sociedade se transformou nessa sociedade moderna tão desperdiçadora, lenta, cara e pouco ambiciosa, mas, se eu pudesse voltar, eu voltaria.
Acho que foi por causa da classe de gestores profissionais. Houve várias grandes reformas na manufatura e em outros setores em nome de uma gestão “mais eficiente”, que depois foram aplicadas também ao trabalho do conhecimento.
Especialmente no trabalho burocrático de escritório, a especialização diminuiu. Hoje, todo mundo, até médicos, acaba fazendo o papel do próprio assistente.
Segundo relatos de pessoas que viram a transição em primeira mão, uma das coisas que essa nova cultura gerencial estragou foi a própria gestão, sobretudo a gerência de baixo e médio escalão.
Antes, o tempo que um gestor passava em reuniões com colegas ou superiores variava gradualmente conforme o nível hierárquico, e gestores de nível mais baixo tinham menos dessas reuniões e se concentravam nas necessidades de seus subordinados e na manutenção da operação.
Depois da mudança, todos os níveis de gestão foram sugados para uma cultura de reuniões, reuniões e mais reuniões, e a maioria delas tinha pouco valor. A ostentação e a politicagem também se infiltraram muito mais profundamente na base das organizações do que antes.
Dizem que havia 400 mil pessoas por trás da Apollo 11. Se quase meio milhão de pessoas dedicassem a vida a construir uma única coisa, acho que mesmo hoje seria possível criar um resultado de alta qualidade e bem-feito.
Nvidia: 26.000 pessoas
TSMC: 73.000 pessoas
Intel: 124.000 pessoas
AMD: 25.000 pessoas
Qualcomm: 50.000 pessoas
ASML: 42.000 pessoas
Em termos de tamanho da força de trabalho, talvez toda a indústria global de semicondutores esteja em um patamar parecido.
Não é só uma questão de qualidade do resultado e artesanato. Os salários dos trabalhadores não aumentaram, mas a produtividade subiu, os ricos ficaram mais ricos, e os 90% de menor renda não conseguiram melhorar de vida.
É bem insano que tantos indicadores tenham piorado de forma constante desde 1971[1].
[1] https://wtfhappenedin1971.com/
No pós-guerra, havia máquinas-ferramenta de sobra e muita experiência em processos de fabricação de metal.
Faltavam termoplásticos de moldagem por injeção adequados a usos muito mais amplos do que brinquedos.
O custo de mão de obra relativamente alto pode ter reduzido o incentivo para economizar em materiais.
Os consumidores aceitavam pagar mais por produtos manufaturados, esperando em troca que fossem reparáveis e durassem muito.
Eletrônicos baseados em válvulas a vácuo frequentemente exigiam altas tensões e transformadores ou baterias pesados, o que determinava formatos externos em metal ou madeira e um uso não portátil. Por exemplo, rádios de consumo costumavam ser integrados a móveis.
Tenho minhas próprias hipóteses, mas talvez seja melhor guardá-las para mim e dar o meu melhor nos meus projetos.
I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
O trecho logo em seguida também é interessante:
I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
Indo ao ponto principal, https://thehistoryofcomputing.net/the-ibm-system360 diz que “a IBM gastou US$ 5 bilhões em valores de meados dos anos 1960”, enquanto o Manhattan Project teria custado US$ 2 bilhões.
Segundo https://en.wikipedia.org/wiki/Manhattan_Project, isso é em dólares de 1945, e pela calculadora de inflação CPI de https://www.bls.gov/data/inflation_calculator.htm, equivale a cerca de US$ 3,5 bilhões em dólares de 1965.
Fazendo a conta inversa, esses US$ 30 bilhões gastos em treinamento com GPUs equivalem a apenas US$ 3 bilhões em dólares de 1965, então fica mais barato que o 360.
Mesmo gastando tanto, como é que ainda não conseguiu alcançar a OpenAI? Por que a OpenAI é tão boa assim?
Não sou especialista em machine learning, mas acho que dizer que “não consegue” é forte. Pelo podcast com Mark Zuckerberg, dá para interpretar que a Meta não quer competir de frente com a OpenAI.
Só os serviços de IA existentes, como recomendações, já consomem muitos recursos. Publicidade é e continuará sendo a fonte de geração de caixa, e modelos de linguagem de grande escala ainda não geraram muita receita.
A receita da OpenAI em 2023 foi de cerca de US$ 2 bilhões e deve crescer bastante em 2024, mas a Meta teve lucro líquido de US$ 40 bilhões em 2023. Financeiramente, ainda não há motivo para competir.
O Llama 400B ainda está em treinamento e pode superar muitos casos de uso do GPT-4.
Fico curioso para saber se você já testou o meta.ai, que é oferecido de graça. Em termos de capacidade, ele já é bem competitivo; a Meta é que ainda não parece dar tanta atenção nem fazer muita divulgação.
O Llama 3 405B, que ainda está em treinamento, tem uma chance nada pequena de superar os melhores modelos atuais da OpenAI.
Em inglês, o Llama 3 70B já vence todos os modelos do Google e da Anthropic, ficando atrás apenas da versão mais recente do GPT-4. Isso segundo os resultados do Open LLM Arena.
O LLAMA 3 é muito bom, e trabalhos na área de visão, como o segment anything, também estão no estado da arte. O Facebook já tem um caminho sólido de monetização, então não precisa necessariamente publicar artigos ou criar demos.
Foi divulgado quanto a Meta está usando essas GPUs em operações internas e que tipo de economia está obtendo com isso?
Além da decepcionante caixa de chat “meta ai”, parece haver uma quantidade enorme de áreas onde H100s poderiam ser aplicadas. Do motor de recomendação de conteúdo à prevenção de abusos, passando pela otimização de largura de banda de rede e fluxos de tráfego.
O @MetaAI que entra em conversas de grupo como membro do grupo foi bem bom. Dá para brincar com imagens juntos, escrever histórias, pedir para ele imitar autores ou escrever capítulos de livros horríveis.
Alguns grupos antigos que estavam sem mensagens havia dias voltaram à vida como espaços para ficar brincando com IA.
Sinto que esse tipo de comparação é difícil de interpretar. Mesmo descontando a inflação, a própria economia à qual esse gasto pertence está crescendo.
Acho que ficaria mais claro expressar o custo como proporção da economia global, da economia de blocos sociais como a esfera econômica europeia ou a sinosfera ampliada, ou da economia de um país.
Talvez eu esteja deixando algo passar.
Não entendo por que todo mundo só fala de inflação. Na época do Manhattan Project, para construir um dispositivo como uma GPU moderna, seria preciso criar um supercomputador muito maior e mais caro que o próprio projeto.
A tecnologia simplesmente ficou absurdamente mais barata, exige menos materiais, e os custos de pesquisa já foram pagos.
Se isso for verdade, eu acrescentaria: é tudo dinheiro obtido a partir da atenção humana roubada pela publicidade e da exploração de dados pessoais dos usuários. Parabéns, humanidade.
O que poderíamos ter alcançado se esse dinheiro tivesse sido gasto em áreas úteis?
Na verdade, é mais que outros setores de indústria pesada da economia já estão monopolizados, então é difícil realizar alguma coisa neles.
Quando o Google entrou em telecomunicações, parecia que derrubaria facilmente aqueles velhos parasitas como AT&T, Verizon e Comcast, mas o que aconteceu na prática?
A mesma história vale para as tentativas da Apple de entrar em carros, bancos (cartão de crédito) e conteúdo.
Por isso, esse dinheiro acaba sendo gasto apenas dessa forma. Não dá para tocar em Exxon, Monsanto, Pfizer, Boeing; também não dá para fazer muita coisa com moradia, educação, saúde ou bancos.
No fim, queimar dinheiro em novidade vira o caminho padrão de menor resistência. Todas as “áreas úteis” estão bloqueadas por muros.
A Meta não vende dados pessoais; ela apenas os usa para publicidade.
1 comentários
Opiniões do Hacker News
Surpreende que o Manhattan Project e o Apollo Program pareçam ter sido mais “baratos” do que se imagina
É estranho que o custo de levar uma pessoa à Lua nos anos 1960 tenha ficado em um nível parecido com a recente recompra de ações da Apple
Uma comparação mais justa seria ver a quantos anos de salário de um cidadão médio isso equivale
O Manhattan Project custou US$ 2 bilhões em 1944 e, com base na renda mediana domiciliar do censo de 1940, isso corresponde a 121 mil domicílios-ano
A recompra de ações da Apple foi de US$ 110 bilhões em 2024 e, com base no censo de 2022, corresponde a 122.910 domicílios-ano
Ou seja, ao longo de 80 anos, os números oficiais de inflação teriam subestimado o custo em cerca de 3,5 vezes
A instalação de Santa Susana, onde os foguetes Apollo foram testados, também deve custar bilhões de dólares para ser descontaminada, e há outros fatores de custo ali
Naquela época era possível construir estradas, ferrovias e navios, mas hoje há centenas de regras, lobistas e partes interessadas exigindo sua fatia
Depois que a questão da sobrevivência é temporariamente resolvida, os incentivos financeiros passam a importar muito mais
O Manhattan Project e o Apollo Program foram ambos 0,4% do PIB. Com o PIB atual de US$ 27 trilhões, US$ 108 bilhões teriam a mesma proporção, e o dinheiro que a Meta gastou em GPUs não chega nem a um terço disso
É uma escala difícil de acreditar, e não é algo bom
Além disso, a Meta certamente não está pagando preço de varejo
https://fred.stlouisfed.org/series/FYONGDA188S
Parece que a complexidade avassaladora das GPUs, CPUs e SoCs modernas, paradoxalmente, não nos impressiona tanto
Comparado ao processo de produzir chips de 3 nm com dezenas de bilhões de transistores, é difícil ver o Manhattan Project como um projeto gigantesco. Foi inovador, claro, mas é difícil chamá-lo de “gigantesco” em comparação com o desenvolvimento de wafers EUV
Hanford não foi apenas um reator; foi literalmente um projeto que criou uma cidade com mais de 43 mil pessoas onde não havia nada
Oak Ridge tinha o K-25, o maior prédio do mundo na época, que só foi superado mais de 20 anos depois pela Boeing Everett Factory
Esses dois locais também foram os principais centros de custo do projeto. A ciência é barata; enriquecer urânio e fabricar plutônio, especialmente fazendo algo que ninguém jamais tinha feito, não é barato
Fico impressionado sempre que vejo a qualidade e o nível de artesanato de coisas criadas, grosso modo, antes dos anos 1960.
Não sei por que, naquela época, a sociedade se transformou nessa sociedade moderna tão desperdiçadora, lenta, cara e pouco ambiciosa, mas, se eu pudesse voltar, eu voltaria.
Especialmente no trabalho burocrático de escritório, a especialização diminuiu. Hoje, todo mundo, até médicos, acaba fazendo o papel do próprio assistente.
Segundo relatos de pessoas que viram a transição em primeira mão, uma das coisas que essa nova cultura gerencial estragou foi a própria gestão, sobretudo a gerência de baixo e médio escalão.
Antes, o tempo que um gestor passava em reuniões com colegas ou superiores variava gradualmente conforme o nível hierárquico, e gestores de nível mais baixo tinham menos dessas reuniões e se concentravam nas necessidades de seus subordinados e na manutenção da operação.
Depois da mudança, todos os níveis de gestão foram sugados para uma cultura de reuniões, reuniões e mais reuniões, e a maioria delas tinha pouco valor. A ostentação e a politicagem também se infiltraram muito mais profundamente na base das organizações do que antes.
Nvidia: 26.000 pessoas
TSMC: 73.000 pessoas
Intel: 124.000 pessoas
AMD: 25.000 pessoas
Qualcomm: 50.000 pessoas
ASML: 42.000 pessoas
Em termos de tamanho da força de trabalho, talvez toda a indústria global de semicondutores esteja em um patamar parecido.
É bem insano que tantos indicadores tenham piorado de forma constante desde 1971[1].
[1] https://wtfhappenedin1971.com/
Faltavam termoplásticos de moldagem por injeção adequados a usos muito mais amplos do que brinquedos.
O custo de mão de obra relativamente alto pode ter reduzido o incentivo para economizar em materiais.
Os consumidores aceitavam pagar mais por produtos manufaturados, esperando em troca que fossem reparáveis e durassem muito.
Eletrônicos baseados em válvulas a vácuo frequentemente exigiam altas tensões e transformadores ou baterias pesados, o que determinava formatos externos em metal ou madeira e um uso não portátil. Por exemplo, rádios de consumo costumavam ser integrados a móveis.
Então seria menos do que a IBM gastou no System/360?
Citando Dijkstra: https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
Mesmo gastando tanto, como é que ainda não conseguiu alcançar a OpenAI? Por que a OpenAI é tão boa assim?
Só os serviços de IA existentes, como recomendações, já consomem muitos recursos. Publicidade é e continuará sendo a fonte de geração de caixa, e modelos de linguagem de grande escala ainda não geraram muita receita.
A receita da OpenAI em 2023 foi de cerca de US$ 2 bilhões e deve crescer bastante em 2024, mas a Meta teve lucro líquido de US$ 40 bilhões em 2023. Financeiramente, ainda não há motivo para competir.
Em inglês, o Llama 3 70B já vence todos os modelos do Google e da Anthropic, ficando atrás apenas da versão mais recente do GPT-4. Isso segundo os resultados do Open LLM Arena.
Foi divulgado quanto a Meta está usando essas GPUs em operações internas e que tipo de economia está obtendo com isso?
Além da decepcionante caixa de chat “meta ai”, parece haver uma quantidade enorme de áreas onde H100s poderiam ser aplicadas. Do motor de recomendação de conteúdo à prevenção de abusos, passando pela otimização de largura de banda de rede e fluxos de tráfego.
Alguns grupos antigos que estavam sem mensagens havia dias voltaram à vida como espaços para ficar brincando com IA.
Sinto que esse tipo de comparação é difícil de interpretar. Mesmo descontando a inflação, a própria economia à qual esse gasto pertence está crescendo.
Acho que ficaria mais claro expressar o custo como proporção da economia global, da economia de blocos sociais como a esfera econômica europeia ou a sinosfera ampliada, ou da economia de um país.
Talvez eu esteja deixando algo passar.
Não entendo por que todo mundo só fala de inflação. Na época do Manhattan Project, para construir um dispositivo como uma GPU moderna, seria preciso criar um supercomputador muito maior e mais caro que o próprio projeto.
A tecnologia simplesmente ficou absurdamente mais barata, exige menos materiais, e os custos de pesquisa já foram pagos.
Se isso for verdade, eu acrescentaria: é tudo dinheiro obtido a partir da atenção humana roubada pela publicidade e da exploração de dados pessoais dos usuários. Parabéns, humanidade.
O que poderíamos ter alcançado se esse dinheiro tivesse sido gasto em áreas úteis?
Quando o Google entrou em telecomunicações, parecia que derrubaria facilmente aqueles velhos parasitas como AT&T, Verizon e Comcast, mas o que aconteceu na prática?
A mesma história vale para as tentativas da Apple de entrar em carros, bancos (cartão de crédito) e conteúdo.
Por isso, esse dinheiro acaba sendo gasto apenas dessa forma. Não dá para tocar em Exxon, Monsanto, Pfizer, Boeing; também não dá para fazer muita coisa com moradia, educação, saúde ou bancos.
No fim, queimar dinheiro em novidade vira o caminho padrão de menor resistência. Todas as “áreas úteis” estão bloqueadas por muros.