- O uso de energia por consulta de IA pode parecer pequeno, mas, com bilhões de solicitações acumuladas no mundo todo, ele já está em um nível que causa impacto real na rede elétrica
- As principais empresas de IA estão acelerando investimentos de dezenas de trilhões de won em data centers e infraestrutura elétrica, e algumas até planejam construir usinas nucleares
- O consumo de energia de consultas de IA varia em centenas de vezes ou mais conforme o tamanho e a complexidade do modelo, e no caso de modelos fechados, o consumo exato é quase desconhecido
- A eletricidade usada pela IA depende em grande parte de redes elétricas baseadas em combustíveis fósseis, o que faz com que a intensidade de emissões de carbono seja 48% maior que a média
- Se o uso de IA continuar se expandindo, a previsão é que, em 2028, mais da metade da eletricidade dos data centers dos EUA seja usada por IA
Making the Model: o ponto de partida do treinamento de modelos de IA
- Modelos de IA são treinados por meses, consumindo dezenas de gigawatt-hora de eletricidade em data centers
- Só o treinamento do GPT-4 exigiu mais de US$ 50 milhões e 50 GWh de eletricidade, o suficiente para manter toda San Francisco em funcionamento por 3 dias
- A inferência representa 80~90% de todo o uso de energia da IA, e o papel dos data centers centrados em GPU é fundamental
- A GPU H100 da NVIDIA está no centro das tarefas de inferência de IA, operando em forma de clusters conectando milhares de unidades
A Query: a energia consumida por uma única pergunta
- Mesmo no mesmo modelo de IA, o consumo de energia e as emissões de carbono variam enormemente conforme o tipo de pergunta, a localização e o horário
- O modelo Llama 3.1 8B consome em média 114 joules (J), enquanto o Llama 3.1 405B consome 6.706 joules
- Ao gerar uma imagem com Stable Diffusion 3 Medium, são consumidos 2.282 joules; no caso de imagens em alta resolução ou vídeos, o consumo chega a dezenas de milhares a milhões de joules
- A geração de vídeo usa mais de 700 vezes mais energia do que a de imagem, e, se a criação de vídeos com IA se popularizar, o consumo de eletricidade pode disparar
Fuel and Emissions: de onde vem a eletricidade usada pela IA
- Data centers de IA têm dificuldade para operar com fontes intermitentes como solar e eólica, por isso usam, em média, eletricidade com maior intensidade de carbono
- Exemplo: em 2024, 60% da eletricidade dos EUA veio de combustíveis fósseis, 20% de energia nuclear, e os 20% restantes de renováveis
- Assim como entre Califórnia e Virgínia Ocidental, há diferenças de quase 2 vezes nas emissões de carbono conforme a região
- Meta, Google e Amazon anunciaram investimentos conjuntos para ampliar usinas nucleares, mas a conclusão deve levar décadas
AI around the corner: a popularização da IA e o salto no consumo de energia
- Atualmente, o ChatGPT é o 5º site mais visitado do mundo, com mais de 1 bilhão de consultas por dia
- Segundo estimativas, cada consulta ao GPT consome 1.080 joules, o que soma 1.090 GWh por ano = eletricidade suficiente para abastecer 10.400 residências nos EUA por 1 ano
- Incluindo vídeo e imagem, há mais 35 GWh por ano, e esse número deve crescer ainda mais com agentes de IA, modo de voz e IA baseada em reconhecimento de vídeo
- Um futuro em que a IA executa tarefas por conta própria e se personaliza com dados do usuário torna impossível explicar a demanda de energia apenas com previsões por consulta individual
The Future Ahead: previsão de demanda energética até 2028
- Data centers de IA nos EUA usaram 76 TWh em 2024, o equivalente ao consumo de 7,2 milhões de residências
- Até 2028, o uso deve chegar a 165~326 TWh, comparável a 22% do consumo elétrico de todas as residências dos EUA
- Isso equivale às emissões de carbono de dirigir 300 bilhões de milhas, e a participação dos data centers no uso de eletricidade deve triplicar de 4,4% → 12%
- SoftBank, OpenAI e outras empresas estão investindo 500 trilhões de won em data centers e infraestrutura elétrica, construindo infraestruturas do tamanho de campos de futebol ao redor do mundo
Transparency Gap: falta de divulgação dos números e o peso sobre os cidadãos
- A maioria das empresas de IA não divulga o consumo de energia durante a inferência dos modelos, o que leva à imprevisibilidade para o público
- Até a EIA, agência de energia do governo dos EUA, não trata a IA como um setor separado, o que deixa as estatísticas insuficientes
- Segundo um relatório do estado da Virgínia, os custos de energia dos data centers podem elevar a conta de luz das famílias comuns em US$ 37,50 por mês
- Os cidadãos podem acabar arcando com o custo da infraestrutura de IA, e isso exige debate social
2 comentários
De repente, o Gemini do Google rodando nos próprios TPUs deles parece ainda mais impressionante...
Comentários do Hacker News
Compartilhamento do link http://archive.today/mnHb8
Menciona a notícia de que empresas de tecnologia como Meta, Amazon e Google anunciaram metas de uso de energia nuclear para enfrentar a questão dos combustíveis fósseis, explicando que as três participaram de um compromisso para triplicar a capacidade global de energia nuclear até 2025, mas essa data parece estranha à luz de um artigo publicado ontem; na verdade, a meta é 2050. Aponta que o artigo tem esse tipo de esquisitice e abuso de fontes de “especialistas”, mas avalia positivamente o fato de alguém ao menos ter tentado quantificar esse tema
O ponto mais estranho deste artigo é o fato de que as big techs se recusam a divulgar esse tipo de dado; não se deveria deixar especialistas apenas especularem. A sociedade precisa de acesso à informação sobre decisões que afetam o mundo inteiro
Expressa curiosidade sobre se essas partes estranhas são apenas erros de digitação ou se são realmente tão esquisitas assim
Houve uma época em que, ao postar no Usenet, sempre aparecia um aviso dizendo: “Este programa transmite notícias para milhares de computadores no mundo todo. Sua postagem gera centenas ou milhares de dólares em custos para a rede. Confirme com cuidado se você realmente quer publicar”. Imagina se não seria o caso de clientes de LLM hoje também exibirem esse tipo de aviso, por exemplo calculando quanto carbono em espera uma única solicitação gera
Em alguns países existe a cultura do “rolling coal” (emitir fumaça excessiva de carros), então há receio de que esse tipo de aviso possa ter o efeito contrário
O aviso citado acaba transmitindo uma mensagem oposta; no fim, a razão de esse tipo de alerta ter desaparecido provavelmente foi a forte queda dos custos, e algo parecido pode acontecer com a IA
Lembra aquelas enormes mensagens no rodapé de e-mails pedindo para considerar o impacto ambiental antes de imprimir, e compartilha a experiência de que, na prática, isso só consumia mais uma página desnecessariamente na impressão
Esse aviso é interessante: a mensagem em si não gera um grande custo, mas os computadores que a transmitem são a origem do custo; quanto maior o volume de mensagens enviadas, menor o custo por unidade
Enfatiza que é injusto criticar apenas a tecnologia de IA por uso de energia se não vamos colocar esse tipo de aviso em tudo
A questão central, na opinião da pessoa, é embutir o custo das emissões no preço da eletricidade; a angústia individual dos usuários distrai. Como transporte, aquecimento e indústria serão eletrificados de qualquer forma, a demanda vai disparar, então é preciso descarbonizar rapidamente a eletricidade
Concorda, mas diz que reduzir o consumo ou melhorar a eficiência também é parte importante da transição energética; se não usar, não precisa produzir
Para internalizar esses custos, a sociedade precisa antes concordar sobre o que exatamente é o “custo” das emissões; na prática, tornar a eletricidade muito abundante e eficiente parece um caminho mais fácil, porque melhorar a própria sociedade não é algo simples
“O DeepSeek tem 600 bilhões de parâmetros, mas na prática usa apenas cerca de 12,5% por token por ser uma arquitetura mixture-of-experts, se minha memória estiver correta”; a opinião é que, sem deixar isso claro, a confiabilidade do texto cai. Compartilha a análise considerada mais confiável sobre uso de energia em texto (link da epoch.ai): uma resposta média a uma pergunta comum consome cerca de 0,3 Wh, podendo chegar a 40 Wh no contexto máximo; a maior parte do uso fica bem abaixo disso, então o consumo energético de texto em si é pequeno diante do benefício. Já a geração de vídeo consome muita energia, e há curiosidade sobre análises desse tipo para geração de código com LLM
O número de comentários nesta thread justificando um consumo enorme de energia, enquanto essa tecnologia hoje está sendo usada intensamente para coisas tremendamente inúteis (spam de texto/visual), contrasta de forma surpreendente com a polêmica energética da época do cripto; parece haver um clima de tolerância também porque as big techs são grandes empregadoras
A IA ao menos tem benefícios teóricos, enquanto o cripto é desperdiçador por projeto; ainda assim, a estrutura real de custo-benefício da IA continua sendo uma incógnita
No Bitcoin, o consumo de energia aumenta conforme o preço sobe, mas o custo de inferência de LLM está caindo rapidamente (link de referência); Apple e Google também tentam introduzir IA em seus próprios datacenters e em dispositivos, ao mesmo tempo em que continuam sendo desenvolvidos algoritmos mais caros. Também existe a possibilidade de que a maior parte do uso se torne barata o suficiente para rodar até em dispositivos limitados por bateria, como laptops e celulares
A conexão com o boom do cripto é interessante; quando esse tipo de movimento começa, não é fácil fazê-lo voltar atrás, por causa da natureza humana
Compartilha a lembrança de que o clima em torno de cripto no HN antigamente não era tão negativo quanto hoje
Faz uma piada de que o uso de energia do cripto, especialmente o PoW do Bitcoin, é realmente desperdício
É irônico estar lendo isso numa página em que, por causa de JavaScript de finalidade incerta, meu CPU fica no máximo mesmo sem fazer nada
Seria bom se o navegador limitasse com rigidez a quantidade de CPU que cada página pode usar e, quando precisasse de mais recursos de CPU, pedisse permissão explícita como acontece com a câmera
Diz que pensou algo parecido ao ler isto antes do almoço, compartilha um post de blog sobre tabdouse e comenta que há truques com cgroups etc., mas nada parece totalmente satisfatório
Hoje a IA parece o equivalente à era inicial dos “mainframes”: máquinas enormes ocupando uma sala inteira, consumindo muita energia e ainda oferecendo menos desempenho que um smartphone atual. A expectativa é de rápida melhora na eficiência dos modelos e na especialização do hardware; a inferência local com chips dedicados para IA poderia reduzir drasticamente o uso de energia na maioria das tarefas, o que permitiria concentrar grandes recursos computacionais em problemas científicos complexos
Costuma-se citar a curva de avanço dos CPUs (crescimento exponencial), mas isso praticamente não se aplica a outras áreas; semicondutores puderam crescer por uma combinação muito especial e favorável de condições, enquanto baterias, fusão nuclear e computação quântica não tiveram o mesmo. Nos semicondutores, os frutos mais baixos já foram colhidos, então a eficiência da IA também provavelmente não crescerá tão instantaneamente assim; o cenário mais realista é um avanço lento e gradual ao longo de décadas. Não existe um caminho mágico para fazer desaparecer, de uma vez, a necessidade de bilhões de parâmetros e trilhões de operações. Talvez computação fotônica?
Pessoalmente, não entende muito bem a conversa sobre “chips dedicados para IA”; LLM já é uma tecnologia desenhada para se ajustar a GPUs, ou seja, o hardware já existe. O problema é que as GPUs estão ficando cada vez maiores, mais quentes e consumindo mais energia. Se houvesse algo melhor que GPU, já teríamos migrado; se houvesse uma estrutura que voltasse para CPU com mais eficiência, isso já teria acontecido
Surpreende-se com o fato de conseguir rodar com relativa facilidade um modelo Gemma pequeno até em um laptop antigo de 7 anos; imagina a possibilidade de aumentar a eficiência enviando apenas algumas tarefas ao LLM e deixando o resto para programas tradicionais
O melhor texto sobre uso de energia da IA que já viu até agora; impressiona que as big techs relutem em fornecer os dados necessários para decisões sociais, e recomenda a série de podcast Data Vampires, que aprofunda bastante esse assunto
Achou interessante a parte do artigo que diz que, após a adoção de IA em 2017, os datacenters passaram a ser construídos com hardware intensivo em energia e, até 2023, o consumo elétrico dobrou. Mas a ascensão real da IA generativa só decolou de fato após o lançamento do ChatGPT em novembro de 2022, então a maior parte do crescimento de IA entre 2017 e 2022 provavelmente não foi de IA generativa
2017 foi o ano seguinte à vitória do AlphaGo sobre Lee Sedol e também o ano de publicação do artigo “attention is all you need”; na prática, já havia sinais claros na indústria. A OpenAI apenas conseguiu ajustar o produto ao mercado em 2022; não é que o setor estivesse à deriva até então
Foi também por essa época que o uso de GPUs em machine learning realmente começou a se consolidar
A Meta já vinha introduzindo IA de forma agressiva em todas as áreas de seus serviços, como busca, recomendação e grafos; por isso, antes mesmo da febre dos LLMs, ela já tinha dezenas de milhares ou até centenas de milhares de GPUs preparadas, o que a colocou em posição favorável para tocar projetos importantes como o Llama