O resfriamento líquido do Google: revelado no Hot Chips 2025

 (chipsandcheese.com)
4 pontos por GN⁺ 2025-08-26 | 1 comentários | Compartilhar no WhatsApp
  • Resfriamento líquido está se disseminando rapidamente para resolver os problemas de calor de chips de alta potência em datacenters
  • Como tem condutividade térmica cerca de 4.000 vezes maior que a do ar, o Google vem adotando a tecnologia ativamente, especialmente para atender à demanda de resfriamento de TPUs impulsionada pelo boom da IA
  • O Google opera loops de resfriamento líquido em nível de rack baseados em CDU (Coolant Distribution Unit), aumentando a facilidade de manutenção e a escalabilidade
  • Técnicas como split-flow cold plate e resfriamento bare-die (TPUv4), comuns no mercado de PCs de alto desempenho, foram aplicadas em escala de datacenter
  • O resfriamento líquido é eficiente, consumindo menos de 5% da energia em comparação com ventoinhas, e para lidar com problemas como vazamentos e crescimento de microrganismos, o Google combina validação rigorosa, sistemas de alerta e manutenção preventiva
  • NVIDIA, Rebellions AI e outras também estão adotando resfriamento líquido, acelerando a padronização do resfriamento de datacenters

Necessidade e contexto do resfriamento líquido

  • Resfriamento líquido é algo familiar entre entusiastas de PC e também tem longa história em ambientes corporativos de computação
  • Recentemente, com o aumento do consumo de energia de workloads de IA e machine learning, a importância do resfriamento líquido em datacenters cresceu muito
  • O Google destacou o fato de que a condutividade térmica da água é cerca de 4.000 vezes maior que a do ar e adotou isso como resposta ao calor elevado dos chips mais recentes
  • No Hot Chips 2025, o Google apresentou uma abordagem de resfriamento líquido em escala de datacenter relacionada ao resfriamento de TPUs, seus aceleradores de machine learning

Estrutura do sistema de resfriamento líquido do Google

  • O Google aplica resfriamento líquido em TPUs desde 2018, passando por vários experimentos e melhorias
  • A solução de resfriamento mais recente não se limita ao servidor, aplicando o loop de resfriamento líquido ao rack inteiro
  • Um rack de resfriamento é composto por 6 CDUs (Coolant Distribution Unit), que cumprem papel semelhante ao conjunto radiador+bomba em um PC
  • Foram adotadas mangueiras flexíveis e engates rápidos para melhorar a facilidade de manutenção e a tolerância de instalação
  • Mesmo com apenas 5 das 6 CDUs em operação, o resfriamento continua suficiente, dispensando a interrupção total do sistema durante a manutenção de uma unidade

Troca térmica e layout dos chips

  • A CDU troca apenas calor entre o fluido de resfriamento interno e a água de fornecimento externo do datacenter, sem mistura direta entre os dois líquidos
  • O fluido de resfriamento que sai da CDU é distribuído para vários servidores TPU por meio de um manifold
  • A conexão dos chips TPU segue uma estrutura sequencial (em série), e o orçamento total de resfriamento é calculado com base na demanda térmica do último chip do loop

Otimização da tecnologia de resfriamento

  • A estrutura de split-flow cold plate foi aplicada para garantir desempenho de resfriamento superior em comparação com projetos lineares convencionais
  • Além disso, foi adotado o resfriamento bare-die (no TPUv4; o TPUv3 anterior era lidded), semelhante ao “delidding” usado por entusiastas de PCs avançados para melhorar a eficiência de transferência térmica
  • O TPUv4 exige essa abordagem adicional de resfriamento por consumir 1,6 vez mais energia que o v3

Eficiência energética e transferência de calor

  • O consumo de energia das bombas de resfriamento líquido ficou abaixo de 5% em relação ao consumo das ventoinhas de sistemas convencionais a ar
  • O sistema do Google usa troca de calor water-to-water, de modo que a força motriz real do resfriamento fica majoritariamente a cargo das bombas
  • Em PCs de entusiastas, na maioria dos casos ainda permanece a combinação ventoinha+radiador, então o ganho energético não é tão grande quanto em datacenters

Manutenção, confiabilidade e segurança

  • Do ponto de vista de manutenção, riscos comuns de sistemas de refrigeração líquida, como proliferação de microrganismos e vazamentos, também existem em escala de datacenter
  • Com conexões de engate rápido, CDUs de reserva e outros recursos voltados à manutenção, busca-se gerenciar em grande escala sem downtime
  • Foram estabelecidos manutenção preventiva, testes de vazamento, detecção de vários sinais de anomalia e protocolos sistemáticos de resposta para garantir consistência organizacional e confiabilidade
  • Isso contrasta com os métodos informais de manutenção adotados por entusiastas individuais de PC

Tendências do setor e o boom da IA

  • NVIDIA, Rebellions AI e outras também exibiram vários sistemas externos de resfriamento líquido no Hot Chips 2025
    • Servidor NVIDIA GB300: portas externas para resfriamento líquido junto com ventoinhas
    • Rebellions AI, empresa coreana, demonstrou um protótipo do novo acelerador de ML “REBEL Quad” em uma abordagem semelhante, combinando cooler e chiller
  • O aumento dos workloads de IA deve acelerar ainda mais a demanda e a adoção de resfriamento líquido para datacenters no futuro

Leituras relacionadas

1 comentários

 
GN⁺ 2025-08-26
Comentários no Hacker News

  • Vi certa vez uma entrevista com um SVP responsável por supervisionar a construção de datacenters do Azure; o que ficou na minha memória foi ele dizer que, em algum momento, percebeu que não trabalhava mais no negócio de computadores, mas no de refrigeração industrial, e que isso tornou tudo muito mais fácil de entender. Ao ler esta matéria, pensei imediatamente nessa história.

  • Mainframes (S/3x0, Cray etc.) usam refrigeração a água amplamente há mais de 50 anos, e datacenters de HPC em nível de supercomputador também usam refrigeração líquida há pelo menos 20 anos, então comparar o projeto de um datacenter no nível do Google com cooling de entusiastas de PC parece um pouco estranho. Isso soa como esquecimento do passado ou um exemplo comparativo completamente inadequado.

    • Graças ao ponto levantado por bri3d, percebi que este caso do Google é menos novo do que eu havia entendido inicialmente. O ponto de inovação não é “usar água”, mas sim o fato de os chillers que resfriam os servidores estarem instalados fora da instalação. A maioria dos mainframes também usa refrigeração a água para mover o calor interno para fora, onde dissipadores ou ventoinhas eliminam esse calor, mas o Google circula água de resfriamento diretamente para cada servidor usando enormes chillers para toda a instalação, em vez de fazer isso dentro do prédio. A água quente que retorna é resfriada novamente na torre do chiller. Na prática, o resfriamento baseado em ar é praticamente eliminado, exceto na torre do chiller. Não é algo feito apenas em alguns servidores/racks, mas no datacenter inteiro ao mesmo tempo. Fico curioso sobre como lidam com manutenção dos chillers ou falhas nas bombas; imagino que haja uma redundância enorme para evitar interrupções. A AWS também adotou um sistema semelhante, e as imagens explicativas são bem claras: artigo da AWS sobre refrigeração líquida em datacenters
    • Como o Google tem um histórico baseado em hardware comum e barato, essa mudança não é tão surpreendente. É parecido com o fato de os servidores x86 terem levado décadas para absorver recursos de mainframes, como virtualização: blog relacionado
    • A matéria disse que “refrigeração líquida é familiar para entusiastas de PC e também é um conceito antigo em computação corporativa”. Datacenters também vinham seguindo a tendência de resfriamento localizado por servidor e temperaturas operacionais mais altas, mas este caso parece inverter bastante essa tendência. Talvez a principal razão seja o resfriamento por fileira (per-row cooling).
    • Você disse que datacenters de HPC usam refrigeração líquida há mais de 20 anos, mas fico me perguntando se isso não era aplicado principalmente em partes como portas de rack. Parece que só mais recentemente, a partir da segunda geração de servidores, começou a haver refrigeração líquida direta (DLC) de verdade dentro do próprio servidor. Houve também um aspecto de imposição por causa dos CPUs high-end da Intel. Foi uma dor de cabeça introduzir isso em datacenters existentes, e também precisei abrir vários chamados por vazamento nas bolsas de resfriamento (fabricante não divulgado).
    • Datacenters hiperescaláveis normalmente não precisam maximizar a densidade de energia, e aumentar a densidade traz vários problemas, então os projetistas muitas vezes evitam isso deliberadamente. A ideia de que clusters HPC modernos estão “focados em densidade” talvez seja, na prática, um enquadramento equivocado. Dito isso, em workloads de ML há a vantagem de colocar os sistemas fisicamente mais próximos, o que melhora a eficiência do interconnect.

  • Em teoria, a refrigeração de datacenter é simples. O CPU opera a 60–70 graus, e a temperatura externa geralmente fica abaixo de 30, então, com uma pequena ajuda de ventoinhas e bombas, o calor naturalmente “escorre” para fora. O problema é que, no resfriamento a ar, os funcionários da instalação precisam respirar o mesmo ar usado para resfriar os computadores. Quando a temperatura do ambiente sobe, isso não é bom para a saúde deles (nós operamos corredores quentes a cerca de 100F até no inverno e instalamos trocadores de calor a cada três racks, resfriados com água gelada externa). Quando a temperatura externa sobe, o fluido de resfriamento precisa estar ainda mais quente para conseguir jogar esse calor para fora da instalação, e aí o chiller se torna necessário. Em dias de calor intenso, o consumo de energia também aumenta bastante. Se um datacenter inteiro fosse convertido para refrigeração líquida, acho que a temperatura do coolant que sai dos racks poderia ser muito mais alta, e talvez fosse possível dissipar calor sem chiller mesmo nas épocas mais quentes. Hoje só parte do sistema é líquida, e a temperatura do coolant é limitada para acompanhar a temperatura do corredor quente; e, mesmo assim, isso já parece bem quente.

    • A visão de que “o CPU está a 60–70 graus e lá fora está abaixo de 30, então o calor desce sozinho” não está correta. Na prática, é preciso transferir para fora o calor gerado pela potência operacional do CPU, e, se a impedância térmica for alta, o CPU pode superaquecer e falhar.
    • Há 15 anos, um supercomputador que a IBM instalou na ETH Zurich usava água quente de resfriamento a 60 graus e se conectava diretamente ao sistema de água quente do prédio por meio de radiadores: Aquasar
    • Às vezes me pergunto se, algum dia, os funcionários de datacenters vão acabar entrando para trabalhar usando algo como trajes térmicos para maximizar a eficiência de refrigeração.

  • A matéria falava sobre conectar chips TPU em série, fazendo o coolant passar em loop por eles e orçando a capacidade com base na temperatura do último chip. Se quatro chips dissipam 250W cada e a bomba empurra 1 litro de água por minuto, a saída necessariamente ficará 14 graus mais quente do que a entrada. Isso é igual em série ou em paralelo (por causa do calor específico da água).

    • No caso de ligação em série, a eficiência de transferência térmica no último chip pode ser menor do que em paralelo, porque a água encontra o último chip já mais quente do que no início. Como a diferença de temperatura é menor, o calor sai mais lentamente.
    • Na prática, é preciso calcular a velocidade de fluxo de forma diferente para topologias em série e em paralelo, então do ponto de vista de engenharia há uma diferença real.
    • Se a pressão for alta o suficiente, dá para ter uma vazão bem maior do que 1 litro por minuto. Em desktops, algo como 18W é típico; em servidores, é mais ou menos 10 vezes isso.
    • Em ligação em série, alguns chips acabam sendo “super-resfriados”, e, para ajustar o sistema ao chip mais quente, é preciso mais coolant.

  • Já não fico tão impressionado com a infraestrutura do Google como antes. Minha opinião sobre o Google piorou bastante porque a empresa continua tomando medidas que prejudicam a liberdade na internet. Então agora até coisas como esse sistema de refrigeração líquida que eles adotam já não me despertam muita reação. Dependendo dos detalhes, talvez seja difícil de fazer, mas não parece particularmente inovador. Se algum funcionário do Google ler isso e ficar chateado, eu diria que o problema não é a pessoa em si, mas o próprio Google. Talvez valha considerar fazer coisas legais em outro lugar.

  • Isso me lembrou um caso interessante que vi no B1M: a piscina olímpica de Paris é aquecida pelo calor da internet: vídeo no YouTube

  • Vejo com frequência comentários de que a IA desperdiça água, então fiquei pensando se este caso se encaixa nisso. Gostaria de saber se a CDU usa água da instalação em resfriamento evaporativo.

    • A CDU fica dentro do datacenter e apenas transfere o calor do coolant do rack para o coolant da instalação. Do lado de fora há a infraestrutura de troca térmica, e nesse processo muitas vezes se borrifa água na torre de resfriamento para fazer resfriamento evaporativo. Cada datacenter tem sua forma, mas sempre existe algum tipo de cooling da instalação. Essa discussão de que a IA “desperdiça água” já está um pouco cansativa; a água só está sendo deslocada dentro de um ciclo para onde ela é mais eficiente. Se os custos relacionados à água e as externalidades fossem realmente refletidos no mercado, a discussão seria mais significativa. Nos EUA, o problema é que preço da água, direitos sobre a água e utilidade real da água não estão devidamente conectados.
    • A AWS também publicou recentemente um artigo parecido: artigo da AWS sobre refrigeração líquida em datacenters. Mas ainda não vi uma explicação realmente clara de como a água quente descarregada é resfriada para ser reutilizada; esse é o ponto que mais me interessa.
    • Quase não vejo números concretos ou discussões objetivas sobre o uso de água pela IA; o que vejo são referências vagas, como dizer que ela usa água do mesmo jeito que carros usam estradas. Isso deixa a impressão de desperdício, e acho que, se houvesse dados claros, não recorreriam a essas insinuações ambíguas. Se a água está sendo de fato consumida, então ela precisa estar virando algo inutilizável como água potável, evaporando como vapor, ou ficando presa em lodo e afins sem possibilidade de recuperação. Quero entender se isso realmente está acontecendo e se é mesmo um problema. Fico frustrado com a circulação de números sem contexto e sem dados.
    • Há uma matéria relacionada: datacenters de IA no Texas e a questão do desperdício de água

  • Tenho curiosidade sobre a viabilidade econômica da refrigeração a água. Será que ela passou a valer a pena porque os chips ficaram caros e é necessário rodá-los mais rápido, ou porque o espaço de datacenter ficou caro e é preciso aumentar a densidade, ou ainda porque reduzir a distância de transmissão de sinal (1 pé = 1 nanossegundo) melhora a eficiência computacional nessa proporção?

    • Uma parcela considerável da energia total de um datacenter vai para refrigeração. Só melhorar a eficiência de cooling já reduz custos imediatamente.
    • Na prática, o impacto da distância do cabeamento é muito pequeno. Mesmo os melhores fabrics de interconnect têm tempo de ping-pong (ida e volta de requisição/resposta) na casa de 1 microssegundo, enquanto mudanças de comprimento na escala de pés representam apenas algumas dezenas de nanossegundos. Mesmo dobrando a densidade em um cluster grande, o aumento no atraso de ida e volta do sinal seria de algo como 60 nanossegundos (menos de 6% de 1 microssegundo). Isso não tem grande impacto em aplicações reais. Dito isso, densidade maior ajuda quando se quer conectar mais chips diretamente por backplane ou conectores de cobre.
    • Na realidade, é uma mistura dos motivos 2 e 3. Os chips ficam cada vez menores e consomem mais energia, então também esquentam mais, e um grande número de ventoinhas adiciona ainda mais consumo elétrico. A refrigeração líquida faz cooling direto chip→líquido, o que reduz o custo extra com ventoinhas, ar-condicionado e circulação adicional. Veja também este artigo do ServeTheHome: análise do impacto no consumo de energia da refrigeração líquida da Supermicro
    • Não sei quanto às cargas clássicas de computação, mas em computação centrada em memória, como com TPU, acho que a diferença na distância do cabeamento importa bastante.
    • Como os chips precisam estar conectados por redes ultrarrápidas, aumentar a densidade é importante.

  • Em teoria, usuários de PC também poderiam circular o fluido de dissipação pelo reservatório do vaso sanitário e resfriar o sistema de forma eficiente a cada descarga. O futuro está aqui.

  • Trabalhei com frequência em datacenters entre 2006 e 2012. Muitas vezes precisava ir lá tarde da noite. Datacenters são ambientes mais duros do que muita gente imagina. Seria bom se a refrigeração fosse um pouco mais silenciosa e menos extrema. O motivo de portas e afins ficarem na parte de trás é justamente porque aquele lado é a entrada de ar. Já tive de ir para o lado quente para esquentar as mãos.