Meta reutiliza RAM antiga em novos servidores com chip bridge CXL personalizado

 (theregister.com)
1 pontos por GN⁺ 3 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • A Meta conecta memória DDR4 que poderia ser descartada a novos servidores DDR5, reduzindo em até 25% o número de servidores necessários em algumas cargas de inferência desagregada
  • Cerca de 40% da frota de servidores não pode receber expansão de memória, enquanto a memória pode ser usada por mais tempo que os servidores, tornando a reutilização de DIMMs uma forma de reduzir custos
  • O ASIC próprio Vistara conecta DDR4 a uma interface PCIe Gen5 x16 compatível com CXL 2.0/1.1, contornando as limitações de reutilização de DDR4 dos equipamentos CXL existentes
  • O MemServer baseado em Vistara combina AMD Turin, 768GB de DDR5 e 256GB de DDR4, expondo a DDR4 ao sistema operacional como um nó NUMA separado sem CPU
  • A memória expandida via CXL reduz em 33% a sobrecarga de falhas e reinicializações de tarefas causadas por OOM, além da fragmentação de recursos, diminuindo o peso operacional em infraestrutura de grande escala

Contexto para voltar a usar DDR4

  • A Meta monta DIMMs DDR4 recuperados de servidores antigos em novos servidores, formando um pool de memória compartilhável
  • Cerca de 40% da frota de servidores não pode receber expansão de memória, o que dificulta atender algumas cargas de trabalho
  • A vida útil esperada de um servidor é de 3 a 5 anos, enquanto a memória pode continuar útil por 7 a 10 anos
  • Essa diferença de vida útil transforma a reutilização de memória de servidores antigos em novos sistemas em uma forma de melhorar a eficiência da infraestrutura
  • Proporção de servidores sem possibilidade de expansão: {p:40}

Limitações da adoção de CXL e o papel do Vistara

  • O CXL permite compartilhar memória entre vários hosts, mas em produção baixa largura de banda, alta latência e a sobrecarga adicional de gerenciar camadas extras de memória podem ser um peso
  • Essas limitações podem ficar ainda mais evidentes ao combinar diferentes tecnologias de memória em um mesmo sistema
  • A Meta queria misturar vários tipos de memória dentro de uma única máquina, mas os equipamentos CXL prontos não atendiam aos requisitos
    • A maioria das soluções CXL agrupa DRAM e controlador, dificultando a reutilização de DIMMs
    • Muitas não incluem suporte a DDR4, o que não combina com o reaproveitamento de memória antiga
    • Consumo de energia e custo também reduziam a atratividade da adoção
  • Para preencher essa lacuna, a Meta desenvolveu o ASIC personalizado Vistara

Configuração do ASIC Vistara

  • O Vistara atua como uma ponte CXL que conecta memória DDR4 ao processador host
  • A interface principal é PCIe Gen5 x16 compatível com CXL 2.0/1.1
  • Cada ASIC Vistara tem a seguinte configuração
    • 2 canais independentes de memória DDR4 de 72 bits
    • Suporte a velocidades de até 3.200 MT/s
    • Até 256GB por chip ao usar DIMMs de 64GB
  • O ASIC é acionado por 2 processadores RISC-V personalizados

Hardware e software do MemServer

  • O hardware Vistara entra em um dispositivo que a Meta chama de MemServer
  • Cada MemServer combina os seguintes elementos
    • Processador AMD Turin
    • 158 núcleos, 316 threads
    • 768GB de memória DDR5
    • 256GB de DDR4 conectados por um ASIC Vistara
  • A placa CXL Vistara é instalada em um slot de acesso traseiro dedicado dentro do chassi do MemServer
  • Para lidar com a carga térmica da memória de alta densidade e do dispositivo CXL, o chassi envia ar de resfriamento diretamente aos módulos Vistara com ventoinhas de alta capacidade e fluxo de ar direcional
  • No lado do software, a DDR4 aparece para o sistema operacional como um nó NUMA separado sem CPU, distinto do nó local de DRAM conectado diretamente ao processador
  • A plataforma da Meta usa primeiro a DDR4 local disponível e, quando necessário, utiliza a memória baseada em CXL
  • O código do driver Linux CXL usado no Vistara já está no kernel upstream ou em processo de inclusão upstream

Aplicação em produção e efeitos operacionais

  • A Meta aplica a configuração CXL baseada em Vistara em uma infraestrutura hiperescalável na escala de milhões de servidores
  • As cargas de trabalho incluem
    • Inferência de ML desagregada, incluindo tabelas de embeddings de sistemas de recomendação
    • Processamento de big data
    • Bancos de dados
    • Cache distribuído
    • Sistemas de build de CI/CD
  • Ferramentas de big data como Spark e Hive lidam com conjuntos de dados na escala de terabytes e petabytes, podendo exigir centenas de GB de memória por tarefa
  • Quando eventos de OOM acontecem nessas cargas, análises críticas de negócio e pipelines de ML podem ser interrompidos
  • A folga de memória expandida com CXL reduz o risco de OOM, diminuindo em 33% a sobrecarga relacionada a falhas de tarefas, reinicializações e fragmentação de recursos
  • Na inferência desagregada, o efeito observado é uma redução de até 25% no número de servidores
  • A Meta também está obtendo o efeito de evitar preços elevados de memória
  • Redução da sobrecarga operacional: {p:33}
  • Redução no número de servidores para inferência desagregada: {p:25}

Leituras relacionadas

1 comentários

 
GN⁺ 3 시간 전
Comentários do Hacker News

  • No começo de Neuromancer, de William Gibson, o protagonista tenta vender 3 MB de RAM no mercado clandestino, e isso é frequentemente citado como um exemplo de como o livro não resistiu à passagem do tempo
    Mas, vendo a direção que o mercado de memória está tomando hoje em dia… talvez ainda não tenhamos chegado lá

    • Os primeiros cientistas da computação eram realmente otimistas. Acreditavam que, com alguns KB de RAM e alguns MHz de CPU, seria possível fazer qualquer coisa: inteligência artificial, consciência, aprendizado de máquina, linguagem, síntese de voz
      Hoje em dia, um único formulário web consome RAM na casa dos GB. A visão de Gibson de que 3 MB de RAM bastariam para uma consciência no ciberespaço é muito otimista, mas combinava bem com o clima da época
    • Desde que comecei a prestar atenção consciente à computação, várias vezes pensei que o avanço mais impressionante foi a capacidade de memória. Rede e USB também foram grandes avanços, mas não tornam o computador “mais rápido” do mesmo jeito
      Em 2000, quando Diablo II tinha acabado de sair, eu podia pegar emprestado um computador com Pentium III de 450 MHz e 64 MB de RAM; na época, 64 MB de RAM era algo de nível intermediário, não uma especificação garantida. Se bem me lembro, Diablo II recomendava 64 MB para single-player e 128 MB para multiplayer
      O computador em que estou escrevendo isto agora tem 64 GB de RAM, ou seja, 1024 vezes mais. Já a CPU é um Intel de 20 núcleos com algo em torno de 3 GHz no máximo; mesmo assumindo que cada núcleo rode simultaneamente na velocidade máxima, o ganho de desempenho da CPU fica em cerca de 133 vezes
      O tempo de leitura de NVMe pode ser tão importante quanto o aumento da capacidade de memória, ou até mais, mas nas fichas técnicas de PCs ele não aparece tão em destaque quanto memória e CPU
      O aumento da capacidade de disco rígido também é tão impressionante quanto o da RAM. Em 2000, acho que era algo como 10 a 30 GB, mas hoje nem uso discos de 10 TB porque não preciso, e 1 TB já basta. Então, pessoalmente, não sinto isso tanto quanto a memória
    • No começo da história da computação, as unidades de memória ainda não estavam estabelecidas, e o tamanho da palavra variava entre arquiteturas de hardware, nem sempre sendo divisível por 8
      A capacidade de memória dessas máquinas costumava ser expressa no tamanho original da palavra. Por exemplo: “esta máquina tem 8 kilowords de memória de núcleo”. Então, quando vejo uma capacidade de memória anacrônica em romances antigos, penso apenas que eu não sei qual era o tamanho da palavra que eles usavam
    • Se forem 3 MB de RAM “quente” guardados num frasco criogênico, isso está mais para um ataque de cold boot; aí você não estaria vendendo RAM, e sim dados
    • Dizer que a obra ficou datada por causa disso é bem forçado. Hamlet não tem celular e continua sendo uma ótima peça
      Embora uma chamada rápida de FaceTime pudesse ter evitado a tragédia

  • Não entendo por que não vão direto para uma matéria original mais detalhada
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • O link para o artigo original é https://aisystemcodesign.github.io/papers/isca26/vistara_cam...
      Passando os olhos por cima, dá para pensar nisso como algo parecido com conectar muito DDR4 em uma placa PCIe e usar como espaço de swap. Na prática, é mais sofisticado por causa do protocolo CXL, mas dá para entender os trade-offs assim
      Também parece haver suporte em nível de sistema operacional para mover páginas quentes/frias entre a DRAM principal rápida e a DRAM expandida, com latência maior
      DRAM tem uma vida útil relativamente longa, já embute uma quantidade considerável de carbono na sua fabricação, e ao mesmo tempo existe uma crise no fornecimento de DRAM nova — então isso é uma questão muito pertinente
    • Surpreende apresentarem isso como se fosse graças ao “Zuck”. Não parece nada provável que ele realmente conheça esse assunto
    • Se a “matéria original” for essa, então talvez seja este site irmão do Register
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • Há tempos eu me perguntava por que nunca surgiu de verdade um grande mercado de “placas PCI/PCI-X/PCIe baratas que enfiam swap/memória lenta/RAM disk usando SIMM/DIMM velho ou sobrando, memória de uma ou duas gerações atrás”
    É raro preencher todo o espaço de endereçamento da placa-mãe com memória de última geração, e o kernel também pode ser ensinado a preferir certos tipos de memória conforme a velocidade, então isso parecia algo que naturalmente deveria funcionar.
    Lembro vagamente que o mercado que tentava fazer algo parecido com flash acabou esfriando por causa de patentes, mas os detalhes estão meio nebulosos. Ainda assim, cache em flash pelo menos virou mercado entre as empresas grandes. Talvez algo parecido tenha acontecido aqui também, ou talvez isso só valesse para o nicho que me interessava na época.
    [1] Sei que existiram alguns produtos nessa área, mas minha impressão é que nunca decolaram de fato. Posso estar enganado.
    [2] No NetBSD isso com certeza é possível. Já fiz isso diretamente em arquiteturas como VMEbus, onde é comum uma configuração com memória onboard pequena e rápida junto de memória maior, porém mais lenta, no barramento. No Linux isso também parece possível graças ao trabalho de suporte a NUMA, mas nunca fui verificar a fundo.

    • O motivo de não ter havido um grande mercado é que memória nova não era cara o bastante para tornar proibitivo o custo, o risco e as limitações de usar memória antiga em servidores novos.
      Agora a situação mudou, então as pessoas estão voltando a olhar para essa ideia.
    • Não é exatamente a mesma coisa, mas estou montando uma caixa NAS com peças antigas. Como a maior parte da RAM sobrando que tenho é DDR4 SODIMM de notebook, tentei usar um adaptador de SODIMM para DIMM de desktop, mas não funcionou bem.
      O sistema só dava boot em cerca de 1 a cada 5 tentativas, e não ficou estável independentemente de como eu mudasse as configurações de velocidade da memória.
    • Lembro que, 30 anos atrás, existiam placas desse tipo que convertiam 4 módulos SIMM de 30 pinos para encaixar em um slot SIMM de 72 pinos.
      https://www.ebay.com/itm/383521792853
    • DIMMs de gerações antigas não são tão baratos assim, e a oferta também é limitada. Produtos de gerações antigas saem de produção quando se precisa garantir capacidade de fabricação para chips novos.
      DDR2 já é mais caro que DDR3, provavelmente porque não é mais produzido, mas ainda existe demanda para substituição ou upgrade de memória em hardware antigo.
    • Pelo que entendo, a grande diferença hoje é que o CXL adiciona coerência de cache sobre o PCIe. Posso estar errado.
      Sem coerência de cache, é preciso ter muito mais cuidado com a forma de usar essa memória, e a discussão de desempenho também fica mais complicada. A RAM sobre CXL vai ter desempenho inferior ao da RAM ligada diretamente ao controlador de memória da CPU, mas não deve haver grandes armadilhas.

  • Se você não quiser projetar um chip customizado, existem chips padrão de expansão de memória CXL.
    https://www.marvell.com/products/cxl.html

  • A parte interessante desta “crise da RAM” é que, como em outras áreas, quando surge um problema vários agentes começam a buscar alternativas.
    Como resultado, depois da crise podem aparecer ideias interessantes ou soluções de contorno capazes de gerar um boom de memória que, com sorte, também chegue às máquinas locais.
    Primeiro, a Apple está avaliando novos fabricantes chineses, e se a garantia de qualidade for aceitável, a dinâmica de oferta e demanda pode mudar. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    Segundo, as empresas estão procurando formas de contornar a questão do desempenho. De repente, canal único também “está valendo”? :)
    (https://www.gigabyte.com/press/news/2403)

    • Mesmo RAM em canal único ainda é claramente melhor do que swap em disco.
    • Seria bom voltar a projetar software levando restrições de hardware em consideração.
    • No fim, a necessidade é a mãe da invenção. Parece ser um dos conceitos abstratos mais antigos do pensamento intelectual.
      Existe uma ligação estreita entre escassez de recursos e motivação. A demanda que os maiores modelos de fronteira impõem sobre RAM, SSD e GPU cria um incentivo direto para desenvolver LLMs menores. É parecido com a pressão evolutiva para que animais fiquem menores e consumam menos alimento.
      Mesmo que esses modelos menores tenham sucesso, exceto talvez em processamento de vídeo de alta qualidade, eles ainda provavelmente usarão mais RAM, SSD e GPU do que praticamente qualquer outra aplicação. LLMs menores e processamento avançado de vídeo parecem exigir níveis parecidos de recursos.
      Ainda assim, os recursos podem acabar se distribuindo pelo mercado de um jeito mais tradicional, resultando em um ciclo menos insano.
      Por isso, a saída para a crise cíclica de preços de RAM/SSD enfrentada pelos fabricantes — isto é, os preços subindo e descendo entre restrições de oferta e excesso de oferta causado por nova capacidade de produção — parece ser financiar pesquisa em LLMs menores. De qualquer forma, eles venderão quase a mesma quantidade de produtos, e talvez até mais.

  • Seria bom se isso também existisse para consumidores. Tenho bastante RAM antiga.

    • Antigamente a Gigabyte fez uma placa adicional de RAM disk. Não é exatamente a mesma coisa, mas como aparecia como dispositivo de armazenamento, dava para usá-la como espaço de swap do sistema operacional.
      https://en.wikipedia.org/wiki/I-RAM
    • Adicionar RAM desse jeito não é exatamente o mesmo que expandir a RAM principal do sistema. Como a RAM fica conectada por um link da família PCIe, ela não se comporta como RAM básica.
      Esse tipo de estrutura é mais adequado para fazendas de servidores, onde engenheiros podem customizar e ajustar tudo de acordo com a arquitetura.
      Também existiram placas que usavam RAM como armazenamento, mas como precisavam ser configuradas como discos, os casos de uso eram muito limitados e elas não ficaram populares.
    • Sistemas de consumo não têm tanta largura de banda voltando para a CPU, então a lógica é um pouco diferente.
      Olhando o preço atual de DDR4 usada, talvez seja melhor simplesmente vender e comprar um drive NVMe.

  • O ServeTheHome já cobriu controladores de expansão de memória CXL em dezembro
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • O artigo diz o seguinte: “Nossa solução CXL alcançou grandes melhorias em várias cargas de trabalho e, em inferência de ML distribuída, reduziu o número de servidores em até 25%”
    Não entendo como seria possível reduzir em 25% o número de servidores na mesma carga de trabalho usando uma RAM pior

    • Porque ela não está substituindo uma RAM melhor, e sim sendo usada como complemento
    • CXL é basicamente adicionar RAM “mais lenta” sobre PCIe. Não é substituição

  • É interessante pensar como ficará o mercado de eletrônicos de consumo nos próximos anos. As empresas estão apostando que os consumidores vão pagar mais caro por causa da falta de RAM agora
    Mas, como todos os outros custos também estão subindo, acho que muitos consumidores simplesmente não vão comprar novos aparelhos por um tempo. É preciso lembrar que, fora da bolha do HN, nem todo mundo recebe salário da indústria de tecnologia

    • Acho que eu também estou mais para esse lado. Estou simplesmente escolhendo interagir menos com tecnologia
      Tudo está ficando cada vez mais hostil, e isso chegou a um ponto crítico
    • Os fabricantes de sistemas operacionais vão ter que dar suporte a hardware antigo por mais tempo
      Como a Microsoft tentou forçar hardware novo para o Win11, o Win10 já acabou sendo estendido por mais 1 ano

  • Legal, agora o preço da RAM usada também pode disparar
    Tomara que o preço de PCs volte a ser o de um carro. Vai abrir muitas oportunidades de monetização

    • Já aconteceu. DDR4 usada de 5 anos atrás agora está mais cara do que produto novo custava 5 anos atrás