Velocidade, escala e confiabilidade: a evolução do networking de data centers do Google ao longo de 25 anos

• A rede do Google não foi construída da noite para o dia; ela evoluiu ao longo de 25 anos de inovação em engenharia e marcos importantes até chegar à atual arquitetura de rede de data centers Jupiter de 5ª geração
• Hoje, a rede Jupiter pode escalar para 13 petabits por segundo de largura de banda bidirecional. Isso equivale a permitir que todos os 8 bilhões de habitantes da Terra façam chamadas de vídeo simultaneamente (@1.5Mb/s)

Princípios principais

• Qualquer coisa, em qualquer lugar: a rede de data centers do Google permite posicionar grandes jobs em qualquer ponto entre mais de 100 mil servidores dentro do mesmo fabric de rede. Essa escala melhora o desempenho das aplicações para workloads internos e externos e elimina a fragmentação interna
• Latência previsível e baixa: prioriza desempenho consistente e minimização da latência de cauda por meio do provisionamento de folga de largura de banda, manutenção de 99,999% de disponibilidade da rede e gestão antecipada de congestionamento via cooperação entre hosts finais e o fabric
• Definida por software e centrada no sistema: usa software-defined networking (SDN) para flexibilidade e agilidade, validando dezenas de novos recursos a cada duas semanas na rede global e lançando-os mundialmente
• Evolução incremental e topologia dinâmica: a evolução incremental permite renovar a rede em detalhes sem interrompê-la por completo, e a topologia dinâmica ajuda a se adaptar continuamente às mudanças nas demandas dos workloads. A combinação de optical circuit switching e SDN sustenta uma rede heterogênea em constante evolução, com upgrades físicos e suporte a várias gerações de hardware em um único fabric
• Traffic engineering e QoS centrado na aplicação: otimizar fluxos de tráfego e garantir qualidade de serviço ajuda a ajustar a rede às necessidades de cada aplicação
• A rede Jupiter SDN própria do Google oferece mais de 50 vezes a confiabilidade em comparação com a geração anterior

Histórico da evolução

2015 - Jupiter, a primeira rede em escala de petabit

• O Google mostrou que a rede de data centers Jupiter escalava para uma largura de banda total de 1,3 Pb/s usando silício de switch comercial, topologia Clos e software-defined networking (SDN)
• Na época, essa velocidade de transferência de dados de um único data center do Google era maior do que a taxa total estimada de tráfego global de dados IP da internet

2022 - Suporte a 6 petabits por segundo

• O Google anunciou que a rede Jupiter escalava para mais de 6 Pb/s por meio da integração profunda de optical circuit switching (OCS), wavelength-division multiplexing (WDM) e do controlador SDN Orion, altamente escalável
• Essas tecnologias possibilitaram vários avanços, incluindo implantação incremental da rede, melhor desempenho, redução de custos, menor consumo de energia, gerenciamento dinâmico de tráfego e upgrades sem interrupções

2023 - Rede de 13 petabits por segundo

• O Google aprimorou ainda mais o Jupiter para suportar velocidade de link base de 400Gb/s no core da rede
• O bloco básico de construção da rede Jupiter (chamado de bloco de agregação) agora consiste em 512 portas, com suporte a largura de banda bidirecional non-blocking de 400Gb/s para os hosts finais e o restante do data center
• Dá suporte a 64 desses blocos, para uma largura de banda bidirecional total de 64*204.8 Tb/s = 13.1 Pb/s
• Essa tecnologia já alimenta os data centers de produção do Google há mais de um ano e vem impulsionando o rápido avanço de inteligência artificial, machine learning, busca na web e outras aplicações intensivas em dados

2024 em diante - Networking extremo para a era da IA

• O Google já definiu a direção da infraestrutura de rede de próxima geração para dar suporte à IA no futuro
• Está trabalhando nos requisitos de infraestrutura de rede para a VM A3 Ultra de próxima geração, baseada em GPU e com networking NVIDIA ConnectX-7
• Isso oferece suporte a 3,2 Tbps non-blocking por servidor para tráfego entre GPUs via RoCE(RDMA over converged ethernet)
• Também está trabalhando em produtos futuros baseados no NVIDIA GB200 NVL72

Nos próximos anos, pretende dar suporte a aplicações e serviços transformadores por meio de avanços significativos em largura de banda por porta e em toda a rede, escala, integração mais forte com hosts finais, engenharia de topologia em tempo real, integração profunda com a stack de computação/armazenamento e melhorias no balanceamento de carga baseado em host