Plano de construir um data center próprio

• Se você quer construir seu data center

  • A Railway construiu sua computação sobre o Google Cloud Platform desde o início. Porém, isso gerou vários problemas, como preço, nível de serviço e limitações de engenharia. Para resolver essas questões, a empresa iniciou o projeto Railway Metal e construiu seu primeiro site na Califórnia.

• Se você quer construir a nuvem

  • O projeto Railway Metal começou em janeiro de 2024, e levou 5 meses para instalar o primeiro servidor. Foi preciso garantir espaço e considerar energia e refrigeração. Entre três opções principais, escolheram Cage Colocation.

• Grandes poderes trazem grandes responsabilidades

  • Ao planejar a migração para um data center, é preciso considerar a capacidade computacional necessária. A densidade de energia é um fator importante, e é necessário ter redundância no fornecimento elétrico. A energia é distribuída por meio de Power Distribution Unit (PDU).

• Faça-se a luz

  • A conectividade de rede é importante, e a empresa firmou contratos com vários ISPs para garantir os melhores caminhos de rede. Escolhem ISPs adequados para cada região e constroem redundância entre várias regiões.

• Corredores, racks e infraestrutura suspensa

  • Em um data center, os racks são organizados em fileiras, e corredores são necessários para o fluxo de ar. Também é preciso considerar o tamanho dos racks e o gerenciamento de cabos. Energia e refrigeração podem ser fatores mais limitantes do que o espaço.

• Racks e pilhas

  • Um cabeamento organizado exige muita prática, além da ajuda de especialistas. A instalação é planejada com documentos de matriz de cabos e elevação de rack. A instalação leva de 6 a 14 dias.

• Pé no metal

  • A cage instalada é como uma tela em branco, e é necessário configurar os dispositivos de rede, ajustar os roteadores, atualizar os registros do RIR e mais. Com FRR e SONiC, foi construída uma rede baseada em software dedicada apenas à camada L3.

  • Em posts futuros, a empresa pretende abordar o processo de transformar servidores em uma zona funcional da Railway. Também desenvolveu duas ferramentas de software, Railyard e MetalCP, para facilitar o design de novas cages, a visualização do cabeamento e a instalação do sistema operacional nos servidores.

[GN⁺]

Comentários do Hacker News

• Questionamento sobre por que chamam "colocation" de "construir seu próprio data center". Na prática, isso não passa de instalar servidores em racks
• Recordações de episódios curiosos da época da Rackspace
  • O incidente em que funcionários da EMC derrubaram um rack de servidores durante a instalação de equipamentos de armazenamento
  • O caso em que um data center ficou offline porque um motorista de caminhão teve um ataque cardíaco
  • A experiência de transmitir largura de banda por laser para outro prédio
  • Quando servidores quebraram janelas por causa de um incêndio e foi preciso comprar ventiladores de caixa
• Menciona o quanto a tecnologia de data centers evoluiu e compartilha experiências de colaboração com o Facebook
• Aponta a falta de suporte ao cliente do Google
• Compartilha a experiência de construir a infraestrutura da Blekko
  • A colocation física era importante para lidar com o tráfego de rede "east-west"
• Enfatiza a importância de calcular a capacidade de HVAC/"CRAC" de um data center
• Reclama do atendimento ao cliente do Google
  • Comparando com o suporte da AWS e da Microsoft
• Menciona a necessidade de ferramentas como o Netbox
• Compartilha experiências de implantação de data centers entre 2003 e 2010
  • Enfatiza a importância da gestão de cabos e da padronização
• Enfatiza a importância da seção "WTF" em data centers
• Compartilha a experiência de operar VMs via colocation para reduzir custos da AWS
• Enfatiza a importância de possuir ativos como empresa de infraestrutura
  • Explica por que a Cloudflare consegue oferecer serviços gratuitos
• Enfatiza a importância da gestão de cabos
  • Menciona a necessidade de cuidado ao misturar cabos de cobre e fibra óptica