Como montar uma rede full-mesh de alta velocidade de 10 Gbps com USB4 por US$ 47,98

• Para reduzir os custos da AWS, foi montado um cluster Kubernetes bare metal e configurada uma rede de 10 Gbps
• Foi usado networking baseado em bridge Ethernet via USB4 para substituir switches Ethernet e cabos tradicionais
• A rede atingiu 11 Gbps, mas o custo de implementação foi de apenas US$ 47,98

Mini PC vs. servidor 1U padrão

• Houve uma análise sobre que tipo de máquina usar na montagem de um cluster bare metal
• Servidores 1U usados são baratos, mas se tornam ineficientes ao considerar os custos operacionais
• Mini PCs são baratos, silenciosos e consomem pouca energia
• Foi escolhido o mini PC Venus UM790 Pro, com baixo consumo de energia (6W em idle, 80W em carga máxima)
  • CPU AMD Ryzen 9 7940HS + 64GB de memória + 1T de armazenamento por US$ 779, um preço acessível

Rede

• Foram adicionados mais dois mini PCs UM790 Pro, expandindo para um cluster de 3 nós
• Após instalar o sistema de armazenamento Ceph, surgiu a necessidade de uma conexão de rede melhor entre os nós
  • O equipamento até tinha portas de rede de 2.5G, mas ainda seria necessário comprar um switch Ethernet
• Foi considerada a possibilidade de atingir 40 Gbps aproveitando as duas portas USB4 do equipamento
• Foi montada uma rede full-mesh com cabos USB4, reduzindo custos em comparação com a compra de um switch Ethernet de 2.5G

Configuração de rede mesh com NixOS e systemd

• Foi usado NixOS para criar uma configuração reproduzível do ambiente Linux.
• systemd-udevd foi usado para configurar dispositivos de rede em bridge Thunderbolt e definir IPs.

Resultados de benchmark

• Os benchmarks com iperf3 confirmaram velocidade de rede de 11 Gbps

Considerações posteriores

• Houve satisfação por ter construído uma rede de 11 Gbps com baixo custo.
• Ficou a curiosidade sobre a causa da limitação de velocidade da rede baseada em USB4.
• Também foi explorado o potencial futuro de redes de alta velocidade baseadas em USB/Thunderbolt.

Opinião do GN⁺:

• Este artigo destaca a importância de engenheiros de software ampliarem seu conhecimento de hardware. Em especial, apresenta uma abordagem criativa para construir redes de alta velocidade com baixo custo, sugerindo uma nova alternativa aos métodos tradicionais de rede.
• O uso de USB4 para networking mostra que ele pode oferecer boa relação custo-benefício e altas velocidades em comparação com soluções tradicionais baseadas em Ethernet. Isso pode se tornar uma opção atraente para pequenos data centers ou usuários individuais no futuro.
• O uso de ferramentas como NixOS para automatizar e tornar reproduzível a configuração de rede oferece informações úteis para administradores de sistemas e desenvolvedores.

[aster]

Achei que estava escrito “compra total”..

[pmc7777]

Ficou muito bem montado... inveja boa.

[bus710]

Estou usando bem a transferência de arquivos por IP over TB4/USB4, e é realmente muito rápida haha

[bus710]

Se os pacotes thinderbolt-tools e bolt estiverem instalados e o driver estiver configurado corretamente, dá para ajustar a interface com nmcli e usar normalmente com ssh ou scp, de forma tão simples quanto uma conexão Ethernet. Dispositivos Intel e Macs não tiveram grandes problemas, mas com AMD pode haver alguns aparelhos que não funcionem tão bem.

[kuroneko]

Se eu soubesse disso, teria escolhido uma CPU da Intel... 😭

[kuroneko]

Ah... então, se você conectar diretamente dois PCs via USB4/Thunderbolt, isso é tratado como Ethernet?

Eu estava fazendo todos os tipos de plano para tentar uma conexão de 10Gbps entre o NAS e o PC
(estava pensando em comprar 2 placas de rede com suporte a 10G e ligar uma diretamente à outra)

Agora bateu até um vazio.

Será que o negócio era trocar a placa-mãe por uma com suporte a USB4/Thunderbolt...

[kuroneko]

Quando vi isso passando pelo HN, deixei passar sem pensar muito,
mas vendo aqui, o conteúdo de repente chamou minha atenção;

Enfim, graças a isso já consigo ver uma solução...

A desvantagem seria basicamente o NAS e o PC terem que ficar próximos um do outro.
Como o cabo USB4 chega no máximo a uns 3 m... (comparando com cabo de rede, que vai até 100 m)

[molla]

As limitações de distância são mais severas do que parecem.
O padrão de cabo USB-C só suporta 10 Gbps quando tem no máximo 1 m. (é por isso que os cabos de dados USB-C são curtos.)
Se tiver até 2 m, suporta 5 Gbps, e acima disso só USB 2.
Se for direto para o lado do Thunderbolt, dá para aumentar a distância usando cabo ativo, mas cabo ativo também é caríssimo, e não sei bem se é compatível com USB4.

[kuroneko]

Ah... então é bem provável que os cabos USB4 de 3 m disponíveis no mercado não consigam entregar a velocidade adequada.
Vou pesquisar direitinho antes de fazer isso. Como uso CPU AMD, também é difícil usar Thunderbolt 😢

[GN⁺]

Comentários no Hacker News

• Discussão sobre o protocolo USB4/Thunderbolt:

  • USB4/Thunderbolt é um protocolo quase mágico, e a forma mais rápida de mover dados entre PCs modernos é conectar portas Thunderbolt com um cabo USB-C.
  • Essa conexão é reconhecida como uma porta Ethernet no Windows, e atinge facilmente velocidades de transferência acima de 1GB/s, o suficiente para saturar um SSD.
  • A Intel demonstrou na CES um recurso de transferência de arquivos entre dispositivos usando Thunderbolt 4/5. Em teoria, Thunderbolt 4 e 5 oferecem velocidades de 20Gbps e 40Gbps, respectivamente.
  • Ao usar apenas um controlador Thunderbolt/USB4, pode ser que só tenham sido alcançados 11Gbps porque as duas portas USB4 compartilham as pistas PCIe de 40Gbps.

• Explicação sobre a topologia de rede:

  • Se há apenas 3 nós, isso não costuma ser chamado de rede em malha, e uma rede em anel de verdade se forma quando há 3 ou mais nós e alguns destinos exigem múltiplos saltos.
  • Uma rede em malha é uma rede formada por conexões ponto a ponto arbitrárias em que vários caminhos são possíveis.

• Benchmark de consumo de energia de servidores Dell:

  • Medindo o consumo de energia de um servidor Dell r430, ele usa cerca de 100 watts após a inicialização e até cerca de 220 watts sob carga.
  • Isso representa 72kWh por dia e um custo mensal de $11.05, enquanto sob carga o custo mensal chega a $24.3.
  • Para hospedar servidores, é melhor usar colocation para resolver problemas de internet estável e ruído.

• Capacidade de tratamento de erros do USB 4:

  • Há uma pergunta sobre a capacidade do USB 4 de lidar com erros de dados corrompidos que podem ocorrer raramente em transferências de grandes volumes de dados via USB.

• Métodos antigos de transferência de arquivos:

  • Foi compartilhada uma lembrança sobre transferência de arquivos entre computadores MS-DOS usando cabo paralelo.

• Otimização da conexão Thunderbolt:

  • Ao configurar o MTU (unidade máxima de transmissão) como 9000 em uma conexão Thunderbolt, o desempenho é melhor do que com 1500.

• Recordação de topologias de rede antigas:

  • Houve um relato sobre a experiência de conectar 8 PCs em uma única cadeia SCSI na década de 1990 usando IP-over-SCSI em velocidade U320.

• Problemas técnicos relacionados à velocidade do Thunderbolt:

  • Foram mencionados como fatores que afetam a velocidade do Thunderbolt o cabo, a alocação de pistas PCIe da placa-mãe e atualizações de driver/firmware.

• Discussão sobre tarifa de eletricidade:

  • Foi fornecida a informação de que a tarifa residencial média de eletricidade é de 15.34 centavos/kWh, mas também foi compartilhada a experiência pessoal de pagar mais que o dobro disso em San Francisco.

[cosine20]

E pensar que, antigamente, os computadores podiam trocar dados entre si se fossem conectados por um cabo paralelo???