Visualização de latência entre data centers da AWS

 (benjdd.com)
3 pontos por GN⁺ 2024-10-25 | 2 comentários | Compartilhar no WhatsApp
  • É uma página de visualização que mostra a latência entre data centers da AWS dividida em 3 faixas em ms
  • A legenda separa em menos de 100 ms, 100–200 ms e mais de 200 ms, permitindo comparar rapidamente os níveis de latência
  • Apenas com as informações fornecidas, não é possível verificar quais data centers ou regiões estão incluídos
  • Não são informados o método de medição, o momento da medição nem os valores individuais de latência entre data centers
  • Portanto, o escopo que pode ser confirmado neste resumo se limita aos critérios das faixas da visualização

Legenda de latência

  • X < 100ms: menos de 100 ms
  • X 100ms - 200ms: 100 ms–200 ms
  • X > 200ms: mais de 200 ms

Detalhes que não podem ser verificados

  • Não é fornecida uma lista de data centers da AWS específicos nem nomes de regiões
  • Não é possível verificar o método de medição, o momento da medição nem os valores de latência entre data centers individuais

Leituras relacionadas

2 comentários

 
devenv 2024-10-25

Parece que a us-east-1 é mesmo a melhor localização para o Ocidente.
 
GN⁺ 2024-10-25
Opiniões no Hacker News

  • Em vez de mostrar apenas valores de ping, seria bom mostrar também o quanto eles estão ruins em relação ao valor ideal teórico
    Pelo que sei, a velocidade da luz no meio de fibra óptica é cerca de 30% menor que a da luz no vácuo
    Em reuniões de arquitetura, já vi várias vezes surgirem reclamações sobre a latência entre datacenters, para depois descobrirmos que, na verdade, ela estava bem próxima do que era teoricamente possível desde o início

    • Imagino que, dentro dos hyperscalers e dos grandes provedores de colocation/hospedagem, essas métricas já sejam bem conhecidas
      Quando um cliente projeta sistemas de alta disponibilidade ou recuperação de desastres, é importante evitar que ele escolha por engano uma região ou zona “artificialmente” com alta latência em relação à área principal
      A empresa onde trabalho atualmente é especializada em migração de SAP para a nuvem e, depois de termos sofrido no passado com latências inaceitáveis por causa de premissas erradas, sempre temos essa conversa com especialistas de rede da AWS e do GCP na fase de estimativa e definição de escopo
    • Isso não parece ser ping de verdade, o que é até melhor
      Em vez de ping ICMP, é uma conexão de fluxo de socket via tcp/443
      Ping pode ser uma métrica inadequada
      https://github.com/mda590/cloudping.co/blob/8918ee8d7e632765...
    • Para fazer isso, seria preciso mapear todas as rotas dos cabos
      A luz dentro de cabos de fibra óptica viaja a aproximadamente 70% da velocidade da luz, cerca de 210.000 km/s
      A circunferência da Terra é de cerca de 40.000 km, e o caminho em linha reta até o outro lado do planeta dá aproximadamente 100 ms só de ida e 200 ms de ida e volta
    • Mesmo clicando no mapa, não vejo muitos casos em que a latência esteja muito fora do esperado em relação à distância
      Claro que, teoricamente, seria possível melhorar cerca de 40% usando fibra óptica oca e rotas de fibra próximas de uma linha reta, mas poucos estariam dispostos a pagar por isso
    • Sou o autor. Interessante; também recebi a mesma sugestão no X
      Fico curioso se há bons materiais para calcular esse valor com precisão

  • Tenho daltonismo vermelho-verde, então é difícil ou impossível distinguir as linhas de menos de 100 ms das linhas de mais de 200 ms
    Isso corresponde a cerca de 8% da população masculina, então seria bom adicionar um modo para daltônicos
    A visualização em si é muito boa

    • Como solução rápida, dá para aplicar um filtro CSS à página inteira
      Nas ferramentas de desenvolvedor, adicione a regra filter: hue-rotate(60deg); ao elemento body, ou execute javascript:void(document.body.style.filter='hue-rotate(60deg)') na barra de endereço
    • Sou o autor. Obrigado pela sugestão
      Gostaria de saber quais foram os melhores exemplos que você já viu de soluções para esse problema; se tiver links, por favor compartilhe
    • Não vejo nenhuma linha; só vejo os pontos azuis que representam repetidamente os datacenters
      É bem confuso
    • Fico curioso se existem ferramentas de acessibilidade para esse tipo de uso
      Algo como um filtro que altere as cores da tela inteira de uma forma específica para torná-las distinguíveis
    • Como daltônico, acho importante levar o daltonismo em conta ao escolher cores, mas nem todos os 8% dos homens de fato não conseguem distinguir essas duas cores
      A proporção é menor, e mesmo entre pessoas daltônicas a percepção de cores varia
      O fato de algo ser visível para uma pessoa não significa que será visível para outra, e o contrário também vale

  • Já fiz um planejamento relacionado a isso para um cliente no passado
    Ao medir latências da AWS, percebemos que, se medíssemos o comprimento aproximado dos cabos submarinos em km e dividíssemos por 150, o resultado ficava dentro de 10% da latência real
    Não era exatamente surpreendente, mas era muito consistente; depois acho que vimos que o número era 155

    • Isso me lembra a história do e-mail de 500 milhas
      https://www.ibiblio.org/harris/500milemail.html
    • Acho que isso se deve à velocidade da luz dentro do meio
      “Por meio do LabVIEW, a velocidade da luz dentro da fibra óptica foi calculada em aproximadamente 2,054 x 10^8 m/s, que é um valor típico correspondente a um índice de refração n ≈ 1,4606”
      https://web.phys.ksu.edu/posters/2009/juma-Adv-Lab-S09.pdf
    • Em modelagem do mundo real, é surpreendentemente comum conseguir uma precisão satisfatória usando apenas multiplicação e adição
    • Esta página é muito bem feita como mapa interativo, e achei muito divertida
      Fico curioso se a explicação matemática dessa regra prática seria algo mais ou menos assim
      https://news.ycombinator.com/user?id=Hikikomori corrigiu a velocidade da luz no meio de fibra óptica para 2e5 em vez de 3e5
      A velocidade da luz é 2e5 km/s, ou cerca de 2e2 km/ms, então fica no formato comprimento (km) / 200 (km/ms), e no fim latência (ms) ≈ K' × comprimento (km)
      Fico imaginando se aqui K é cerca de 1,3 e K' é 1/155, incorporando fatores como distância não retilínea, overhead de rede e comutação, e erro de medição de ida e volta
    • Pela visualização, a maioria, ou talvez todas, as linhas vermelhas correspondem a rotas longas, como da América do Norte até a África do Sul

  • Interessante. Ao clicar no círculo azul que representa um datacenter, aparece a latência até outros datacenters
    Levei um tempinho para descobrir isso, então seria bom adicionar uma instrução no site, como clique em um datacenter para selecioná-lo

    • A rigor, isso não são datacenters, mas agregações em nível de região
      Uma região é formada por componentes de rede e computação em vários níveis de abstração, como datacenters, pontos de presença de borda e assim por diante
      Mesmo dentro de uma região, a variação entre zonas pode ser grande, por isso a metodologia de medição é importante

  • A AWS fornece no Network Manager métricas de latência entre regiões, entre zonas de disponibilidade e dentro de uma zona de disponibilidade
    É útil para estabelecer uma linha de base de latência e verificar se há algum problema do lado da AWS
    https://docs.aws.amazon.com/network-manager/latest/infrastru...

    • A AWS também oferece dashboards que mostram interrupções de regiões ou serviços, mas, olhando o histórico, dá para ver que é difícil confiar cegamente nesses dashboards exatamente pelo mesmo motivo

  • A visualização e o conceito são legais, mas seria melhor se as cores fossem um gradiente contínuo, e não por faixas
    Do jeito atual, 100 ms parece muito pior que 99 ms, mas igual a 200 ms
    Por exemplo, ao clicar em us-east-1, as latências dos data centers da Europa Ocidental parecem bem diferentes; eu-central-1 e eu-south-1 diferem só cerca de 9 ms, mas parecem completamente diferentes, enquanto eu-north-1 e ap-south-1 diferem cerca de 88 ms e parecem iguais
    Há também quem fale em comparar os valores medidos com a menor latência possível em relação à velocidade da luz, mas o problema é que a velocidade da luz no vácuo, c, não é a velocidade de transmissão de informação dentro de uma fibra óptica
    O melhor teórico real, mesmo olhando apenas para a velocidade da luz no meio, dificilmente passa de 70% de c, e há muitos outros fatores desconhecidos, como atrasos em repetidores

    • Sou o autor. Um gradiente é uma ideia realmente boa
      A visualização atual faz uma latência de 90 ms parecer “boa”, mas, na prática, isso é totalmente inaceitável para várias aplicações
      Especialmente quando é preciso fazer várias idas e voltas para processar uma única requisição

  • Fico curioso sobre como escolheram quais data centers incluir
    Por exemplo, a Espanha, eu-south-2, ficou de fora
    No passado, trabalhei em um projeto em que a latência entre data centers precisava ser inferior a 30 ms, e tínhamos que usar eu-west-1, na Irlanda, e eu-south-2
    Só que a latência real ficava perto de 42 ms, e o principal motivo era que não havia cabo submarino entre a Irlanda e o continente europeu, então o tráfego precisava ir para o Reino Unido e depois cruzar o Reino Unido de volta até um cabo rumo ao continente

    • No rodapé da página está escrito que são dados raspados do CloudPing, e há também um link para o dataset do CloudPing
      Ao entrar no CloudPing, dá para ver que o dataset não tem eu-south-2
    • Sou o autor. Usei apenas o que estava disponível em https://www.cloudping.co, e de fato faltam algumas regiões
      O repositório GitHub do CloudPing não teve mudanças de código em 4 anos, então algumas novas regiões podem ter surgido desde a última vez em que ele esteve ativo
    • Fico curioso para saber como você descobriu que não há cabos entre a Irlanda e o continente europeu
      Quero genuinamente saber onde esses dados estão disponíveis publicamente
    • Faltam muitos data centers nesse mapa
    • Israel, il-central-1, também está ausente

  • Os dados são muito úteis e o globo é visualmente impressionante, mas, em termos de uso prático, acho que um mapa-múndi plano seria melhor
    Mostraria todos os data centers de uma vez, e as linhas não ficariam próximas demais, o que facilitaria a leitura

    • Lembro que, no radioamadorismo, essa projeção azimutal equidistante era popular
      https://en.wikipedia.org/wiki/Azimuthal_equidistant_projecti...
    • Um mapa-múndi 2D pode não dar uma boa noção de quão distantes os locais realmente são
      Seria melhor ter uma opção para alternar entre os dois
    • Concordo. Parece bonito, mas não é a melhor visualização para realmente ler os dados
    • Sou o autor. É preciso um equilíbrio cuidadoso entre ser bonito e ser útil

  • O maior fator da latência é, obviamente, a distância
    Mas mesmo entre regiões relativamente próximas pode não haver fibra óptica conectando diretamente, então a latência pode ser ruim, por exemplo por rotas que passam por regiões polares
    Fico curioso se há casos de regiões que violem muito a desigualdade triangular
    Ou seja, casos em que a latência A–C é muito pior que a melhor latência A–B + B–C
    Por curiosidade, também me pergunto se daria para usar essa ideia para inferir quais data centers provavelmente estão conectados diretamente por fibra óptica e mostrar apenas essas conexões

    • Não posso falar diretamente sobre a AWS, mas, na minha tese de doutorado, encontrei vários casos assim usando probes do RIPE Atlas
      Basicamente, o método era procurar pares de probes em que o tempo de ida e volta entre A e C fosse maior que A–B + B–C
      Esse método tem os problemas comuns de medição por ICMP/tempo de ida e volta, além do fato de que o tráfego não foi realmente roteado passando pelo probe “intermediário”, mas esses pares existem
      Há um exemplo na página 84 de https://theses.hal.science/tel-03666771/document, se você souber ler francês
    • Por causa de como o roteamento funciona, acho que isso não deve acontecer muito em grande escala
      Se uma rota de “desvio” passando por B for a rota mais barata para um pacote ICMP chegar, então ela provavelmente também será a rota escolhida na prática
      Em vez disso, procurar lugares em que A–C é quase igual a A–B + B–C talvez mostre onde isso acontece
      Além da falta de fibra óptica, também pode haver motivos financeiros, como acordos de peering mais vantajosos
    • Na região entre Rússia, Mongólia e Índia, há pouquíssimos cabos e a qualidade também é ruim
      Pelo que sei, de Mumbai ao sul da Rússia a distância não é tão grande, mas a latência é surpreendentemente alta
      Por exemplo, é muito maior do que de Frankfurt a Moscou, e não sei se chega a violar a desigualdade triangular entre Frankfurt–Moscou–Mumbai
    • Para ver um mapa mundial de cabos de fibra óptica, basta olhar aqui
      https://www.submarinecablemap.com/
      Como cabos submarinos têm custo de instalação muito alto, é muito improvável que existam cabos não divulgados
    • Há regiões notoriamente conhecidas pela baixa qualidade de rede, como a América do Sul e o Sul da Ásia
      Em geral, a perda de pacotes também tende a ser mais alta

  • Eu estava usando isto há alguns dias
    https://aws-latency-test.com/

    • Sou o autor. Vi esse site enquanto procurava dados para usar nesta visualização, e ele era bom