Como reduzir em 99% os custos de transferência de dados na AWS

Como reduzir em 99% os custos de transferência de dados na AWS

• Ao transferir dados na AWS, é fácil acabar gastando demais por engano, especialmente se não houver atenção aos custos de transferência de dados.
• A AWS cobra pela transferência de dados da seguinte forma:
  • Ao transferir dados da AWS para a internet pública, são cobrados de $0.09 a $0.154 por GB, dependendo da região.
  • A transferência de dados entre regiões da AWS custa de $0.02 a $0.147 por GB, e esse é o custo para transferências que não saem da rede da AWS.
  • A transferência de dados entre zonas de disponibilidade dentro da mesma região da AWS custa $0.01 por GB, e isso é igual em todas as regiões.

Uso do AWS PrivateLink e de endpoints VPC

• Com AWS PrivateLink e endpoints VPC, é possível evitar que os dados saiam da rede da AWS, o que é útil não apenas em termos de preço, mas também de segurança.
• Esses recursos não são gratuitos e têm suas próprias limitações e complexidades de preço, mas mais detalhes podem ser encontrados na AWS e na Vantage.

Contornando custos de transferência de dados com S3

• A maioria das classes de armazenamento do S3 guarda os dados no nível da região, e não da zona de disponibilidade.
• Algumas classes de armazenamento, como S3 One Zone-Infrequent Access e S3 Express One Zone, armazenam dados em apenas uma única zona de disponibilidade.
• Os dados armazenados em um bucket S3 padrão podem ser usados igualmente em todas as zonas de disponibilidade da AWS, e baixar dados do S3 é gratuito (as tarifas padrão de transferência de dados só se aplicam ao transferir entre regiões ou para a internet pública).

Demonstração

• Foi criada uma nova conta AWS para evitar ruído na medição de preços.
• Foram realizados dois experimentos:
  1. No primeiro experimento, duas instâncias EC2 foram colocadas em uma VPC com sub-redes privadas, e um arquivo de 1 TB foi transferido da instância us-east-1a para a instância us-east-1b.
  2. No segundo experimento, duas instâncias foram colocadas em uma VPC com um endpoint Gateway do S3, e um arquivo de 1 TB foi enviado da instância us-east-1a para um bucket S3, depois baixado pela instância us-east-1b.

Resultados

• O experimento de transferência de dados padrão gerou o custo esperado de $20.
• O experimento de transferência baseado em S3 gerou apenas alguns centavos em custo de armazenamento e, na prática, nenhum custo de armazenamento do S3 foi cobrado.

Conclusão

• A AWS replica os dados do S3 entre zonas de disponibilidade, e esse custo está incluído no custo de armazenamento do S3.
• Ao enviar os dados para o S3 e apagá-los imediatamente em seguida, é possível alcançar uma redução de custos de 99%.
• Esse método não substitui o código existente de transferência de dados e pode ter latência maior do que uma conexão de rede direta, mas é uma forma eficaz quando a principal preocupação é reduzir custos.

Opinião do GN⁺

• Este artigo apresenta uma forma criativa de reduzir os custos de transferência de dados na AWS, o que pode gerar grande economia para empresas ou indivíduos que usam serviços de nuvem.
• Em especial, o método de transferência de dados com S3 é uma estratégia eficaz para reduzir significativamente os custos ao mover dados dentro da AWS.
• Esse tipo de economia oferece informações muito úteis para arquitetos de nuvem ou administradores de sistemas que buscam otimizar a infraestrutura em nuvem de suas empresas.

[GN⁺]

Comentários no Hacker News

• Como aproveitar instâncias Lightsail

  • Instâncias Lightsail podem ser usadas para fazer "proxy" de dados de recursos da AWS, como instâncias EC2 ou buckets S3.
  • Cada instância Lightsail oferece uma certa quantidade de transferência de dados incluída no preço (a instância de $3.5 inclui 1 TB, a de $5 inclui 2 TB etc.).
  • A instância de $10 oferece 3 TB de tráfego e tem o melhor custo-benefício.
  • Na EC2, 3 TB de tráfego custam $276.48; em um bucket S3, o custo é de $69.
  • Desvantagem: ao usar uma instância Lightsail, tanto o tráfego de entrada quanto o de saída contam como "tráfego".

• Aviso sobre truques para reduzir custos

  • Existem vários truques para reduzir custos e obter recursos gratuitos.
  • Esses métodos são engenhosos, mas pouco confiáveis.
  • É o mesmo tipo de hack que mineração de criptomoeda via GitHub Actions em repositórios OSS.
  • Considere isso um exercício interessante de hacking, mas não implante em produto real, pois há risco de sua conta AWS ser suspensa.

• Considerações sobre usar soluções em nuvem em vez de VPS

  • Ao usar VPS, como resolver o problema de alta disponibilidade (High Availability)?
  • Mesmo pequenas empresas precisam ficar sempre no ar.
  • O comum é configurar a mesma infraestrutura em duas ou mais instâncias VPS e fazer balanceamento de carga.

• Cálculo de custo de armazenamento no S3

  • O custo de armazenamento no S3 é cobrado por GB-mês.
  • Se 1 TB de dados ficar no bucket por uma hora, o custo será de cerca de 3 centavos.
  • Perto do momento da exclusão dos dados, o custo pode ser ainda menor.
  • O valor TimedByteStorage no relatório de custos e uso é o fator decisivo.

• Correção de brecha semelhante no GCP

  • O GCP corrigiu uma brecha semelhante em 2023 por causa do abuso dos usuários.
  • Se esse tipo de prática se disseminar, espera-se que a AWS tome a mesma medida.

• Dicas adicionais para economizar em custos de nuvem

  • Se você for um grande cliente da AWS, pode pedir desconto.
  • Colocar tudo em uma única zona de disponibilidade (AZ) pode ajudar a reduzir custos.
  • Ao usar várias AZs, faz-se balanceamento entre AZs considerando a carga.

• Alternativas à nuvem

  • Em vez de usar serviços de nuvem complexos e caros, uma alternativa é hospedar por conta própria, usar serviços sem cobrança de transferência de dados como o Cloudflare ou contratar um serviço de hospedagem VPS barato.
  • Se você chegou ao ponto de precisar analisar custos de nuvem, vale a pena reconsiderar o uso da nuvem.

• Complexidade e problemas de otimização da AWS

  • A AWS é tão complexa que é difícil para os clientes otimizar um único aspecto.
  • Se gente demais começar a usar esses truques, a AWS pode fechar a brecha.

• Alternativas para casos com alto uso de largura de banda

  • Considere serviços como Leaseweb, PhoenixNAP, Hetzner e OVH, onde os preços de largura de banda são muito mais baixos.
  • Em alguns casos, não há espaço para negociar o preço da largura de banda da AWS.

• Truque usando ECR

  • Com o ECR, é possível transferir até 5 TB por mês para a internet gratuitamente.
  • As imagens de contêiner precisam ser públicas, mas o conteúdo pode ser criptografado.
  • Isso é útil ao armazenar arquivos de mídia no Glacier.