Custos de egress da nuvem
(getdeploying.com)- Egress de dados é o tráfego que sai da nuvem e pode crescer rapidamente na fatura quando há muitas transferências de grande volume, como downloads ou movimentação entre nuvens
- A cobrança geralmente é feita com base no volume transferido em GB/TB por mês, e o ingress para a nuvem costuma ser gratuito, criando uma estrutura de custos assimétrica
- Para egress acima de 1 TB, Runpod, GPUhub, Civo e Lambda Labs são gratuitos e ilimitados, enquanto AWS chega a US$ 90, Google Cloud a US$ 120, Vercel a US$ 150 e Netlify a US$ 550
- Os valores comparados variam conforme região e condições; são estimativas baseadas em várias premissas para regiões próximas a North Virginia ou Frankfurt, portanto é necessário verificar os preços mais recentes
- Para reduzir custos, vale avaliar cache em CDN, compressão, pooling de tráfego, alertas de uso e redes privadas dentro do mesmo datacenter ou região, além de conferir tarifas adicionais como NAT gateway
Como o egress de dados é cobrado
- Egress de dados significa dados que saem da rede; mais especificamente, dados que saem da rede de um provedor de nuvem para a internet pública
- Isso inclui casos em que um usuário baixa dados da nuvem ou envia dados de um provedor de nuvem para outro
- As tarifas geralmente são cobradas com base na quantidade de dados enviada para fora da rede
- A unidade de medição costuma ser o volume transferido mensalmente em GB ou TB
Diferença entre ingress e egress
- Do ponto de vista do provedor de nuvem, a transferência de dados se divide em duas categorias
- Ingress: dados que entram na rede, em geral gratuitos
- Egress: dados que saem da rede, em geral cobrados
- Quando um usuário faz upload de um arquivo para o armazenamento em nuvem, isso é ingress para o provedor de nuvem
- Quando o mesmo arquivo é baixado, os dados saem da rede do provedor para o usuário ou para uma camada intermediária como uma CDN, o que pode gerar cobrança de egress
Por que os provedores cobram por egress
- Provedores de nuvem arcam com custos de infraestrutura e largura de banda para enviar dados para fora de suas redes
- A qualidade da rede e a estrutura de custos podem variar entre provedores
- Alguns provedores podem ter melhores acordos de peering com ISPs ou infraestrutura de rede mais estável
- As tarifas de egress também podem funcionar como um mecanismo para desestimular padrões de uso que poderiam saturar a rede ou a movimentação contínua de grandes volumes de dados entre provedores de nuvem
Comparação de custo de egress acima de 1 TB
- O custo de 1 TB de egress acima da franquia gratuita varia bastante entre provedores
- Alguns provedores são gratuitos ou quase sempre gratuitos
- Runpod, GPUhub: gratuito e ilimitado
- Civo, Lambda Labs: gratuito e ilimitado
- Cloudflare: gratuito na maioria dos serviços
- Gcore: egress de servidores é gratuito; CDN inclui 1 TB e depois €0,030/GB
- Scaleway: gratuito na maioria dos serviços, com limite de largura de banda conforme o tamanho da instância
- Há também provedores classificados como de baixo custo unitário
- Hetzner: 1 a 60 TB gratuitos por mês por instância; 1 TB excedente custa cerca de US$ 1,14 ou €1/TB
- Akamai Cloud: 1 a 20 TB gratuitos por mês por instância; 1 TB excedente custa US$ 5,00
- Oracle Cloud: 10 TB gratuitos por mês; 1 TB excedente custa US$ 8,50
- Backblaze, DigitalOcean, Vultr: 1 TB excedente custa US$ 10,00
- O custo de 1 TB excedente em grandes nuvens e plataformas é mais alto
- Azure: 100 GB gratuitos por mês; US$ 87,00 na rede Premium para North America
- AWS: 100 GB gratuitos por mês; US$ 90,00 para North America
- Google Cloud: varia conforme o serviço; US$ 120,00 na rede Premium
- Vercel: 100 GB a 1 TB gratuitos dependendo do plano; US$ 150,00 no Edge
- Firebase: 10 GB gratuitos por mês; US$ 200,00
- Render: 100 GB a 1 TB gratuitos dependendo do plano; cobra US$ 30 por 100 GB, chegando a US$ 300,00 por 1 TB
- Netlify: 100 GB a 1 TB gratuitos dependendo do plano; cobra US$ 55 por 100 GB, chegando a US$ 550,00 por 1 TB
- Os preços podem variar conforme a região e outras condições
- A comparação toma como base regiões próximas a North Virginia ou Frankfurt
- Como são estimativas com várias premissas, as informações mais recentes devem ser verificadas nas páginas de preços de cada provedor
Como reduzir custos de egress
- A maioria dos provedores de nuvem oferece uma certa quantidade de egress gratuito todos os meses
- Pode ser fornecida como uma franquia para toda a conta
- Dependendo do número de servidores, o tráfego mensal por servidor também pode ser agrupado em pool
- Dependendo do padrão de uso e da escolha do provedor, é possível evitar totalmente ou minimizar tarifas de egress
- Usar uma CDN permite armazenar em cache e servir ativos estáticos próximos aos usuários, reduzindo a quantidade de dados transferida diretamente do provedor de nuvem para o usuário
- Compressão é uma forma de reduzir o volume transferido ao diminuir o tamanho dos dados antes da transmissão
- Gzip e Brotli são algoritmos de compressão representativos
- Ao escolher uma nuvem que oferece pool de transferência de dados, é possível somar e usar as franquias de vários serviços dentro da mesma conta
- Configurar alertas de uso e cobrança permite receber notificações ao se aproximar da franquia gratuita ou de um limite específico
- Ao usar rede privada dentro do mesmo datacenter ou região, a transferência entre serviços pode ter egress gratuito
- Porém, tarifas de NAT gateway ou outros custos adicionais podem se aplicar, então é necessário verificar
1 comentários
Opiniões no Hacker News
Custos de tráfego de saída são um bom motivo para muitas organizações não migrarem totalmente para provedores de nuvem por enquanto
Diferentemente dos custos de armazenamento, não parece haver um motivo claro relacionado ao custo real, e parece estranho porque o único efeito aparente é tornar, em alguns casos, o custo de migrar para um concorrente difícil de bancar
Por exemplo, uma empresa em que trabalho atua entregando ativos criativos a distribuidoras, envia cerca de 180 TB por mês e, em média, fica em torno de 500 Mb/s
Essa empresa opera 2 racks em data centers comerciais, conectados por Ethernet-over-DWDM de 10 Gb/s, e cada data center tem uplinks de internet de 2x512 Mb/s e 1x1 Gb/s
Cada rack tem 2 servidores OEM de uso geral com cerca de 64 núcleos AMD Zen, 1/2 TB de RAM, cerca de 8 TB de NVMe e cerca de 100 TB de armazenamento SAS RAID6
Só a economia no custo de saída da AWS já justifica essa configuração, mesmo incluindo o custo de um engenheiro de manutenção. O esforço operacional real também se mostra mínimo
Então fico me perguntando se os provedores de nuvem estão deixando um grande mercado passar, ou se a margem que cobram dos clientes atuais já é lucrativa o suficiente
Imagine que você usa AWS e quer usar um SaaS que movimenta volumes médios ou grandes de dados; surgem opções como https://www.snowflake.com/en/data-cloud/pricing-options/
Surpreendentemente, dá para escolher entre AWS, Azure e GCP. A Snowflake paga caro para se hospedar sobre essas nuvens e repassa esse custo aos clientes
A Snowflake é grande, tem muitos engenheiros e já oferece suporte às três nuvens, portanto é claramente neutra em relação a nuvem. Operar instalações físicas próprias seria muito mais barato, poderia até ter desempenho melhor graças ao NVMe e ainda permitiria dividir a economia com os clientes
Mesmo assim, acho que ela não faz isso porque o custo de saída do cliente para a Snowflake anularia a economia, e a variabilidade dos custos assustaria os clientes
No fim, a própria forma como os clientes tentam evitar custos de saída rende muito dinheiro às grandes nuvens. Reguladores deveriam analisar isso com muito cuidado, mas, do ponto de vista da nuvem, é uma ótima decisão de negócio
Só que, no primeiro mês, veio uma fatura da AWS de US$ 25 mil apenas em tráfego de saída, e descobriram que os dados estavam saindo da AWS três vezes
É como contratar um link de internet, e a AWS opera Direct Connect em muitos data centers carrier-neutral de terceiros
A saída da AWS via Direct Connect custa US$ 0,02/GB, em vez de US$ 0,09/GB pela internet pública
Você pode atender clientes com um link de internet sem cobrança e, no backend, acessar serviços como S3 via Direct Connect
ISPs de consumidores às vezes fazem o possível para não fazer peering com exchanges de internet abertas, e a coisa fica muito mais complexa quando você vai para regiões onde a banda é mais cara, como a Oceania
Há um motivo para o gráfico que o time comercial da Cloudflare gosta de mostrar para explicar valor ser o Argo Smart Routing, e é também por isso que custa cerca de US$ 100 por TB em AWS ou GCP
O problema é que surgiram várias gerações de engenheiros de software que não sabem como o preço de banda é definido
Eles só usaram provedores gerenciados que cobram alguns centavos por GB em unidades de entrada/saída
O texto diz que “provedores de nuvem cobram pela saída porque enviar dados para fora da rede custa dinheiro. Eles precisam pagar pela infraestrutura e pela banda necessárias para enviar dados aos usuários”, mas, no caso dos grandes provedores, os preços não são baseados em custo
Eles cobram valores absurdos porque querem manter clientes e dados presos às suas plataformas. Mover dados é um ato de saída; por isso, usam custos altos para desencorajar esse comportamento
Existe a Bandwidth Alliance, e muitas empresas de nuvem estão na lista: https://www.cloudflare.com/en-gb/bandwidth-alliance/
A resposta real é muito mais complexa. Por exemplo, o Google Cloud oferece dois níveis de banda: Premium e Standard
O cálculo do artigo original parece assumir o Premium, que é a opção padrão e, naturalmente, muito mais cara
A banda “Premium” do Google Cloud é muito parecida com o AWS Global Accelerator no sentido de usar a própria rede backbone do Google pelo maior tempo possível e só sair no ponto de peering mais próximo entre o ISP do usuário final e o Google
O AWS Global Accelerator também tem outras opções, então fundamentalmente é um produto diferente, mas suas características de roteamento são mais parecidas com a banda Premium do GCP do que qualquer outro produto da AWS
Porque os clientes não querem pagar custos de saída
Se você estava pagando muito dinheiro a algum provedor de nuvem e descobriu que sua aplicação roda melhor e mais barato em uma empresa antiga de hospedagem web comum, é melhor deixar o dinheiro e os dados em um webhost independente
Pelo menos na Europa, há uma tendência de pequenos webhosts serem consolidados em grandes grupos, provavelmente sob a orientação de private equity. Eles imediatamente aumentam os preços em centenas por cento
Nos últimos 3–4 anos, passei por isso algumas vezes com vários webhosts na Holanda e, muito recentemente, a fatura mensal de um deles subiu de cerca de 3 euros para cerca de 18 euros
Sempre que leio sobre “custos de saída”, normalmente acabo rindo. Meus dados são meus dados; não entendo por que devo pagar para tirá-los do meu disco rígido
Mas nuvens carregadas também começam a aparecer para o meu caso de uso. Já não é difícil acreditar que os webhosts serão consolidados um após o outro, imitarão a AWS aumentando muito os preços e, no fim, acabarão criando até custos de saída
Depois de serem adquiridos, enviaram um e-mail com uma frase melosa do tipo “vamos fazer upgrade do seu plano para adequá-lo à nova estrutura de preços” e, em cerca de 2 anos, passei a ter que pagar 450 euros por ano
Um aumento de 9 vezes em poucos anos foi uma das manobras mais inescrupulosas no estilo private equity que vi na Holanda, e concordo com a previsão de que é só questão de tempo até adicionarem custos de saída absurdos
Você vai descobrir que largura de banda de rede é um recurso finito, pelo qual é preciso pagar e que precisa ser alocado entre os clientes
A forma mais fácil de tornar finito e alocar algo que os clientes, por engano, esperam que seja infinito é cobrar por ele, e cobrar exatamente o preço capaz de limitar a demanda
Há uma pegadinha à qual prestar atenção. Mesmo que um provedor de nuvem ofereça saída barata, ele pode limitar a velocidade de rede da instância e tornar caras cargas de trabalho com muita saída
Vários fornecedores fazem você aumentar a instância inteira quando qualquer um dos componentes fica saturado. Por exemplo, mesmo que você não precise de mais CPU, para aumentar a vazão de rede precisa passar de uma instância de 2 CPUs para uma de 4 CPUs
Na superfície, a saída é barata e a instância também parece ter bom preço em relação ao hardware, mas, se a carga de trabalho não precisar de uma instância equilibrada — por exemplo, 1 CPU / 1 GB de RAM / outras proporções —, o preço pode ficar estranho
A Oracle Cloud cobra apenas uma fração do que Google, Microsoft e Amazon cobram
Fico curioso sobre como a Oracle consegue manter os custos tão baixos. Ou será que as outras empresas inflacionam os preços para impedir que os clientes migrem para concorrentes?
Se for o caso, a Oracle merece elogios por não aplicar essa prática de aprisionamento a fornecedor
É muito provável que a Oracle também tenha uma margem bem boa nos custos de saída
O motivo de os custos da AWS/GCP/Azure serem absurdos é que, para muitos clientes, isso não é um custo grande durante a operação, mas torna proibitivo mover os dados para fora
Para eles, é simplesmente um mecanismo de aprisionamento a fornecedor
A OVHCloud é gratuita: https://us.ovhcloud.com/public-cloud/faq/
Como empresa de dados, nos beneficiamos muito da Scaleway, Hetzner e OVH
Porém, a Scaleway não tem planos de adicionar infraestrutura nos EUA, e não sei se a Hetzner tem presença nos EUA
Não surpreende que ofereçam mais largura de banda pelo mesmo custo
A oferta ARM da Hetzner traz 2x vCPU, 4 GB de RAM, 40 GB de armazenamento e 20 TB de saída por 3,79 euros ao mês, então é um valor imbatível para sites pequenos e médios
Você deveria poder se proteger do chamado ataque de negação de carteira
Não sabia que era tão absurdamente caro. Posso colocar uma pasta de filmes de 1 TB em um site no meu Synology NAS conectado à internet Google Fiber e deixar um amigo baixar de graça
Mas, se eu hospedar o mesmo site no Google Cloud, eles cobram US$ 111,60? Não entendo como esse tipo de precificação é possível
E, em um datacenter de nuvem, há um 9 a mais de confiabilidade
Em geral, também é proibido operar aplicações comerciais
Embora o Google Fiber seja uma ótima rede, seus pontos de troca estão apenas em algumas dezenas de locais dentro dos EUA
Se você é cliente do Google Cloud, seu tráfego de saída percorre a rede do Google até a borda no mundo todo, usando centenas de pontos de interconexão e pontos de troca
Provavelmente o tráfego permanece em uma rede privada até chegar a poucos quilômetros do usuário final
Isso é mais próximo de comparar maçãs com diamantes
Fico curioso se o cálculo do lado do Google Cloud considera a opção de rede premium ou a rede padrão
As duas são muito diferentes. A rede padrão é mais próxima do tráfego de saída da AWS, enquanto a opção premium do GCP é o padrão e usa PoPs locais e fibra apagada no backbone do Google para se conectar até a origem
No caso do Google Cloud, também é preciso lembrar que, se você quiser sair, pode de fato migrar sem custos de tráfego de saída: https://cloud.google.com/blog/products/networking/eliminatin...
Isso não altera os custos normais de tráfego de saída, mas provavelmente é uma solução provisória para evitar acusações de práticas anticompetitivas