Por que o Fastmail usa hardware próprio

• As discussões sobre cloud repatriation, ou seja, o retorno da nuvem para hardware próprio, estão aumentando
• O Fastmail otimiza as operações usando seus próprios servidores bare metal há mais de 20 anos
• Usar hardware próprio torna possível otimizar custos em relação à nuvem:
  • Comprando hardware com base em uma compreensão precisa dos padrões de uso e planejando em longo prazo
  • 25 anos de experiência acumulada na instalação e operação de hardware e rede
  • Amortizando custos ao aproveitar o hardware por 5 a 10 anos

Evolução de hardware

• Os servidores IMAP iniciais usavam RAID com unidades SAS de 15k RPM e unidades SATA de 7.2k RPM
• Os dados de e-mail eram armazenados primeiro em discos SAS de alta rotação e depois movidos para discos SATA em horários de menor carga do servidor
• Esse sistema era suportado pelo Cyrus IMAP e por ferramentas de partição separadas

Migração para NVMe SSD

• Há alguns anos, uma grande atualização foi feita para uma plataforma de 2U baseada em AMD com NVMe SSD
  • O desempenho e a densidade de armazenamento melhoraram muito
• O sistema de arquivos ZFS foi adotado por causa da limitação de controladores RAID
• O ZFS oferece excelente desempenho de I/O com o modelo copy-on-write

Compressão e otimização do ZFS

• O uso de compressão Zstandard reduziu o espaço de dados de e-mail em cerca de 40%
• Ajustar o tamanho de registro do ZFS também melhorou a eficiência da compressão:
  • Cerca de 40% de redução com tamanho de registro padrão de 128k
  • 42% de redução ao ajustar para 512k

Criptografia e integração com ZFS

• A criptografia nativa do ZFS, substituindo a antiga criptografia LUKS, reduziu a complexidade do sistema
• Em três anos, o ZFS foi implantado em todos os servidores de e-mail, bancos de dados, logs e servidores de backup

Vida útil e confiabilidade do SSD

• Validação de vida útil e confiabilidade do SSD:
  • SSDs para data center registraram taxa de falha muito baixa durante 3 anos
  • Mais de 10 vezes mais confiável que HDD

Comparação de custo de armazenamento

Armazenamento em nuvem

• Amazon S3: US$252,000 por ano
• Backblaze B2: US$72,000 por ano
• Vantagens: armazenamento ilimitado, múltiplas escolhas de provedores
• Desvantagens: complexidade de implementação, potencial de aumento contínuo de custos

Atualização de HDD

• Atualização de HDD de 24TB: cerca de US$6,000 por servidor
• Vantagens: reutilização de hardware existente, baixo custo
• Desvantagens: maior tempo de recuperação de dados, falta de desempenho de I/O

Servidor SSD NVMe

• Servidor SSD 2U: US$190,000 (capacidade de armazenamento de 1220TB)
• Vantagens: alto desempenho de I/O, confiabilidade, economia de espaço e energia
• Desvantagens: custo inicial elevado

Escolha final e resultado

• Mudança para servidores ZFS com base em NVMe SSD:
  • Alto desempenho e confiabilidade alcançados
  • Compatível com o sistema existente, sem necessidade de desenvolvimento novo
  • Taxa de transferência de dados: acima de 5 GB/s

Conclusão

• Operar com hardware próprio não é ideal para todos, mas pode resultar em redução de custos e maior controle de longo prazo
• O Fastmail consegue unir estabilidade e eficiência de custos por meio de seu hardware próprio

[colossus]

Também estou curioso para saber se a disponibilidade por unidade de AZ é garantida.

[spp00]

Falando com franqueza, uma empresa que não opera em nuvem e ainda funciona assim costuma ser um de dois tipos. Um é que ela realmente funciona bem porque o nível da equipe é bom; o outro é que o nível da equipe é ruim, com sistema com baixa disponibilidade e segurança fraca, e mesmo assim se acha que está funcionando bem. Na Coreia, o segundo caso é esmagadoramente mais comum. Fora de carreiras técnicas especializadas, como o ambiente coreano costuma menosprezar pessoas, no caso de países como a Coreia faz mais sentido confiar isso a uma CSP estrangeira com bons talentos. Ou então investir de verdade em pessoas...

Falando sinceramente, se o número de acessos é estável, não usar nuvem pode até sair mais barato, mas, para ter alta disponibilidade e segurança e operar tudo corretamente, a empresa precisa de talentos capazes de gerenciar servidores físicos. Se essa pessoa não existe? Então o certo é usar nuvem, e uma startup sem capacidade de contratar esse tipo de talento não está usando nuvem à toa.

A própria 37signals, que não usa nuvem, também estabelece um piso salarial alto e valoriza talentos, com esse piso em US$ 70 mil, e com a valorização do dólar isso passa de 100 milhões de won. No mercado de TI coreano, é comum que os profissionais recebam abaixo do piso da 37signals. Lá, o investimento em pessoal para valorizar talentos deve ser imenso, e mesmo tendo bons profissionais capazes de operar on-premises, como o dinheiro estava indo demais para a nuvem, eles voltaram para bare-metal. E também criaram coisas como o Kamal. Mas empresas coreanas teriam capacidade de criar algo como o Kamal? Se você não quer investir em pessoas, acho que faz mais sentido usar uma CSP como a AWS. O fato de que on-prem não é necessariamente mais seguro foi provado no caso do hack da Kadokawa.

[GN⁺]

Opinião do Hacker News

• A FastMail usa hardware próprio porque, quando foi fundada em 1999, havia poucas opções. Eles usavam um único servidor da Rackspace e o custo era de US$ 70 por mês. Não havia alternativas práticas de VPS ou SaaS.

  • Depois que Rob se juntou, com o crescimento dos servidores eles passaram a considerar colocation. IBM e NYI fizeram um bom trabalho com suporte remoto e problemas de hardware.
  • Bron se juntou e automatizou tudo. Operaram de forma barata e confiável com Linux, ferramentas de código aberto e Perl.
  • Mesmo quando serviços em nuvem como a AWS ficaram populares, eles ainda preferiam bare-metal por causa de preço e complexidade.
  • Há preocupação com a dependência crescente de SaaS, mas eles estão planejando um curso de formação.

• A mudança para a nuvem é interessante. A maioria das pessoas não se importa em gerenciar hardware, mas, em termos de custo, o sistema próprio é melhor.

  • Defesas da nuvem servem para convencer pessoas que não entendem bem de tecnologia.
  • Apoiar a nuvem é por custo, privacidade, segurança e evitar a centralização da internet.
  • Respeito a abordagem da FastMail por não ser emocional. Parece que o entusiasmo pela nuvem está diminuindo.

• A nuvem está relacionada ao shift-left no DevOps. O objetivo não é reduzir custos.

  • No hardware, o provisionamento de sistemas leva muito tempo, mas na nuvem pode ser feito com um script simples.
  • Com carga de trabalho previsível e uma cultura de engenharia competente, talvez não precise de nuvem.

• Não confio na FastMail. Depois de adquirir a Pobox, o serviço falhou no encaminhamento de e-mails. Também negaram o reembolso.

• Apresenta o BareMetalSavings.com para estimar o custo de sair da nuvem.

  • Vale ficar atento, pois a criptografia do ZFS pode ser instável.

• A abordagem da FastMail é interessante. Menciona dois pontos curiosos sobre SSD.

  • As unidades SSD são bem mais confiáveis que HDDs.

• Gosto da transparência e das decisões lógicas da FastMail. Vale a pena pagar pelo serviço de e-mail.

• Há quem defenda que auto-hospedagem é melhor do que nuvem. Ainda assim, falta discussão sobre como operar aplicações de negócios de forma eficaz.

  • Há várias funcionalidades necessárias para gerenciar infraestrutura. Usar SaaS pode anular o propósito de ter infraestrutura on-premises.

• Uma vantagem de usar nuvem é a confiabilidade em pequena escala.

  • Eles usam AWS. Em escala pequena, a nuvem parece ser a melhor escolha.

• A FastMail era um dos melhores provedores de e-mail. A interface era intuitiva e rápida.

  • Eles migraram para o ProtonMail, mas estão considerando voltar por causa da boa experiência de uso da FastMail.