Quais opções de armazenamento são melhores para uma startup que armazena mais de 10 PB de dados?
(news.ycombinator.com)Pergunta publicada no HN com várias respostas. Atualmente está armazenando no S3 e crescendo aos poucos
- Em termos de custo de hardware, hospedar por conta própria é obviamente mais barato: HP Apollo ou RackMountPro etc.
→ Mas existem custos ocultos: contratar engenheiro de armazenamento, custo de espaço além do equipamento, recuperação de desastres, substituição de hardware, CAPEX/OPEX etc.
→ A configuração e a gestão do sistema de arquivos também são um problema: Ceph, MinIO, ZFS
-
Outros serviços dedicados de armazenamento em nuvem, como Backblaze B2 / Wasabi / Scaleway
-
S3 on-prem como Cloudian / Scality / NetApp Storagegrid
-
AWS Direct Connect
-
Nessa escala, negociar com AWS/Azure/GCP para reduzir o preço
-
Subreddit onde se reúnem pessoas que armazenam grandes volumes de dados: https://www.reddit.com/r/DataHoarder/
3 comentários
É difícil até imaginar uma startup com mais de 10 PB. Acho que isso deve ser algo comum nesse meio, né?
Esses caras são uma empresa de serviço pago de armazenamento pessoal de fotos/vídeos chamada KeepSafe.
Ela é relativamente conhecida por oferecer armazenamento seguro com tecnologia de criptografia.
MinIO - armazenamento de objetos open source de alto desempenho baseado em K8S https://pt.news.hada.io/topic?id=4211
Backblaze B2, API compatível com S3 disponível publicamente https://pt.news.hada.io/topic?id=2020