Garage - armazenamento de objetos distribuído open source compatível com S3

• Serviço de armazenamento de objetos distribuído compatível com Amazon S3, projetado para self-hosting de pequeno e médio porte
• Projetado para clusters de armazenamento compostos por nós executados em diferentes localizações físicas
  • Leve, com suporte a múltiplos sites
  • Alta resiliência: robusto contra falhas de rede, latência de rede, falhas de disco e erros de administradores de sistema
• Fornece binário sem dependências que roda em todas as distribuições Linux
• Implantação rápida, operação segura: amigável para administradores de sistema
• Recursos suportados
  • Compatível com a API S3 (não totalmente)
  • Geo-distribution: armazena cópias dos dados em vários locais para resposta a falhas
  • Implantação simples. Sem dependências externas
  • Topologia flexível: é possível adicionar/remover nós facilmente, com rebalanceamento automático
  • Suporte a vários modos de replicação: 1,2,3,5,7,,,
  • Deduplicação e compressão opcional (Zstd)
  • Sem RAFT, que reduz a velocidade
  • Servidor web para hospedagem de sites estáticos
  • Buckets podem ter vários aliases
  • API de gerenciamento de cluster
  • Fornece métricas no formato de dados do Prometheus
  • Integração com Kubernetes e Nomad
  • Suporte a mudança de IP
  • API K2V (experimental): API de armazenamento Key/Value

[sftblw]

O site oficial é https://garagehq.deuxfleurs.fr/.

[xguru]

Opiniões no Hacker News

• Usei Minio por 2 anos antes de migrar para o Garage

  • O Minio tem dificuldade para lidar com arquivos pequenos
  • SSDs resolvem parcialmente o problema, mas HDDs não
  • Mesmo no modo síncrono, o Minio sofre queda de desempenho
  • Depois da migração para o Garage, tive uma melhora de desempenho de 20 a 30 vezes

• Há necessidade de um armazenamento de blobs com endereçamento por conteúdo

  • Armazenar blobs imutáveis por hash pode reduzir a complexidade e o overhead de desempenho
  • Combinado com soft delete, todas as operações se tornam idempotentes, e os blobs podem ser facilmente colocados em cache
  • Existem soluções de grande escala como IPFS, mas é preciso um substituto do S3 para implantação local

• Usei o Garage por muito tempo, mas o protocolo AWS sigv4 é inconveniente

  • Quero enviar a chave de API no header
  • Quero transferir arquivos sem usar o AWS SDK
  • Não me interesso pelas vantagens de segurança do AWS sigv4
  • Gostaria que considerassem outros métodos de autenticação

• SeaweedFS também é excelente

  • Link do GitHub do SeaweedFS

• Valorizo muito o baixo uso de memória do Garage

  • É necessário um recurso para fazer backup automático de alguns buckets para o AWS S3

• O Garage oferece suporte à replicação de armazenamento em pares

  • Se houver um disco de 10 GB e outro de 1 TB, ele só oferece espelhamento semelhante a RAID1
  • A capacidade de armazenamento fica limitada a 10 GB

• Apache Ozone é uma alternativa de armazenamento de objetos executada sobre o Hadoop

  • Link do Apache Ozone

• Há necessidade de uma solução simples com compatibilidade S3 em ambiente local

  • Gostaria de saber se há alguma recomendação para trabalho de desenvolvimento e testes