Tecnologia de Erasure Coding para sistemas distribuídos

[GN⁺]

Comentários do Hacker News

• Surpresa por não terem mencionado rateless fountain codes

  • Luby Transform Code é interessante
  • LT codes são usados na codificação RaptorQ da RFC6330

• Existe um algoritmo de network coding proposto no passado

  • É possível receber arquivos mais rapidamente por vários caminhos

• Erasure coding é uma tecnologia antiga

  • É preciso lembrar dos arquivos PAR2 da Usenet

• Se você tem interesse em erasure coding, vale considerar casos multidimensionais

  • É preciso pensar na codificação ao longo de vários domínios de falha, não só spindles, mas também racks, salas, data centers e regiões

• Curiosidade se alguém já usou Wirehair em um projeto

  • Wirehair tem desempenho de algoritmo e API ideais
  • Porém, Wirehair é uma implementação de uma ideia, não uma especificação
  • Há preocupação sobre se isso pode ser convertido em uma especificação estável e confiável

• É a tecnologia central do pool de Erasure Code do Ceph

  • Os parâmetros de codificação (k, m) não podem ser atualizados depois
  • Por causa dessa falta de flexibilidade, as réplicas ainda são a principal escolha para armazenamento de dados com alta disponibilidade e tolerância a falhas

• Curiosidade se um produto gerado durante um evento M of N é codificado de forma diferente de quando todos os N estão disponíveis

  • Pode ser necessário um bit flag indicando "requer reencodificação quando N for restaurado"

• Lembra o Information Dispersal Algorithm de Rabin

  • Fornecido link para um artigo relacionado

• Curiosidade se isso só é prático para trabalhos somente leitura ou com foco em leitura

• É uma das estratégias de replicação que o Ceph usa para armazenamento distribuído de blobs