- Funciona de forma rápida e eficiente usando FastCDC (Content Defined Chunking)
- Ferramenta usada no Google Stadia
- Normalmente, desenvolvedores de jogos desenvolvem no Windows e precisam executar em máquinas Linux
- Para cópia rápida nesse cenário, foram criadas as ferramentas open source
cdc_rsync e cdc_stream
- CDC RSync
- Semelhante ao
rsync tradicional, mas sincroniza cerca de 3 vezes mais rápido
- O algoritmo de diff remoto baseado em CDC pode ser até cerca de 30 vezes mais rápido
- Se o timestamp/tamanho do arquivo forem iguais, ele pula
- Usa compressão rápida em toda a transmissão de dados
- Se o arquivo tiver sido alterado, verifica quais partes mudaram e transfere apenas as partes alteradas
- CDC Stream
- Conceitualmente é semelhante ao
sshfs, mas otimizado para velocidade de leitura, com ganho de cerca de 2 a 5 vezes
- Faz cache dos dados transmitidos no dispositivo Linux
- Quando um arquivo é alterado no Windows e depois lido novamente no Linux, apenas as partes alteradas são transmitidas por streaming, e o restante é lido do cache
- Os metadados de diretório funcionam de uma forma amigável para streaming, então operações de
stat são muito rápidas
1 comentários
Uso bastante o
rsyncpara gerenciar arquivos de log, então fiquei interessado em saber que isso é ainda mais rápido.