A AWS trocou a compressão do S3 de gzip para zstd e reduziu o tamanho em cerca de 30%
(twitter.com/adrianco)- Em resposta à pergunta sobre o quanto o zstd, criado por Yann Collet, conseguiu eliminar coisas desnecessárias, Adrian Cockcroft respondeu:
- Na escala de exabytes do S3, 30% representa uma economia de custos gigantesca
- O Twitter também economizou centenas de milhões de wons por ano (~ mid 8 figs/yr) ao migrar do HDFS para zstd
4 comentários
A Uber também migrou de GZIP/SNAPPY para ZSTD.
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/
O zstd é impressionante mesmo!
Tem um material de comparação de desempenho de compressão no link, então estou compartilhando.
https://github.com/facebook/zstd
Usei o zstd pela primeira vez hoje.
No mac, ele já vinha embutido por padrão.
Para compactar:
zstd file=> file.zstPara descompactar:
unzstd file.zst=> file