Meta (ex-Facebook) abre o código do 'OpenZL', sua solução interna de compressão de alto desempenho para IA

A Meta (ex-Facebook) abriu o código do framework de compressão de dados de alto desempenho OpenZL, usado internamente pela empresa. Otimizado especialmente para processar grandes volumes de conjuntos de dados especializados, como em cargas de trabalho de IA e machine learning, o OpenZL oferece ao mesmo tempo alta taxa de compressão e grande velocidade, superando as limitações das soluções de compressão genéricas existentes.

Características e recursos

A principal característica do OpenZL é sua abordagem de compressão Format-Aware, que cria compressores personalizados otimizados para cada formato de dados. Ao analisar a estrutura dos dados para construir o algoritmo de compressão mais eficiente, ele alcança níveis de compressão impossíveis para compressores genéricos, mantendo a velocidade de processamento exigida por workloads de data center.

Além disso, todos os compressores especializados gerados são compatíveis com um único descompressor genérico, o que facilita a manutenção do sistema, e a solução também oferece o recurso de analisar visualmente o processo de compressão por meio da ferramenta Trace Visualizer.

Dados de desempenho (com base nos dados SAO do corpus de compressão Silesia)

Categoria	OpenZL	zstd -3	xz -9
Taxa de compressão	x2.06	x1.31	x1.64
Velocidade de compressão	203 MB/s	115 MB/s	3.1 MB/s
Velocidade de descompressão	822 MB/s	890 MB/s	30 MB/s

Espera-se que a decisão da Meta de abrir o código do OpenZL contribua para reduzir os custos de armazenamento e transmissão de dados e aumentar significativamente a eficiência operacional em IA e em diversos setores onde o processamento de grandes volumes de dados é essencial.

[xguru]

OpenZL: framework de compressão open source com reconhecimento de formato de arquivo
Consulte também a tradução feita por IA do texto de apresentação do Facebook

[t7vonn]

A Meta está liderando em compressão mesmo, hein haha o zstd também foi um grande avanço

[darjeeling]

Já estavam usando bem internamente... o fato de terem aberto isso... quer dizer que vem mais uma grande por aí.