warc-parquet - CLI para converter WARC em Parquet

 (github.com/maxcountryman)
8 pontos por xguru 2022-06-30 | 1 comentários | Compartilhar no WhatsApp
  • Converte arquivos Web ARChive (.warc) para o formato Apache Parquet baseado em colunas
  • É possível carregar o Parquet no DuckDB e fazer consultas com facilidade
  • Open source em Rust

Leituras relacionadas

1 comentários

 
xguru 2022-06-30

DuckDB - Open source de banco de dados OLAP embarcado

Parece semelhante ao WarcDB - Dados de rastreamento da web como banco de dados SQLite, que foi publicado há pouco tempo.
No entanto, em lugares que já têm uma infraestrutura usando Parquet, parece ser mais fácil de usar