WarcDB - Dados de rastreamento da web como banco de dados SQLite

• Um formato de arquivo baseado em SQLite que facilita consultar com SQL os dados coletados por rastreamento da web
• É possível importar arquivos padrão Web ARChive (.warc), usados por wget e WebRecorder, entre outros, para .warcdb
• Usa o comando sqlite-utils diretamente

wget --warc-file tselai "https://tselai.com";  
warcdb import archive.warcdb tselai.warc.gz  
  
// Buscar todos os cabeçalhos de resposta  
sqlite3 archive.warcdb <<SQL  
select  json_extract(h.value, '$.header') as header,   
        json_extract(h.value, '$.value') as value  
from response,  
     json_each(http_headers) h  
SQL