Git Scraping - Registrando alterações da web em um repositório Git

• Coletar e registrar com GitHub Actions dados de sites que mudam continuamente, acumulando tudo junto com o histórico de commits

• Exemplo de registro dos dados recentes de incêndios florestais da Califórnia, coletados do Departamento de Proteção Florestal e Prevenção de Incêndios da Califórnia

• Criar e executar um arquivo YML simples de workflow do GitHub Actions que busca dados JSON via XHR com curl e os separa com jq para registrá-los

• Configurar para fazer commit apenas quando houver mudanças no conteúdo e executar cerca de 3 vezes por hora com o agendamento Cron do GitHub

• O autor já havia aplicado isso anteriormente a informações sobre furacões e outros serviços públicos, e também já havia tornado públicos esses registros

[xguru]

Muitas vezes, os sites de órgãos governamentais no país não têm API nem dados estruturados.

Acho que esse tipo de abordagem também pode ser uma outra tentativa interessante.