Flat Data - Usando o GitHub como ferramenta e repositório de ETL de dados

• Projeto que ajuda a desenvolver facilmente apps leves baseados em dados usando a técnica de Git Scraping

→ Construir e usar Data ETL sem infraestrutura própria

• 3 componentes

→ Flat Action: GitHub Action que faz a coleta/transformação de dados

→ Flat Editor: GUI para editar o workflow do Flat Data (extensão do VS Code)

→ Flat Viewer: site para visualizar, filtrar e compartilhar Flatfiles salvos no repositório

Como usar o Flat Data

1. Buscar dados com o Flat Action via HTTP ou consulta SQL (MySQL, Postgres, SQLite, MongoDB etc.)

→ Trazer cotações de ações/cripto, Excel para CSV, dashboard de COVID etc. e salvar em um repositório do GitHub

2. Transformar os dados

→ Fazer pós-processamento com GitHub Actions e salvar em um novo arquivo

3. Visualizar os dados

→ Fornece uma ferramenta GUI que mostra os dados apenas adicionando flat a qualquer endereço do GitHub: https://flatgithub.com/the-pudding/data

Por que o Flat Data foi criado

• Para usar dados, normalmente são necessários sistemas distribuídos e uma grande infraestrutura

• Para ajudar desenvolvedores a acessar esses dados com facilidade, fazendo aquisição/limpeza de dados com GitHub Actions

• Salvar dados no repositório sem precisar conhecer dependências complexas, bibliotecas, gerenciadores de pacotes ou infraestrutura

• Este projeto é um experimento conduzido pela equipe de experiência de desenvolvedores do GitHub OCTO (Office of the CTO), não é um produto oficial do GitHub. Licença MIT

[xguru]

A técnica de Git Scraping criada por Simon Willison foi adotada pelo GitHub e transformada em um excelente produto

• Git Scraping - registrar alterações da web em um repositório Git https://pt.news.hada.io/topic?id=3008

Simon também é conhecido pela dica de armazenar o índice do TIL (Today I Learned) no índice do GitHub.

• Gerar automaticamente o índice README do TIL com GitHub Actions https://pt.news.hada.io/topic?id=1936