Flat Data - Usando o GitHub como ferramenta e repositório de ETL de dados

<p>- Projeto que ajuda a desenvolver facilmente apps leves baseados em dados usando a técnica de Git Scraping<br /> → Construir e usar Data ETL sem infraestrutura própria<br /> - 3 componentes<br /> → Flat Action: GitHub Action que faz a coleta/transformação de dados<br /> → Flat Editor: GUI para editar o workflow do Flat Data (extensão do VS Code)<br /> → Flat Viewer: site para visualizar, filtrar e compartilhar Flatfiles salvos no repositório <br /> <br /> Como usar o Flat Data<br /> 1. Buscar dados com o Flat Action via HTTP ou consulta SQL (MySQL, Postgres, SQLite, MongoDB etc.) <br /> → Trazer cotações de ações/cripto, Excel para CSV, dashboard de COVID etc. e salvar em um repositório do GitHub<br /> 2. Transformar os dados <br /> → Fazer pós-processamento com GitHub Actions e salvar em um novo arquivo <br /> 3. Visualizar os dados <br /> → Fornece uma ferramenta GUI que mostra os dados apenas adicionando `flat` a qualquer endereço do GitHub: https://flatgithub.com/the-pudding/data<br /> <br /> Por que o Flat Data foi criado<br /> - Para usar dados, normalmente são necessários sistemas distribuídos e uma grande infraestrutura <br /> - Para ajudar desenvolvedores a acessar esses dados com facilidade, fazendo aquisição/limpeza de dados com GitHub Actions <br /> - Salvar dados no repositório sem precisar conhecer dependências complexas, bibliotecas, gerenciadores de pacotes ou infraestrutura <br /> <br /> * Este projeto é um experimento conduzido pela equipe de experiência de desenvolvedores do GitHub OCTO (Office of the CTO), não é um produto oficial do GitHub. Licença MIT </p>

[xguru]

<p>A técnica de Git Scraping criada por Simon Willison foi adotada pelo GitHub e transformada em um excelente produto<br /> - Git Scraping - registrar alterações da web em um repositório Git https://pt.news.hada.io/topic?id=3008<br /> <br /> Simon também é conhecido pela dica de armazenar o índice do TIL (Today I Learned) no índice do GitHub.<br /> - Gerar automaticamente o índice README do TIL com GitHub Actions https://pt.news.hada.io/topic?id=1936</p&gt;