- Framework unificado para coletar dados de várias fontes, transformar dados usando SQL e Python e adicionar verificações de qualidade de dados para construir um fluxo de ponta a ponta
- Semelhante a implementar dbt + Airbyte + Great Expectations em uma única solução
- Composto por uma CLI escrita em Go e uma extensão para VS Code integrada a ela. É possível criar, gerenciar e implantar pipelines dentro do VS Code
- Coleta de dados com ingestr
- ingestr é uma CLI open source separada, escrita em Python, que facilita a cópia entre fontes de dados
- Suporte: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
- Transformação de dados com SQL e Python (semelhante ao dbt)
- Gerenciamento do ambiente Python com
uv. Execução isolada
- Verificações de qualidade de dados integradas
- Suporte a templates Jinja
- Suporte a dry-run para validar o pipeline do início ao fim
- Pode ser executado em máquina local, instâncias EC2 e GitHub Actions
- Injeção de secrets usando variáveis de ambiente
- Suporte a várias estratégias de materialização de tabelas/views, incluindo tabelas incrementais
Ainda não há comentários.