Manual de Engenharia de Dados

• Repositório que reúne todos os materiais para se tornar um engenheiro de dados
  • Coleção de projetos/entrevistas/livros/comunidades/newsletters
• Se estiver começando, comece lendo o Roadmap de entrada em Engenharia de Dados 2024
• 3 livros obrigatórios e 25 obras principais
  • Engenharia de Dados Robusta
  • Projeto de Aplicações Orientadas a Dados
  • Projeto de Sistemas de Machine Learning
• 5 comunidades obrigatórias e cerca de outras 10 comunidades importantes
  • [DE] DataExpert.io Community Discord
  • [DE] Data Talks Club Slack
  • [DE] Data Engineer Things Community
  • [ML] AdalFlow Discord
  • [ML] Chip Huyen MLOps Discord
• Empresas e blogs de tecnologia relacionados à engenharia de dados
  • Empresas organizadas por categoria: Orchestration, Data Lake/Cloud, Warehouse, Data Quality, educação, Analytics/Visualization, Data Integration, Modern OLAP, aplicações com LLM, dados em tempo real
  • Blogs: Netflix , Uber , Databricks , Airbnb , Amazon AWS Blog , Microsoft Data Architecture Blogs , Microsoft Fabric Blog , Oracle , Meta , Onehouse
• White papers de engenharia de dados
  • A Five-Layered Business Intelligence Architecture
  • Lakehouse:A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
  • Big Data Quality: A Data Quality Profiling Model
  • The Data Lakehouse: Data Warehousing and More
  • Spark: Cluster Computing with Working Sets
  • The Google File System
  • Building a Universal Data Lakehouse
  • XTable in Action: Seamless Interoperability in Data Lakes
  • MapReduce: Simplified Data Processing on Large Clusters
• Principais contas sociais e podcasts
• 4 newsletters obrigatórias e mais de outras 20 newsletters
  • DataEngineer.io Newsletter
  • Joe Reis
  • Start Data Engineering
  • Data Engineering Weekly
• Diversos cursos educacionais