Uma nova arquitetura para a infraestrutura de dados moderna

 (future.a16z.com)
14 pontos por xguru 2020-10-19 | 4 comentários | Compartilhar no WhatsApp

  • Informações e explicações de termos sobre infraestrutura de dados moderna, organizadas a partir de entrevistas com profissionais de dados

  • Um PDF de 6 páginas realmente excelente para entender o campo de dados como um todo

  1. Visão conceitual de uma infraestrutura de dados unificada em uma página

  2. Sources: geram dados de negócio e operacionais

→ OLTP DB via *CDC

→ Applications/ERP (Oracle, Salesforce, Netsuite): todos os dados gerados no negócio

→ Coletor de eventos (Segment, Snowplow): coleta todos os eventos dos usuários do serviço

→ Logs: logs de servidores web e de vários outros servidores

→ API de terceiros (Stripe etc.): dados gerados em pagamentos e outras APIs usadas

→ Arquivos e object storage

  1. Ingestion and Transformation: hoje em dia, ETL virou ELT, Extract / Load / Transform

Extrair dados dos sistemas operacionais (E) / mover para o repositório (L) / transformar os dados para análise (T)

→ Connector (Fivetran, Stitch, Matillion): ferramenta para mover dados de várias fontes para o DW

→ Data Modeling (dbt, LookML): modelagem e transformação de dados

→ Workflow Manager (Airflow, Dagster, Prefect): orquestrador / agendador para automação do fluxo de dados

→ Spark Platform (Databricks, Amazon EMR): plataforma de clusterização de alto desempenho para processamento distribuído

→ Python Libs: bibliotecas para análise de dados - Pandas, interface com AWS - Boto, Dask para processamento paralelo em larga escala, Ray para processamento distribuído..

→ Batch Query Engine (Hive): consultas de big data

→ Event Streaming (Confluent/Kafka, Pulsar, AWS Kinesis): plataforma de mensageria/streaming em tempo real

→ Stream Processing (Databricks/Spark, Confluent/Kafka, Flink): coleta/processamento e análise de dados em streaming

  1. Storage: armazena dados em um formato consultável e processável. Otimizado para baixo custo, escalabilidade e trabalho analítico.

→ Data Warehouse (Snowflake, BigQuery, Redshift): repositório integrado de dados que reúne informações analisáveis

→ Data Lake: diferente de um DW, armazena dados brutos estruturados/não estruturados sem refinamento

Databricks/Delta Lake (data lake que possibilita transações ACID em Spark e S3/HDFS etc.),

Apache Iceberg (formato de tabela de escala massiva para armazenar petabytes, desenvolvido pela Netflix),

Apache Hudi (data lake eficiente, desenvolvido pela Uber), Hive Acid

→ Apache Parquet - formato de armazenamento colunar

Apache ORC - Optimized Row Columnar, grava por coluna e também registra índices

Apache Avro - grava por linha, adequado para escrita, adequado para evolução de esquema

→ AWS S3 (Simple Storage Service), GCS (Google Cloud Storage), ABS (Azure Blob Storage), HDFS (Hadoop Distributed File System)

4&5. Historical & Predictive: fornece interfaces (consultas) para analistas e cientistas de dados extraírem insights

Historical: explica o que aconteceu no passado. Inclui o muito recente (quase em tempo real)

Predictive: previsão do futuro, aplicações baseadas em dados/ML

→ Data Science Platform (Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)

→ Data Science and ML Libraries ((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )

→ Ad Hoc Query Engine (Presto, Dremio/Drill, Impala)

→ Real-time Analytics: Imply/Druid - análise em tempo real, Altinity/Clickhouse - OLAP, Rockset - engine comercial de análise em tempo real (baseada no RocksDB, um DB embarcado de KV de alto desempenho)

  1. Output: ferramentas que mostram os resultados da análise de dados interna/externamente. Incorporam os modelos de dados criados em sistemas operacionais e aplicações

→ Dashboards: Looker, Apache Superset, Mode, Tableau - ferramentas de Business Intelligence

→ Embedded Analytics: Sisense, Looker, cube.js - incorporam ferramentas de BI em sistemas internos. Baseadas em API. Permitem criar apps internos de análise

→ Augmented Analytics: Thoughtspot, Outlier, Anodot, Sisu - ferramentas que analisam automaticamente usando AI

→ App Frameworks: Plotly Dash, Streamlit - frameworks que permitem criar apps de ML

  1. Outros

→ Metadata Management (Collibra, Alation, Hive Metastore, DataHub, ...)

→ Quality and Testing (Great Expectations)

→ Entitlements and Security (Privacera, Immuta)

→ Observability (Unravel, Accel Data, Fiddler)

  1. Blueprint de três áreas principais

→ BI moderno

→ Processamento de dados multimodal

→ Área de AI e ML

  • Change Data Capture: copia em tempo real os dados alterados de OLTP para vários outros repositórios (DB, DW)

Leituras relacionadas

4 comentários

 
xguru 2020-12-08

Gravei vídeos no YouTube explicando, um por um, cada serviço e projeto open source apresentados aqui.

Como estão divididos em episódios de cerca de 10 minutos cada, consulte-os se quiser entender o conteúdo acima com mais detalhes.

Entendendo a infraestrutura de dados moderna by GeekNews
 
inthelife 2020-10-21

O link da tradução estava errado rs; por favor, consulte o link abaixo ^^;

https://drive.google.com/file/d/…
 
xguru 2020-10-21

Uau, obrigado. Eu também gosto muito deste material, então estou tentando fazer um material explicativo separado (vídeo) sobre o diagrama principal.
 
inthelife 2020-10-21

https://drive.google.com/file/d/…

O conteúdo parece bom, então fiz uma tradução resumida do texto original ^^