The 2020 Data & AI Landscape

O VC da FirstMark, Matt Turck, resumiu em uma única imagem o panorama e a explicação do setor de dados e inteligência artificial em 2020

• Principais tendências de infraestrutura de dados

→ A stack de dados moderna se torna mainstream: Snowflake, BigQuery, RedShift, DBT, Fivetran, Stitch, Looker..

→ ETL vs ELT

→ Automação da engenharia de dados

→ Ascensão dos analistas de dados

→ Integração entre data lakes e data warehouses? = Data Lakehouse ou Unified Analytics Warehouse

→ A complexidade continua:

⇨ Aumento da demanda por tecnologias de streaming em tempo real

⇨ Motores de orquestração: começando com Airflow e Luigi, até motores de nova geração como Prefect, Dagster, Kedro, Metaflow etc.

⇨ Data Lineage & DataOps: LinkedIn (Datahub), WeWork (Marquez), Lyft (Admunsen), Uber (Databook)

• Principais tendências de Analytics & Enterprise AI

→ Boom das plataformas de ciência de dados e machine learning (DSML)

→ ML é realmente implantado e embutido

⇨ MLOps

⇨ AI Governance, AI fairness

⇨ Decision Science (optimization, simulation)

→ O ano do NLP: GPT-3, BERT, ELECTRA

• Principais investimentos, exits e IPOs

→ IPO: Snowflake, Palantir, Datadog, Sumo Logic, Dynatrace, Cloudflare

→ M&A: ARM (NVIDIA), SignalFX (Splunk), Habana Labs (Intel), Fitbit (Google), Moovit (Intel)

→ Aquisições menores, mas interessantes: MapR (HPE), HortonWorks (Cloudera), Arcadia Data (Cloudera), Redash (Databricks)..