- O sonho de substituir desenvolvedores de análise de dados vem se repetindo por 50 anos, do SQL à IA; as ferramentas mudaram, mas a necessidade de especialistas não desapareceu
- As ferramentas de cada época realmente aumentaram a produtividade, mas as tarefas centrais — entender o negócio e tomar decisões de modelagem — não foram automatizadas
- Self-service, camada semântica e engenharia analítica ampliaram o acesso, mas também criaram novas formas de funções especializadas
- As ferramentas baseadas em IA aumentaram muito a velocidade de geração de código, mas o processo mental de decidir o que construir continua sendo responsabilidade humana
- O gargalo do trabalho com dados não está na digitação nem nas ferramentas, mas no raciocínio e no julgamento — algo que não mudou em 50 anos
- Este texto foi organizado do ponto de vista de dados, inspirado em "O sonho de substituir desenvolvedores que se repete a cada 10 anos"
Padrão recorrente: por que o mesmo sonho sempre reaparece
- A cada 10 anos surge uma nova ferramenta prometendo simplificar a construção de plataformas de dados e reduzir a dependência de especialistas
- As áreas de negócio se frustram com a lentidão na entrega de dados, e as equipes de dados continuam sobrecarregadas por uma estrutura de solicitações sem fim
- O motivo de esse ciclo se repetir por 50 anos está na natureza essencial do trabalho de análise de dados
1974: o nascimento do SQL e do ‘banco de dados que fala inglês’
- O SQL foi projetado para que pessoas não desenvolvedoras também pudessem consultar dados, mas na prática ainda exigia entender joins complexos e agregações
- O ideal de usuários de negócio consultando dados diretamente não se concretizou, e surgiu uma nova função especializada
- O acesso aos dados ficou mais fácil, mas a especialização continuou necessária
Anos 1980: a promessa do OLAP e das linguagens de quarta geração
- Ganhou força a abordagem de que, se a estrutura dos dados fosse alinhada ao modo de pensar do negócio, os próprios usuários poderiam fazer análises
- Servidores MOLAP trouxeram ganhos reais de produtividade para áreas financeiras e de planejamento
- Ainda assim, design dimensional, otimização de performance e trabalho de integração continuaram exigindo conhecimento especializado
- As ferramentas mudaram, mas o papel dos especialistas apenas mudou de forma
Anos 1990: data warehouse e modelagem dimensional
- A modelagem dimensional foi uma tentativa de esconder a complexidade na camada de ETL e simplificar a análise para o usuário
- Apesar dos grandes investimentos, muitos projetos atrasaram ou fracassaram
- O trabalho de modelar corretamente regras de negócio e exceções permaneceu em uma área que não pode ser automatizada
Anos 2000: camada semântica e BI self-service
- A camada semântica abstraiu termos técnicos para a linguagem do negócio
- O BI self-service ampliou bastante a acessibilidade da visualização
- Divergências de definição e confusão com os dados surgiram como novos problemas
- Gestão centralizada e governança voltaram a ganhar importância
Anos 2010: engenharia analítica e ELT
- A expansão dos data warehouses em nuvem tornou possíveis transformações baseadas em SQL
- Analistas passaram a conseguir construir diretamente parte dos pipelines de dados
- O dbt introduziu no universo de dados práticas de desenvolvimento como testes, documentação e controle de versão
- Quanto maior a escala do projeto, mais a arquitetura e o julgamento continuaram centrais
Era da IA: o que mudou e o que continua igual
- A IA executa com enorme rapidez o trabalho mecânico de transformar intenção em código
- A escolha de tipos de modelagem dimensional, a definição de métricas e o alinhamento com o negócio ainda exigem julgamento humano
- A velocidade de desenvolvimento aumentou, mas a duração total dos projetos continua sendo consumida por pensamento e coordenação
- A maior mudança foi o encurtamento do ciclo de feedback, que tornou possível melhorar iterativamente com mais rapidez
A restrição que não muda: a complexidade do pensamento
- Um data warehouse é um modelo do negócio, e entendê-lo corretamente é essencial
- Por trás de requisitos que parecem perguntas simples existem inúmeras definições e exceções
- Essa complexidade está em um campo que as ferramentas não conseguem eliminar
O que isso significa para líderes de dados
- Mais importante do que saber se a ferramenta substitui especialistas é entender quanto ela aumenta a produtividade deles
- É preciso avaliar se ela reduz trabalho repetitivo e permite foco em julgamentos de maior valor agregado
- Novas ferramentas exigem novas competências técnicas
Por que esse sonho continua
- O sonho de eliminar especialistas tem funcionado como motor para impulsionar a inovação em ferramentas
- O sonho nunca se realizou por completo, mas nesse processo gerou valor real
- A IA também não substitui especialistas, mas os torna mais eficientes
O caminho daqui para frente
- Não há motivo para rejeitar novas ferramentas, mas as expectativas precisam ser definidas de forma realista
- O principal alvo de investimento não é a ferramenta, e sim as pessoas que entendem a complexidade do negócio
- No fim, análise de dados é o trabalho de transformar entendimento de negócio em uma forma consultável
- O fato que não mudou em 50 anos é que julgamento e raciocínio continuam sendo o maior gargalo
Ainda não há comentários.