O fim da Observability está chegando (e tudo bem para mim)

• Nas últimas décadas, o objetivo central das ferramentas de Observability era tornar compreensíveis para humanos grandes volumes de dados heterogêneos de Telemetry
• Com o surgimento da IA e dos LLMs, o paradigma tradicional centrado em "dashboards + alertas + amostragem" está mudando, e o processo de análise vem sendo substituído por automação
• Na prática, um agente de IA analisou a causa de um pico de latência em 80 segundos com 8 chamadas de ferramenta, automatizando tarefas que antes eram feitas em demos e resolvendo tudo por apenas 60 centavos
• Dashboards bonitos ou instrumentação conveniente já não têm mais um valor tão especial, e LLMs comoditizam a análise, enquanto o OpenTelemetry comoditiza a instrumentação
• O futuro da Observability está em "loops rápidos de feedback" e em fluxos de trabalho colaborativos entre IA e humanos, que serão a chave do sucesso e conduzirão uma era com mais software e automação

---

A história das ferramentas de Observability e a chegada da IA

• Durante décadas, o principal objetivo das ferramentas de observabilidade foi comprimir/resumir grandes volumes de dados heterogêneos (telemetria) até um nível compreensível para humanos
• Sempre que surgiam novas abstrações de software (como Rails, AWS, Kubernetes, OpenTelemetry etc.),
  também foram sendo desenvolvidas várias ferramentas — monitoramento, medição, dashboards, alertas adaptativos, amostragem dinâmica e outras — para ocultar essa complexidade e entregar os dados comprimidos de forma compatível com a cognição humana

LLM = aproximador universal de funções, e agora realmente útil

• Matematicamente, LLMs são apenas aproximadores universais de funções (universal function approximator), mas na prática são muito úteis para resolver problemas de observabilidade
• Exemplo: em uma demo da Honeycomb, foi pedido em linguagem natural a um agente de IA para analisar um pico de latência em um heatmap
  • “Analise a causa dos picos de latência que ocorrem a cada 4 horas no serviço de frontend”
  • Integração entre um LLM pronto para uso (Claude Sonnet 4) e o Model Context Protocol (MCP) da Honeycomb
  • Análise automática da causa em 80 segundos, com 8 chamadas de ferramenta e custo de 60 centavos
• Chegou-se a um nível em que cenários reais são resolvidos em zero-shot, sem prompts adicionais, treinamento separado ou guias
• Comoditização da análise:
  • Se LLMs automatizam o trabalho de análise, os diferenciais dos produtos tradicionais de observabilidade (gráficos bonitos, instrumentação fácil etc.) perdem relevância
  • O OpenTelemetry comoditiza a instrumentação, e os LLMs comoditizam a análise
  • Daqui para frente, “loops rápidos de feedback” substituem o valor central das ferramentas de observabilidade

O papel das pessoas e as mudanças futuras

• O papel humano não desaparece completamente
  • Assim como o surgimento da nuvem não eliminou a própria existência da TI, a IA também não substituirá desenvolvedores e operadores
  • O aumento de produtividade expande todo o cenário e faz nascer ainda mais software
• A pergunta central é:
  em um mundo em que o custo de escrever código/refatorar/analisar cai drasticamente,
  e a análise se torna uma constante, para onde vai a essência da Observability?

O que realmente importa é o "feedback rápido"

• O mais importante é ter "loops de feedback rápidos e densos" em todas as etapas de desenvolvimento e operação
  • A IA sempre superará os humanos em velocidade
  • LLMs levantam dezenas de hipóteses rapidamente, falham e acabam encontrando o resultado correto
    (e com custo muito baixo)
• A filosofia da Honeycomb:
  • loops rápidos de feedback, compartilhamento colaborativo de conhecimento e desenvolvimento/operação experimental
  • Daqui em diante, assistentes de IA serão introduzidos em todo o ciclo de vida do desenvolvimento e da operação de software
    • Exemplos
      • Durante a escrita e o deploy de código, agentes de IA fornecem feedback em tempo real e sugerem melhorias de bugs e qualidade
      • Em produção, detectam/analisam/emitem relatórios automáticos sobre comportamento emergente e, após aprovação, aplicam melhorias automaticamente
      • Organizações de ponta automatizam papéis de SRE/SWE com IA + ferramentas, chegando a cumprir diretamente até metas de negócio
• Condições futuras da observabilidade para o sucesso
  • Desempenho de consulta com latência ultrabaixa
  • Repositório unificado de dados
  • Fluxos de trabalho fluidos de colaboração entre humanos e IA
• Conclusão:
  • Ferramentas tradicionais de observabilidade focadas em dashboards, alertas e visualização
    não serão o centro na era da IA;
    apenas os “loops rápidos de feedback” e as plataformas de colaboração entre IA e humanos sobreviverão

[redlasha]

Assim como a observabilidade não significou o fim do monitoramento, os LLMs provavelmente também não significarão o fim da observabilidade
Assim como a observabilidade evoluiu sobre uma base de monitoramento avançado, a análise com LLMs deverá evoluir sobre uma base de observabilidade avançada

[ethanhur]

Estou animado achando que a área de Observability vai se inovar rapidamente por causa dos LLMs, mas o título é caça-clique demais kkk

[crawler]

Fazer marketing do próprio serviço dizendo que “o fim está chegando” é um pouco constrangedor...

Pessoalmente, estou esperando que os vision LLM evoluam para serem usados em tarefas de monitoramento. Recentemente vi o post de um pai que usou um VLM para verificar enquanto a criança dormia se não havia nada fora do normal, e achei isso bem interessante.

[GN⁺]

Opiniões no Hacker News

• Tenho a sensação de que, coletivamente, estamos subestimando demais o valor do determinismo e, em contrapartida, também subestimando o custo trazido pelo não determinismo. Testei recentemente outro produto com um discurso de vendas parecido, e ele tentava fazer RCA dos meus incidentes correlacionando gráficos. No fim, o resultado parecia a página Spurious Correlations: olhando diretamente, fica óbvio e até engraçado
  • Precisamos divulgar mais o fato de que dados de séries temporais são realmente vulneráveis a correlações espúrias. Valor de r² também não significa muita coisa. Pior ainda é interpretar gráficos no olhômetro; se os dados mudam ao longo do tempo, é preciso usar métricas adequadas para isso
  • Posso até ter entendido errado o ponto, mas mesmo em apps baseados em LLM dá para implementar uma UX determinística em momentos realmente importantes, se o design for bem feito. O LLM pode gerar, quando necessário, uma especificação determinística do que deve ser executado, e essa tarefa ou ação pode ser registrada. A ideia é salvar, junto com a conversa, uma especificação que o usuário possa reexecutar a qualquer momento, e estruturar o sistema para que a IA sugira como corrigir quando a especificação falhar. É um fluxo parecido com a experiência de usar IA para programar. A diferença é que o domínio da especificação precisa ser mais restrito e é preciso pensar melhor em como recuperar especificações que falharam. Dá para fazer isso sem exigir que o usuário aprenda uma linguagem de especificação separada
• Como alguém que faz muito RCA, fico preocupado que colegas meus, constrangidos, acabem confiando demais em ferramentas que entregam respostas 10% erradas com muita confiança e deixem tudo ainda pior. Também temo que, quando realmente não souberem algo, passem a depender só da ferramenta porque não precisam mais admitir publicamente que não sabem. Seria menos ruim se, depois de chegar a uma conclusão, a ferramenta buscasse dados que contrariassem essa interpretação e explicitasse melhor evidências mais confiáveis ou o grau de incerteza
  • Dá para melhorar bastante esse aspecto com um bom system prompt. Na prática, já criei prompts/instruções customizados para extrair do LLM respostas mais rigorosas e embasadas por padrão, e a experiência foi muito boa. O prompt que uso no ChatGPT é o seguinte: "Priorize substância, clareza e profundidade. Trate toda proposta, design e conclusão como hipótese e questione com rigor. Exponha cedo premissas ocultas, trade-offs e casos de falha. Evite elogios desnecessários sem base. Se houver incerteza, diga isso claramente. Sempre proponha perspectivas alternativas. Só afirme fatos quando houver citação ou base sólida. Se estiver se apoiando em inferência ou informação incompleta, avise explicitamente. Priorize exatidão acima de confiança." Com algo assim, a qualidade e a profundidade das respostas melhoram muito mesmo
• A história de que “a New Relic veio com a revolução do Rails, a Datadog com a ascensão da AWS, e a Honeycomb liderou o OpenTelemetry” é uma leitura enviesada. O OpenTelemetry (OTel) surgiu da fusão oficial entre o OpenCensus, iniciado pelo Google, e o OpenTracing, iniciado pela LightStep. Diversas organizações, como Google, LightStep, Microsoft e Uber, participaram da governança inicial. É verdade que a Honeycomb impulsionou bastante o código, a comunidade e a adoção técnica, mas dizer que “liderou” é exagero
  • Estou lendo isso como alguém que adotou a Honeycomb recentemente, e a ferramenta é realmente impressionante. Especialmente com a instrumentação automática do otel, dá para obter insights em poucas horas. Também dá para sentir que os recursos de dashboard e consulta vêm de uma filosofia profunda de observabilidade. Todo o nosso time ficou chocado com o nível de acabamento da ferramenta. A Datadog passa mais a impressão de priorizar marketing e checklist de “observabilidade”
• Deixando o “discurso de vendas” um pouco de lado, esta é uma das aplicações em que LLM realmente tem muito valor. Até agora, monitoramento e observabilidade eram território quase exclusivo de SREs de grandes empresas, e para organizações pequenas a barreira era alta demais, pelo menos do ponto de vista de TI. Escolher métricas significativas, configurar heartbeat e baseline, tudo isso exigia tempo, ferramentas especializadas, ambientes de desenvolvimento extensos e até processos de validação de mudanças, algo fora do alcance da maioria dos times de TI comuns. Agora, graças a LLMs treinados nas ferramentas mais populares, mesmo equipes de TI com pouco orçamento ou pouca capacidade podem implementar sistemas de observabilidade “de verdade” baseados em frameworks e ferramentas abertas. Já não dependem necessariamente de soluções por assinatura cheias de firulas. Para montar dashboards e configurar monitoramento útil, o LLM é quase uma bênção. Para profissionais de TI que sabem ler documentação e fazer troubleshooting, mas não têm como se aprofundar em cada uma das inúmeras suítes empurradas pelo CIO, a utilidade é enorme. Se os alertas do PagerDuty vierem até com sugestão mínima de causa raiz, isso já é uma revolução de observabilidade para SMB/SME
  • Descobrir métricas realmente significativas não é algo em que LLM seja bom, mas heartbeat, baseline e o restante já eram áreas automatizáveis há muito tempo com ConvNet. Questões de deploy, como validação de mudanças ou controle de estabilidade, fogem do escopo das ferramentas de observabilidade
  • Também espero um impacto enorme para equipes pequenas de SRE. No nosso time, duas pessoas administram centenas de servidores bare metal, e quando há uma falha o processo de ir afunilando a causa é muito estressante. Já pensamos até em construir por conta própria uma ferramenta tipo MCP (Master Control Program). Houve várias vezes em que um problema que ficou latente por muito tempo acabou explodindo como erro, e em casos assim o LLM ajudaria bastante
• O título parece exageradamente apelativo. Não é como se as ferramentas de observabilidade existentes fossem virar inúteis. Só pode acontecer de gastarmos menos tempo construindo gráficos e olhando para eles o tempo todo. É parecido com o efeito dos LLMs em tantas outras áreas. Eles realmente ajudam a fazer mais rápido um trabalho que você já sabia fazer, ou a aprender como fazê-lo, mas não substituem completamente uma técnica específica
  • “Acelerar o trabalho que você já sabe fazer” e “ajudar a aprender algo novo”: já é a segunda vez que ouço essa conclusão só hoje. Inferência no item 2 e aumento extremo de eficiência no item 1 parecem ser a direção mais produtiva daqui para frente
  • O título é sensacionalista, mas a mensagem é clara — a barreira de entrada, o moat, está diminuindo aos poucos
  • Eu chamo esse fenômeno de “efeito Charity Majors”
• Na demo, dizem que “isto não é um exemplo artificial. Fizemos ao agente LLM a mesma pergunta que fazemos aos usuários na demo, e ele chegou à resposta certa imediatamente, sem prompt extra, treinamento ou orientação”. Mas, na prática, esse cenário já fazia parte da própria demo e a solução também já existia. Na verdade, teria sido melhor usar um exemplo artificial para mostrar se o modelo consegue generalizar para uma situação nova que não esteja exatamente no conjunto de treinamento. As capacidades reais do LLM podem até ser úteis, mas, para fazer uma afirmação extrema como “o fim da observabilidade”, seria preciso mostrar capacidade de generalização da ferramenta
• Não acho que seja “o fim da observabilidade”. Mas os pontos apresentados no texto também não são totalmente vazios. De fato, é bastante provável que surja uma nova camada de agentes de IA capaz de desempenhar vários papéis em SRE, inclusive RCA. Ainda assim, mesmo que isso se concretize, a maior parte — ou talvez toda — a stack atual de observabilidade continuará sendo necessária. Além disso, enquanto os problemas de alucinação, confiabilidade e estabilidade dos LLMs não forem resolvidos na origem, a investigação profunda de problemas continuará precisando de humanos
• Essa estratégia de negócio de “com um pouco de esforço, a IA pode fazer tudo o que os especialistas faziam” é realmente muito atraente. É triste, mas hoje daria para copiar e colar essa frase em 80% das startups de IA sem soar estranho
  • Sei que isso soa como zombaria, mas esses “especialistas minimamente competentes” são recursos <i>extremamente</i> caros. Se essa automação realmente acontecer, dá até para entender por que existem tantas startups de IA meia-boca
• Este artigo parece ter sido escrito inteiramente por IA. “A IA vai encerrar esse paradigma, isso já está acontecendo, e até a forma de projetar e operar sistemas vai mudar de maneira fundamental” — fico me perguntando como interpretar uma parte dos dados pode virar “o fim da observabilidade”
• A lógica de que “agora não precisamos mais ver dados em gráficos e UI” tem um limite bem real. Quando o LLM acerta, é ótimo; quando falha, um humano precisa intervir e olhar diretamente para gráficos e outras visualizações. Gráficos e visualizações já são difíceis, mas coletar os dados de verdade e projetar consultas complexas e formas de armazenamento é ainda mais difícil. A observabilidade só vai realmente “desaparecer” quando uma inteligência artificial de verdade conseguir julgar quase tudo com perfeição. E, nesse ponto, a estrutura inteira da sociedade já terá mudado completamente, com uma transformação cultural profunda — dolorosa, mesmo que não seja exatamente um colapso. É real que a IA está mudando o cenário da observabilidade. Isso já está acontecendo, mas ainda há um bom caminho pela frente