- Guia sistematizado por experiências práticas que a PostHog obteve ao desenvolver o recurso de IA Max AI por 12 meses, cobrindo todo o processo, da escolha do recurso certo à implementação e melhoria
- Recursos de IA podem até piorar o produto se tentarem resolver problemas lentos, pouco confiáveis ou sem significado, e por isso devem usar padrões comprovados (busca/resumo de dados, geradores, uso de ferramentas)
- Na fase de implementação, o contexto do app e a gestão de estado são essenciais; use planejamento de consultas e roteamento condicional para guiar a IA na direção certa, e prepare-se para falhas com monitoramento e guardrails
- Para otimizar a velocidade, acompanhe continuamente benchmarks de modelos, misture modelos rápidos e lentos conforme a tarefa e use processamento assíncrono
- Para avaliação e melhoria contínuas, adicione evals desde o início, execute testes A/B e evite silos de conhecimento em IA, distribuindo a especialização por toda a equipe
Escolher o que construir
- Reconheça que a IA pode piorar o produto e evite criar recursos errados que resolvam problemas lentos demais, pouco confiáveis ou com os quais ninguém realmente se importa
1. Aprender os padrões em que a IA se sai bem
- Copie padrões de IA comprovados, combinando padrões de UX familiares para o usuário com capacidades em que a IA realmente funciona bem
- Primeiro padrão: "conversar com documentos/dados/PDFs" - a IA é excelente em busca e resumo, e isso pode ser usado para gerar relatórios e recomendações (ex.: Fin da Intercom, chat com documentação da Mintlify)
- Segundo padrão: vários tipos de geradores - geração de títulos, código, documentos, SQL, imagens, filtros etc. (ex.: Lovable, Bolt.new, Figma, Rippling, Notion)
- Terceiro padrão: uso de ferramentas - a IA usa ferramentas bem definidas para automatizar e melhorar workflows (ex.: servidores MCP, Zapier, Atlassian, Asana)
- O Max AI da PostHog usa vários padrões
- Conversa com dados e documentação
- Geração de insights SQL e filtros
- Uso de ferramentas como geração de pesquisas e insights de análise
- No futuro, pretende ampliar o uso de ferramentas para assistir automaticamente a gravações de sessão e analisá-las
2. Identificar problemas que a IA pode resolver
- Revise tarefas em todo o produto com foco no valor que a IA pode oferecer
- Uma tarefa única e clara que leva mais de 30 segundos - preencher formulários longos, entrada manual de dados, configuração de integrações, instalação de SDK etc.
- Casos em que é preciso usar uma linguagem ou interface que o usuário não entende - UI complexa, consultas SQL, criação de apps etc.
- Tarefas repetidas mais de 20 vezes - escrever descrições, fazer resumos, criar itens etc.
- Conselho de Stephen Whitworth, da incident.io: foque menos em "coisas novas e legais que a IA pode fazer" e mais em "coisas que o usuário faz 100 vezes por dia e que a IA pode tornar melhores"
- Exemplo: os usuários preferem muito mais resumos de incidentes gerados automaticamente do que escrevê-los manualmente; hoje, 75% dos resumos de incidentes são gerados por IA
- Casos de uso na PostHog
- Assistente de instalação com IA: reduziu o tempo de instalação da PostHog de cerca de 10 minutos para 90 segundos
- Tradução de SQL do Max AI: permite escrever consultas SQL complexas em linguagem natural, ajudando até quem não domina SQL a criar insights personalizados
3. Validar se o problema é específico e valioso
- É preciso reduzir o escopo para um problema específico e valioso
- Armadilhas a evitar
- Aplicar padrões existentes a problemas sem valor: em um produto simples e em estágio inicial, um recurso de "conversar com documentos" é desnecessário e pode esconder problemas centrais de usabilidade
- Tentar resolver um problema grande demais com IA: a IA não vai fazer você ganhar 1 bilhão de dólares; é melhor resolver primeiro um problema restrito e depois expandir
- Ao construir o Max, perceberam rapidamente que perguntas amplas demais como "como aumentar a receita?" não eram eficazes
- Em vez disso, focaram em recursos específicos integrados à PostHog e que aproveitam o contexto do usuário dentro da PostHog
- Exemplo: o Max escreve SQL melhor porque sabe quais tabelas pode usar, e como entende as ferramentas nativas disponíveis, consegue responder perguntas sobre o produto com visualizações nativas
Implementar a ideia
- Foque nos elementos centrais para verificar se aquilo que você quer construir realmente funciona
4. O contexto e o estado do app são essenciais
- Qualquer pessoa pode chamar a API da OpenAI, mas o contexto do seu app é único
- Dados que podem ser incluídos
- O que o usuário está tentando fazer
- Quem está executando a ação
- O estado da conta
- Onde ele está dentro do app
- O esquema de dados do app
- Quando perguntam ao Max por que os cadastros caíram na semana passada, a API recebe informações como
- Página atual (dashboard, insights exibidos, filtros aplicados, papel do usuário)
- Esquema de dados (eventos disponíveis, propriedades de evento, propriedades de pessoa)
- Conta (tier da organização, fuso horário, período de retenção)
- Exemplo em código para formatar o contexto da UI
- Informações do dashboard (nome, insights exibidos, filtros aplicados, intervalo de datas)
- Informações do insight (nome, tipo de consulta, eventos analisados, detalhamento)
- Também é essencial tratar o "contexto" (estado) dentro do workflow
- O contexto não pode se perder à medida que a conversa avança, especialmente quando há vários subagentes
- Armazene e inclua o contexto em todas as partes do workflow
- Otimizar contexto e escolher o modelo certo é mais eficaz e útil do que fazer fine-tuning do modelo
5. Leve a IA ao sucesso com planejamento de consultas e roteamento condicional
- Se você deixar a IA sem restrições, ela terá todo tipo de comportamento inesperado, então ela precisa de orientação para ter sucesso
- Implemente orquestrando e conectando várias etapas: planejamento da consulta → busca de dados → visualização
- Além da gestão de estado, é necessário
- Fazer a IA reconhecer quais ferramentas e dados estão disponíveis
- Permitir que ela escolha as ferramentas e os dados corretos conforme a tarefa pretendida
- Garantir que ferramentas como execução e formatação de consultas realmente funcionem
- Exemplo de roteador de mais alto nível da PostHog
- Decidir se deve gerar um insight
- Decidir se deve buscar documentação
- Decidir se o assunto é cobrança
- Cada nó do roteador tem suas próprias condições para se conectar aos dados e ferramentas certos para aquela tarefa
- Isso aumenta a chance de sucesso ao garantir que a IA tenha os componentes necessários para concluir o trabalho
6. Prepare-se para falhas com monitoramento, guardrails e tratamento de erros
- A estrutura que você construiu evita falhas, mas a IA inevitavelmente vai esbarrar em guardrails, então fornecer guardrails é essencial
Monitoramento
- Implemente monitoramento desde o início para saber quando os problemas surgem
- Conselho de Georgiy, da equipe do Max AI
- Monitorar traces de produção é essencial
- Eles construíram uma ferramenta de monitoramento para dogfooding e gostariam de tê-la tido desde o começo
- Monitorar traces em escala fica mais difícil, então avaliações online seriam úteis (próxima prioridade)
- Revisar 100 conversas já é difícil; revisar 1.000 por dia é impossível
- Essas conversas são perguntas e dificuldades reais dos usuários e trazem todos os insights necessários para construir agentes
Evitar alucinações
- Tudo que a IA puder alucinar, ela vai alucinar, então especifique explicitamente os dados que ela deve definir e as regras que precisa seguir
- Exemplo de regras do assistente de instalação com IA
- Nunca alucinar a chave de API. Em vez disso, sempre usar a chave de API preenchida no arquivo
.env
- Não adicionar comentários placeholder como "
// em um app real..."
- Não modificar lógica de negócio existente nem adicionar código de simulação
- Não importar novos pacotes ou bibliotecas que ainda não estejam em uso
- Não presumir que bibliotecas de autenticação (Clerk, Auth.js etc.) estejam disponíveis
Guardrails para o usuário
- Diante de uma caixa de texto vazia, as pessoas ficam com medo e esquecem tudo
- Solução: adicionar sugestões de como usar o recurso de IA, guiando na direção certa e lembrando o que é possível fazer
Tratamento de erros
- Como workflows às vezes falham, lide com isso de forma elegante com tentativas de novo e limitação de taxa
- Para usuários avançados, é possível configurar análise de LLM, rastreamento de erros e feature flags
- A PostHog oferece os três (uma coincidência conveniente)
Melhorar o recurso
- Como os modelos de IA evoluem rápido e de forma imprevisível, recursos de IA exigem mais manutenção e melhoria contínua do que o esperado
7. Evite silos de conhecimento em IA
- Criar recursos de IA não deve ser responsabilidade de uma única "pessoa de IA" da equipe
- A IA precisa estar profundamente integrada ao produto, o que exige a especialização de quem conversa com os usuários e constrói coisas para eles
- Abordagens recomendadas
- Construir primitives e tornar os recursos de IA combináveis: assim, a equipe não precisa reinventar prompts, streaming, consentimento, evals e analytics, podendo focar em recursos de IA únicos e que agreguem valor
- Manter padrões de UX consistentes em todo o app: no caso da PostHog, isso é o Max, evitando a confusão causada por milhares de widgets de IA
- Alocar temporariamente especialistas em IA nas equipes: isso ajuda as equipes a criar recursos de IA mais rápido e distribui o conhecimento de IA por toda a organização (algo que a equipe do Max AI faz)
8. Foque em velocidade
- Um dos grandes desafios dos recursos de IA, especialmente os mais complexos, é a lentidão
- Workflows muitas vezes significam várias chamadas para provedores de LLM, o que pode gerar muita latência
- Isso pode ser especialmente frustrante quando existe um jeito alternativo de concluir a tarefa no app ou no site
- Conselho de Rahul Vohra, fundador da Superhuman: "velocidade vence"
- Exemplos: Instant Reply ou Auto Summarize
- Gmail e Outlook também têm recursos parecidos, mas precisam gerar a resposta ou o resumo sob demanda, e o usuário precisa esperar a conclusão
- Na Superhuman, isso é pré-computado, ficando sempre disponível instantaneamente, e essa diferença simples tem um impacto enorme na experiência do usuário
Como melhorar
- Acompanhe benchmarks de modelos e novos lançamentos: quando surgir um modelo melhor e mais rápido, teste e use para obter o maior ganho tanto em funcionalidade quanto em velocidade (usando análise de LLM)
- Misture modelos rápidos e lentos conforme a tarefa
- Para gerar títulos, filtros de replay de sessão, resumos de pesquisas e busca de insights, use modelos rápidos (
gpt-4.1-mini, gpt-4.1-nano)
- Para geração de esquema, condução da conversa e gestão de contexto, use modelos mais lentos (
gpt-4.1)
- Use processamento assíncrono: tarefas complexas de IA, como resumo de sessões e extração de padrões, são executadas de forma assíncrona com workflows do Temporal, sem bloquear a interação do usuário. Depois, os resultados são armazenados em cache no Redis para permitir novas tentativas sem recálculo
9. Monitore e avalie continuamente a eficácia
- Um recurso novo não deve ser julgado com menos rigor só porque é ✨ IA ✨
- Ideias ruins podem piorar o produto, e mudanças no modelo podem afetar negativamente a experiência sem que o usuário perceba
Como avaliar a eficácia
- Adicione evals cedo: até um pequeno dataset dourado ou sintético traz um ganho enorme em comparação com um ciclo normal de desenvolvimento. Em escala, a implementação também foi mais fácil do que o esperado e ainda acelerou a criação de recursos futuros
- Faça testes A/B: compare o recurso com IA e a experiência normal, e teste diferentes prompts, contextos, workflows etc.
- Verifique o uso de IA por diferentes tipos de cliente (ex.: usuários gratuitos vs. enterprise, produto vs. vendas)
- Descobriram que gerentes de produto e profissionais de marketing usam o Max com mais frequência do que engenheiros de produto, que eram o perfil de cliente ideal, o que levou a repensar o roadmap
- Permita que os usuários avaliem respostas da IA como boas/ruins: quando a resposta recebe avaliação ruim, peça mais detalhes e use isso para ajustar contexto, prompts e workflow
- Compare uso com IA vs. sem IA: use métricas existentes de ativação e retenção para entender onde a IA se encaixa idealmente no produto e no ciclo de vida do usuário, e se está gerando impacto positivo
Encerrando
- Essas 9 lições não são independentes; elas funcionam juntas
- É um erro pular para o final e achar que otimizar evals = construir um grande produto
- O objetivo é construir algo valioso para o usuário, não uma demo técnica chamativa
- Só porque é IA não significa que o usuário vai encontrar valor
- Todas as lições aprendidas sobre construir ótimos produtos continuam valendo
- Conversar com os usuários
- Lançar rápido
- Rodar experimentos
- Iterar
Ainda não há comentários.