Lean Analytics revisitada para a era da IA e dos agentes

• O framework central do Lean Analytics, publicado em 2013 — identificar o estágio, entender o modelo de negócio, OMTM e benchmarks — continua válido, mas a maioria das métricas específicas precisa ser redefinida para a era da IA
• Em produtos de IA, o Time to Value (tempo até o valor) foi drasticamente reduzido, e os usuários esperam resultados de alta qualidade já na primeira tentativa, abandonando rapidamente em caso de falha
• O engajamento deixou de ser apenas alto ou baixo e passou a ser uma métrica direcional que deve distinguir em que o tempo está sendo gasto (dificuldade/esforço, trabalho feito pela IA ou exploração)
• Devido à natureza probabilística das saídas da IA, a qualidade se tornou uma métrica de primeira linha e, sem um eval harness, o produto não passa de "vibes"
• Por causa da estrutura de custos variáveis baseada em tokens, power users podem na verdade gerar prejuízo, tornando essencial acompanhar a margem bruta por usuário ativo e adotar modelos de precificação baseados em desempenho

---

Resumo dos princípios centrais de Lean Analytics

• Lean Analytics é estruturado com base em 4 ideias centrais: identificar o estágio, entender o modelo de negócio, OMTM (One Metric That Matters) e benchmarks (lines in the sand)
• Modelo de 5 estágios: Empathy → Stickiness → Virality → Revenue → Scale, sequência pela qual todo negócio passa
  • Muitos fundadores se enganam sobre o próprio estágio e tendem a buscar crescimento em hockey stick sem uma base sólida, algo que continua igual na era da IA
• 6 arquétipos de modelo de negócio: SaaS, e-commerce, marketplace de dois lados, conteúdo gerado por usuários/comunidade, aplicativo móvel e mídia
  • Essa classificação está datada, mas o próprio princípio de entender como o seu negócio funciona continua importante
• OMTM: independentemente do estágio ou do modelo de negócio, existe uma única métrica na qual se deve focar
  • Como não dá para corrigir tudo ao mesmo tempo, ela serve para identificar no que trabalhar e como medir isso
• Benchmarks (lines in the sand): critérios que indicam se você já ganhou o direito de passar para o próximo estágio
  • Em produtos de IA e agentes, as métricas e metas estão mudando rapidamente

O que não muda na era da IA

• Os princípios centrais não mudam, mas os negócios construídos hoje são fundamentalmente diferentes
• A IA está transformando interface do usuário, modelo de precificação, margem de lucro e outros elementos, e produtos AI-first e baseados em agentes têm formas de uso essencialmente diferentes
• O modelo de 5 estágios não desapareceu, mas cada etapa agora vem com um ponto de interrogação — é preciso redefinir cada estágio integrando métricas antigas e novas

Métricas de produto: 6 mudanças centrais

• Mudança 1: o colapso do Time to Value

  • No SaaS tradicional, o valor era percebido após um onboarding em etapas, mas em produtos de IA o usuário espera resultados imediatos e de alta qualidade
    • Se enviar um documento bagunçado, espera uma proposta bem organizada; se subir uma planilha, espera uma análise; se enviar um esboço de wireframe, espera uma UI funcional
    • Os modos de entrada variam, mas a expectativa é constante: saída rápida e de alta qualidade, na primeira tentativa
  • O Time to Competency também entra em colapso — até usuários não técnicos conseguem gerar resultados em nível profissional sem curva de aprendizado
    • Se antes a curva de ativação era uma curva de aprendizado, agora ela se encurta para uma ou duas interações
  • Isso é positivo, mas pode afetar negativamente o modelo de negócios: se uma pessoa faz o trabalho de três com IA, há impacto em número de assentos, receita de expansão e curva de ACV
    • Usuários felizes, menos assentos — essa tensão começa na Mudança 1 e se propaga por todas as métricas a jusante
  • O que medir: tempo até o primeiro resultado útil; proporção de usuários que obtêm um resultado útil na primeira tentativa, independentemente de ser por prompt, upload ou esboço

• Mudança 2: ativação já não é mais decisiva

  • No SaaS tradicional, ativação era um evento determinístico — o usuário concluía etapas definidas e obtinha um resultado previsível
  • Em produtos de IA, mesmo completando todas as etapas do funil de ativação, o usuário ainda pode receber um resultado insuficiente
    • No dashboard, ele aparece como ativado, mas na prática não está
  • Ativação não é um gate binário, e sim um evento ponderado por qualidade
  • O modelo Hooked, de Nir Eyal (gatilho → ação → recompensa variável → investimento), continua válido, mas nos loops de IA há variabilidade dos dois lados da ação
    • O usuário testa o produto de formas não previstas no design, e a qualidade do resultado também varia — duas fontes de variabilidade em um único loop
  • Ativações compostas e em múltiplas etapas continuam fazendo sentido em produtos de IA — conectar contexto, enviar materiais de referência, configurar templates etc. pode até ser mais eficaz quando essa configuração melhora a qualidade da primeira execução
    • A mudança central não é que "a ativação ficou mais curta", mas que concluir etapas não garante entrega de valor
  • O que medir: acompanhar em paralelo as métricas tradicionais de conclusão de funil e os sinais de qualidade da primeira tentativa da Mudança 1 — o funil mostra a conclusão das etapas, e os sinais de qualidade mostram se houve entrega real de valor; ambos devem aparecer lado a lado no dashboard

• Mudança 3: engajamento é uma métrica direcional

  • A lógica tradicional diz: quanto mais tempo dentro do produto, melhor — sessões longas, DAU alto e uso profundo de funcionalidades entram no deck para investidores
  • Com IA, a pergunta central não é se o engajamento subiu ou caiu, mas em que o tempo do usuário está sendo gasto
    • Tempo de dificuldade (regenerar, repromptar, ajustar entradas para obter algo útil) = engajamento ruim, fracasso disfarçado de engajamento
    • Tempo em que a IA trabalha pelo usuário (manipular planilhas, gerar propostas, revisar documentos) = engajamento bom, pois indica trabalho feito pela IA
    • Tempo de exploração e criação (brainstorming, ideação, iteração de design) = engajamento bom, mantendo a intuição tradicional
    • Tempo do usuário zero, tarefa concluída = resultado ideal para produtos de agentes e automação
  • O GitHub Copilot usa a taxa de aceitação de sugestões como métrica central, e no setor ela gira em torno de 27% a 30%
    • É um KPI que não existia no SaaS tradicional: mede diretamente não se "o usuário permaneceu", mas se "o trabalho da IA foi útil"

• Mudança 4: stickiness é fluxo, não barreira

  • No sentido tradicional, stickiness era um jogo de frequência (DAU/MAU, retorno, loops de hábito), e Andrew Chen já apontou os limites de DAU/MAU — inadequado para produtos episódicos, porém de alto valor, ou ferramentas com ritmo semanal
  • A IA não elimina DAU/MAU, mas amplifica suas limitações
  • Duas coisas acontecem ao mesmo tempo:
    • Os usuários esperam mais variedade de tarefas em produtos de IA do que em ferramentas SaaS tradicionais de função única — diversidade de tarefas por usuário vira um vetor de crescimento que antes não existia
    • Produtos de IA realmente aderentes não são barreiras que prendem o usuário, mas algo que existe dentro do fluxo de trabalho — alinhado ao conceito de Trace Cohen: "Moats are dead. Long live canals"
      • "Fossos escalam por exclusão; canais escalam por throughput"
  • O que medir:
    • Diversidade de tarefas — se o usuário expande o produto para casos de uso fora do escopo original
    • Profundidade de integração — quantas ferramentas e fontes de dados do usuário estão conectadas ao produto
    • Diversidade de gatilhos — se o retorno do usuário depende de um único fator ou de vários
    • Encadeamento de workflow — se o produto faz handoff para outras ferramentas ou recebe handoff delas
  • Quando humanos deixam de ser os principais usuários, o DAU/MAU tradicional se torna uma métrica problemática
  • Métrica adicional de amplitude de substituição: quantas ferramentas adjacentes, assinaturas ou processos manuais o cliente substituiu ao adotar o produto
    • Se a resposta for 0, trata-se de um pequeno canal contornável; se o número for relevante, é uma via por onde tudo passa

• Mudança 5: qualidade é métrica de primeira classe

  • A raiz é a mesma da Mudança 2: a saída da IA é probabilística, não determinística — e isso afeta todas as métricas herdadas do playbook de SaaS
  • Antes: a funcionalidade funcionava ou não funcionava — media-se após o deploy e seguia-se em frente
  • Realidade da IA: a saída é uma distribuição, não um atributo — um produto 80% bom e outro 95% bom parecem produtos completamente diferentes para o usuário
  • Caso da Klarna: após adotar, em 2024, um atendimento ao cliente voltado para IA, a empresa afirmou que a IA fazia o trabalho de 700 atendentes, mas em meados de 2025 o CEO recuou publicamente e retomou contratações humanas
  • Fragilidade — a qualidade pode sofrer regressão silenciosa por causa de modelos que a empresa não controla, integrações sobre as quais quase não tem controle e atualizações de fornecedores upstream
    • A qualidade pode cair mesmo sem a equipe mexer no código — uma nova categoria de risco
  • Defesa: fazer avaliações comparativas entre modelos com prompts reais, executando o mesmo eval em todos os modelos para detectar regressões e melhorias
  • O que medir:
    • Taxa de joinha positivo (thumbs-up rate) e taxa de regeneração (regenerate rate) como sinais centrais
    • Pontuação do harness de eval acompanhada em série temporal como retenção, aplicada a todos os modelos em uso
    • Distribuição de qualidade por coorte — novos usuários e power users vivenciam o produto de forma diferente, e a maioria das equipes não mede essa diferença
  • Na visão de Alistair Croll: se, na era Lean Startup, o MVP era o experimento mínimo para testar a hipótese mais arriscada, na era da IA o suite de evals é o novo MVP — "o conjunto mínimo de ações que permite automatizar e medir melhorias"

• Mudança 6: confiança e conforto com IA são indicadores antecedentes

  • A familiaridade técnica sempre importou, mas com IA o nível de conforto com a própria tecnologia vira uma variável que afeta todas as métricas a jusante
  • Estudo da Gallup de fevereiro de 2026 (23.717 trabalhadores nos EUA): o que separa quem adota IA de quem não adota não é acesso às ferramentas, mas se a pessoa considera a IA útil, ética e adequada ao seu workflow
  • Stanford 2026 AI Index Report: a taxa global de adoção entre trabalhadores é de 58%, enquanto os EUA ficam em 28,3%, bem atrás de Singapore, com 61%, e dos UAE, com 54%
    • O mesmo produto pode existir sobre grupos de usuários dramaticamente diferentes, e a maioria das equipes não mede isso
  • Em B2B, as curvas de ativação, stickiness e diversidade de tarefas podem ser significativamente diferentes entre usuários nativos de IA e usuários hesitantes com IA
    • Usuários nativos de IA expandem a ferramenta, fazem prompts de formas não previstas e extraem mais valor por sessão
    • Usuários hesitantes com IA subutilizam a ferramenta com cautela e concluem em silêncio: "isso não é para mim"
    • Se tudo for medido como uma única coorte, a média esconde a história real
  • Em B2C, produtos de companhia, apoio à saúde mental, amizade e bem-estar emocional estão emergindo como categorias reais

• Dados de Stanford: 52% dos respondentes globais estão empolgados com companheiros de IA, e em Singapore e Indonesia esse número passa de 80%

  • Nesse contexto, a geração de valor é medida pela intenção do usuário de engajamento contínuo, conversa e interação emocional
  • Confiança não é um conceito único, mas no mínimo 4 dimensões independentes:
    • confiança na saída (precisão e utilidade), confiança no tratamento de dados (para onde vai o prompt), confiança em segurança (possibilidade de abuso e vazamento), confiança na confiabilidade (se o usuário não ficará desamparado ao depender disso)
  • O que medir:
    • curvas de adoção e ativação por coorte de conforto com IA
    • taxa de aceitação (accept rate) — ao analisar por coorte de conforto com IA, é possível entender a velocidade de construção de confiança; mais importante que o valor absoluto é a inclinação da curva
    • taxa de override (override rate) — frequência com que o usuário reescreve ou edita o resultado da IA; a redução é um sinal de aumento de confiança
    • em produtos B2C emocionalmente íntimos: profundidade da sessão, taxa de retorno a recursos sensíveis, tom qualitativo das interações
    • sinais de preocupação com dados e segurança: opt-out de funcionalidades, tickets de suporte como "para onde isso vai?", uso que evita entradas sensíveis

Métricas de modelo de negócios: 3 mudanças centrais

• Mudança 1: custo por tarefa bem-sucedida é o novo cálculo de CAC

  • SaaS tradicional: CAC, LTV e margem bruta relativamente estáveis por cliente; os custos caem com a escala; o custo marginal para adicionar usuários é quase zero
  • Realidade da IA: usuários avançados de fato geram custo — tokens são custo variável, assinatura fixa + heavy users = margem negativa por conta
    • A curva de LTV do SaaS deixa de valer, e quanto maior o uso, pior a unit economics, numa estrutura invertida
  • O que medir: margem bruta por usuário ativo (com base em usuários ativos, não apenas pagantes), custo por tarefa bem-sucedida, proporção entre custo do modelo e receita, custo marginal vs. receita marginal dos power users
  • Fin, da Intercom: em vez de cobrar por assento, cobra US$ 0,99 por resolução bem-sucedida — precificação baseada em resultado, um modelo matematicamente honesto com o custo real de operar produtos de IA
  • A ElevenLabs adotou cobrança baseada em uso desde o primeiro dia, e Anthropic e OpenAI vêm lidando publicamente com a economia de assinaturas para o consumidor
  • Se a precificação e as métricas não refletirem custos variáveis de computação, você estará operando às cegas

• Mudança 2: a precificação define o produto

  • A precificação baseada em uso e em resultado ainda está no começo, e modelos híbridos (mensalidade baixa + uso + excedente) provavelmente serão a forma final da maioria dos produtos de IA
  • O modelo de preço comunica ao usuário a definição de sucesso — ele precisa estar alinhado à unit economics subjacente; se não estiver, você consome a margem ou limita o crescimento (ou ambos)
  • “IA ilimitada por US$ 20/mês” e “US$ 0,99 por resultado bem-sucedido” não diferem só no modelo de preço; do ponto de vista do usuário, são produtos completamente diferentes
    • O primeiro: “experimente à vontade, nós arcamos com o custo de aprendizado”
    • O segundo: “só ganhamos quando você ganha”
  • A maioria dos PMs nunca precisou pensar profundamente em preço, mas PMs nativos de IA precisam tratar a precificação como parte central do design do produto
  • Recursos de IA, ao contrário de recursos de SaaS tradicional, não têm baixo custo de execução — um recurso de IA caro e de pouco valor para o usuário pode comprometer o produto inteiro

• Mudança 3: experimentação não é mais métrica de vaidade

  • O desenvolvimento de produtos com IA aumentou explosivamente a velocidade de entrega — o custo de lançar funcionalidades despencou
  • Se você lança mais rápido sem fazer experimentos de verdade, isso vira “vibe-stuffing” — adicionar recursos só porque é possível, sem evidência
    • A maioria dos recursos não gera valor, e isso incha o produto e a base de código, além de aumentar a carga cognitiva do usuário
  • Todo recurso de IA gera custo contínuo por chamada a cada uso — inferência não é grátis
    • O inchaço do vibe-stuffing não é só complexidade; é um imposto que cresce de forma composta conforme o uso
    • Na era da IA, o inchaço de produto é um destruidor de margem
  • Experimentação robusta é a única defesa, e o valor de Lean Analytics sobe ainda mais
    • A disciplina de escolher métricas, formular hipóteses, testá-las sob pressão e decidir a próxima ação é o que separa times que aprendem de times que apenas lançam
  • Um filtro útil: para todo experimento, registre a hipótese e o critério de decisão antes do lançamento — caso contrário, não é experimento, é release
  • O que medir: número de experimentos por trimestre, hipóteses registradas antes do lançamento, descontinuação de recursos com base em dados, custo por recurso em operação (não só se ele é usado, mas se justifica o custo de operação)

• Densidade de valor (Value Density)

  • O princípio que atravessa as três mudanças no modelo de negócios: nas palavras de Ben Murray (The SaaS CFO), “se SaaS é sobre eficiência de margem, IA é sobre densidade de valor — otimizar quanto output, produtividade e trabalho substituído você gera por dólar de computação”
  • Relatório da ICONIQ de janeiro de 2026: em empresas B2B de IA em fase de escala, a inferência representa 23% da receita; a margem bruta média da IA em 2026 é de 52% (alta em relação aos 41% de 2024, mas ainda abaixo dos 70% a 90% do SaaS maduro)
  • Bessemer: empresas AI-first têm margem bruta de 50% a 60%
  • Jason Lemkin: “quanto mais você cresce, mais inferência precisa, e não dá para reduzir isso sem degradar a qualidade do produto”
  • Três proporções para medir densidade de valor (que se movem de forma independente):
    • custo de entrega por tarefa — quanto tokens e computação custam para produzir um resultado bem-sucedido
    • receita obtida por US$ 1 de computação — se você está cobrando o suficiente para cobrir custo variável + margem
    • valor entregue ao usuário por US$ 1 de computação — a métrica que a maioria dos times ignora; o diagnóstico só funciona se as três forem medidas

O futuro: humanos saindo do loop

• “Build-too-much” é o novo overfitting

  • Construir ficou tão fácil que há o risco de lançar mais do que os usuários conseguem absorver, ou mais do que os dados sustentam
  • Alistair Croll: a IA removeu o atrito que forçava exclusões — código antigo ficava por causa do custo de reescrita, recursos antigos ficavam por causa do custo de desenvolvimento, mas agora nada é limpo
    • Fallbacks se acumulam como “paredes estruturais invisíveis”, e testes gerados por IA são otimizados para passar por si mesmos, não para verificar o comportamento desejado
    • “Excluir parece mais arriscado do que manter, e sem atrito, tudo permanece”
  • Vencem os PMs que medem exclusão com o mesmo cuidado com que medem adição

• Quando o agente é o usuário

  • Quando um agente Claude usa um produto sem UI no lugar de um humano, deixa de ficar claro quem é o usuário e o que significam ativação, duração de sessão e engajamento
  • Medida prática: instrumentar o tráfego de agentes como uma coorte separada — por user-agent string, padrões de API etc., distinguindo entre “humano operando a UI” e “agente chamando a API”
    • O comportamento é diferente, o critério de sucesso é diferente, e misturar ambos numa métrica só leva a respostas erradas para os dois lados
  • O conceito de HX (Harness Experience), de Rob May: se por 30 anos UX serviu para fazer humanos clicarem nos botões certos, agentes autônomos pulam tudo isso
    • “O funil não quebrou; ele se tornou irrelevante”
    • HX é a camada de design para o humano que orquestra, confia e audita uma frota de agentes — o usuário não é o motorista, mas o diretor
    • Em vez de cliques e conversão, mede-se resultado, supervisão e intervenção

• Descoberta (Discoverability) e reutilização (Reuse)

  • Dois problemas, uma mesma causa raiz: uma IA que não é sua decide se o produto será usado ou não
  • Descoberta: quando o usuário pede ao ChatGPT “me ajude a planejar uma viagem para o México”, o ChatGPT escolhe entre Expedia, Booking e Kayak — quem seleciona a ferramenta é a IA, não o usuário
    • Por 30 anos, distribuição significou fazer humanos encontrar e escolher; no mundo dos agentes, a disputa é pela lógica de seleção da IA
  • Reutilização: mesmo que o usuário assine o Canva e tenha o app do ChatGPT instalado, ao pedir um design via ChatGPT, a IA decide a cada vez se chama o Canva ou não
    • “Possuir” o cliente não significa possuir o momento real em que o valor é gerado — um novo risco de plataforma
  • O que acompanhar: a lacuna entre “usuários que possuem ou pagam pelo produto” e “usuários para os quais a IA de fato chamou o produto”
    • Um assinante pago que a IA não chama há 30 dias é mais arriscado do que um assinante que apenas não fez login diretamente

• Produtos agente contra agente

  • Quando o produto é uma rede de agentes colaborando com agentes de outras pessoas, o significado de OMTM, stickiness e churn ainda não está claro
  • As quatro etapas do modelo Hooked agora carregam perguntas que não existiam cinco anos atrás:
    • o que significa trigger quando a IA aciona o gatilho, o que significa action quando a IA executa a ação, como recompensar uma entidade que não experiencia recompensa e se investimento se aplica a sistemas sem memória do loop anterior ou com memória perfeita

O que começar a fazer hoje

• Auditoria de métricas de engajamento: em vez de perguntar “o engajamento sobe e desce?”, pergunte “em que o tempo do usuário está sendo gasto?” — tempo de luta e fricção é fracasso embalado como engajamento
• Adicionar uma visão de qualidade por coorte: medir separadamente a qualidade do output de novos usuários e de usuários avançados — a diferença pode ser maior do que o esperado e indicar com precisão onde melhorar o onboarding
• Verificar a margem bruta por usuário ativo: com base em usuários ativos, não em usuários pagantes — o dashboard atual pode não mostrar se seus melhores usuários são seu maior ativo ou seu maior passivo
• Começar a medir separadamente o tráfego de agentes: mesmo que hoje seja 2%, é preciso estabelecer uma linha de base antes que o formato do tráfego mude
• Construir um harness de eval: se você não consegue avaliar de forma sistemática se a IA está executando o trabalho desejado, isso não é um produto, é “vibe”
• Avaliar a forma de desenvolver funcionalidades: verificar se você está executando experimentos rigorosos ou matando o produto com vibe stuffing