Como encontrar oportunidades de crescimento escondidas no produto

• Resumo do roteiro de um vídeo no YouTube em que Albert Cheng, que impulsionou o crescimento de produtos globais por assinatura como Duolingo e Grammarly, compartilha como conectar usuários ao valor do produto
  • Ele enfatiza que crescimento não é apenas hackear métricas, mas um processo de entrega de valor centrado no usuário
• Apresenta uma estratégia para expandir para todo o produto os insights obtidos em experimentos por meio do framework de Explorar (Explore) e Explorar ao máximo (Exploit), amplificando em mais de 10 vezes um experimento bem-sucedido
• No Grammarly, ao amostrar recursos pagos para usuários gratuitos e assim mostrar o verdadeiro valor do produto, conseguiu dobrar a taxa de upgrade
• No Chess.com, ao trocar a exibição de erros após uma derrota por um feedback positivo que mostra boas jogadas, houve melhora de 25% nas revisões de partidas, 20% nas assinaturas e um grande aumento na retenção
• O ponto central para o sucesso de produtos de assinatura para consumidores é uma alta retenção de usuários (D1 acima de 30% a 40%), além de crescimento orgânico por boca a boca e ampla entrega de valor por meio de um produto gratuito

---

Introdução e contexto de Albert Cheng

• Um dos maiores especialistas em crescimento para consumo do mundo, liderando crescimento e monetização em Duolingo, Grammarly e Chess.com
• No início, desenvolveu no YouTube recursos de streaming e jogos usados por mais de 20 milhões de pessoas
• Sua abordagem única para crescimento combina marketing, dados, estratégia e gestão de produto

Da carreira de pianista à liderança em crescimento

• Cresceu praticando piano clássico por 90 minutos todos os dias, filho de pais imigrantes de Taiwan
• Tinha ouvido absoluto (Perfect Pitch), reconhecendo notas imediatamente e aprendendo música rapidamente
• Considerou estudar em uma escola de música, mas mudou de direção para engenharia
• Pontos em comum entre piano e crescimento
  • Repetição contínua e aprendizado por meio de erros: desenvolvimento de ciclos rápidos de feedback e resiliência
  • Criatividade sobre uma base estruturada: encontrar soluções criativas sobre a estrutura de modelos e métricas de crescimento, semelhante a criar música bela com base na teoria musical

Framework de Explorar (Explore) e Explorar ao máximo (Exploit)

• Conceito originado em uma aula da Reforge de Brian Balfour, com a qual ele teve contato por meio de Nurmal, seu parceiro de engenharia no Grammarly
• Explorar (Explore): o processo de encontrar a montanha certa
• Explorar ao máximo (Exploit): concentrar recursos para subir essa montanha de forma eficaz
• A maioria das empresas pende para um dos extremos
  • Exploração excessiva: a equipe se dispersa e testa 100 ideias aleatoriamente, sem estratégia
  • Exploração ao máximo excessiva: leva à saturação e estagnação, ficando apenas em ótimos locais
• Equipes de crescimento costumam cair com facilidade no modo de exploração ao máximo

• Aplicação em nível micro: caso Chess.com

  • Dylan, PM do recurso de aprendizado do Chess.com, trabalhou para melhorar o engajamento com a revisão de partidas
  • Revisão de partida: recurso em que um treinador virtual ensina a pior jogada e a melhor jogada após o fim da partida
  • Descobertas por meio do acompanhamento de dados
    • 80% dos usuários que usam a revisão de partidas só a utilizam depois de vencer
    • A expectativa inicial era que a usassem para analisar derrotas ou erros, mas a psicologia humana era diferente
  • Mudança na experiência do produto
    • Em vez de mostrar erros após uma derrota, passou a exibir boas jogadas e as melhores jogadas
    • O treinador fornece uma mensagem de incentivo: "Derrotas fazem parte do aprendizado"
  • Resultados
    • 25% de aumento na revisão de partidas
    • 20% de aumento nas assinaturas
    • Grande melhora na retenção de usuários
  • Etapa de exploração ao máximo: compartilhar o insight com toda a empresa
    • O PM de puzzles aplicou o padrão positivo ao próprio produto
    • Exibição de taxa de sucesso, ajustes de copy, mudança de cor de botão etc.
    • Possibilidade de expandir em 10 vezes o sucesso do experimento

• Taxa de sucesso de experimentos e melhoria contínua

  • A taxa típica de sucesso de experimentos é de 30% a 50%
  • Produtos de consumo são altamente imprevisíveis, e muitas hipóteses estão erradas
  • Tanto experimentos de grande sucesso quanto grandes fracassos têm muito valor
    • É essencial compartilhar os insights com toda a empresa
    • O PM original não precisa encontrar sozinho todas as formas de aplicação
    • Se hipóteses e descobertas forem expressas com clareza, outras equipes podem gerar ideias
  • Para aumentar a taxa de sucesso e o impacto, os membros da equipe se concentram em torno dos insights

• Como saber a hora de alternar entre explorar e explorar ao máximo

  • O Chess.com realiza cerca de 250 experimentos por ano
  • Investimento em ferramentas de exploração de experimentos (Experiment Explorer Tools)
    • Visão geral de todos os experimentos em andamento
    • Identificação de padrões entre hipóteses e aprendizados
  • Quando aumentam os experimentos sem significância estatística, isso é um sinal de exploração ao máximo excessiva
    • Pode ser que não haja mais tanto para extrair dali
    • Recomenda-se que a equipe volte a fazer brainstorming e pratique pensamento divergente

Acelerando o crescimento com IA

• Recurso de texto para SQL

  • Usado no canal de Slack de solicitações de dados do Chess.com
    • Antes: analistas de dados respondiam manualmente a perguntas ad hoc (número de assinantes na África do Sul, tempo jogado em puzzles no mês passado etc.)
    • Agora: um bot no Slack executa consultas automaticamente e fornece análises
  • Efeitos
    • O bot do Slack foi treinado para ser a primeira fonte de resposta
    • A empresa inteira passou a tomar decisões mais orientadas por dados
    • Explosão no número de perguntas
      • Até perguntas que antes davam vergonha de fazer agora podem ser feitas com tranquilidade
      • Efeito semelhante ao do ChatGPT: ter um interlocutor confortável faz grande diferença

• Ferramentas de prototipagem com IA

  • Reduzem o caminho da ideia até uma solução representativa
  • Antes: várias etapas com intervenção humana (escrever a ideia → especificação → revisão → design etc.)
  • Abordagem do Chess.com
    • Construção de protótipos com IA para telas principais (fluxo de onboarding, tela inicial, tabuleiro de xadrez)
    • Uso de ferramentas como v0 e Lovable
    • Compartilhamento com toda a empresa para uso como ponto de partida
    • Permite visualizar rapidamente ideias, discutir e testar

• Stack de IA

  • PM: Vzero
  • Designer: Figma Make
  • Engenheiro: Cursor, Claude Code, GitHub Copilot
  • Marketing: ferramentas de tradução, legendagem e adaptação de conteúdo
  • Suporte ao cliente: Intercom Fin
  • Desafio: a transição fluida de tinkering para workflow ainda não foi resolvida
    • Cada função prefere ferramentas diferentes
    • Falta interoperabilidade entre ferramentas
    • Ainda são necessários handoffs entre funções até chegar ao deploy em produção
    • Melhorias em andamento com investimento em componentes de design system e MCP

O maior caso de sucesso de monetização do Grammarly

• Contexto e identificação do problema

  • O Grammarly é um assistente de escrita com IA oferecido como extensão do Chrome ou cliente desktop
  • Modelo de negócios freemium: mais de 90% dos usuários são gratuitos, e o restante são assinantes pagos
  • A equipe de Kyla, PM de conversão em assinatura, era responsável por melhorar o caminho de conversão do gratuito para o pago
  • Problema inicial identificado
    • Havia pouco rastreamento dos tipos de sugestões recebidas pelos usuários e da frequência de exposição ao paywall
    • Foi necessário construir primeiro a instrumentação

• Insight principal

  • Apenas uma pequeníssima parte dos usuários gratuitos aceitava todas as sugestões
    • A maioria aceitava seletivamente
  • A experiência real do usuário gratuito: o Grammarly era visto como uma ferramenta que só corrige ortografia e gramática
    • Isso porque as sugestões gratuitas eram focadas em correção (Correctness)
  • Os recursos pagos incluíam melhorar o tom para mais empatia, aumentar a clareza e reescrever frases inteiras

• Solução: amostragem de sugestões pagas

  • Amostrar diferentes sugestões pagas e distribuí-las pela escrita dos usuários gratuitos
  • Oferecer uma degustação limitada dos recursos pagos
  • Preocupação: oferecer demais poderia reduzir a intenção de assinar
  • Resultado: foi exatamente o contrário
    • Os usuários passaram a perceber o Grammarly como uma ferramenta muito mais poderosa
    • A taxa de upgrade quase dobrou

• Lições de monetização

  • Em produtos freemium, o produto gratuito precisa refletir o conjunto total de funcionalidades
  • Alguns recursos pagos têm custo, mas mostrá-los da melhor forma possível compensa por si só
  • Conceito de teste grátis reverso (Reverse Trial), em vez de teste grátis baseado em tempo
    • Mostra melhorias em tempo real durante a escrita
    • Oferece apenas uma quantidade limitada por dia e depois renova
  • Adaptação de um padrão do setor ao caso de uso específico do Grammarly

Modelo freemium vs. trial

• Por que escolher o modelo de assinatura freemium

  • Orientação pela missão: objetivo do fundador de disseminar o produto o mais amplamente possível
    • Duolingo (educação), Grammarly (escrita) e Chess.com (xadrez) têm propostas de valor amplas em escala global
    • A menor barreira de entrada é um produto gratuito
  • Crescimento por boca a boca: o produto cresce principalmente por indicação
    • Possibilidade de construir efeitos de rede: recursos sociais do Duolingo
    • Estratégia B2C2B do Grammarly: usuários gratuitos incentivam a compra por equipes ou colegas
  • A proposta de valor principal é oferecida gratuitamente de forma permanente, enquanto recursos premium são apresentados como amostra

• Trial vs. reverse trial

  • Reverse trial: forte em recursos B2B, especialmente quando há lock-in
    • Começa sem exigir cartão de crédito
    • Alto investimento de tempo no uso de CRM ou na construção de conteúdo
    • Quando o período de trial termina, a chance de continuar e pagar é alta
  • Trial gratuito tradicional: mais comum em produtos de consumo
    • Em produtos de consumo, o reverse trial tende a funcionar pior

O núcleo do sucesso em produtos de assinatura para consumidores

• A importância da retenção de usuários

  • Retenção de usuários é ouro para empresas de assinatura de consumo
  • Se a retenção é baixa, todo o peso recai sobre o pagamento do primeiro dia
    • Pagar o custo de aquisição de usuários
    • Necessidade de upsell agressivo antes de formar um padrão de uso habitual
  • Muitos apps usam essa abordagem, mas têm dificuldade para passar da fase inicial

• Diferenças nas rotas de crescimento

  • Duolingo e Chess.com: negócios baseados em boca a boca orgânico
    • Crescem expandindo o mercado
    • Em contraste com a disputa por participação em mercados altamente competitivos
  • Em mercados competitivos, há disputa para adquirir usuários com lances mais altos

• Metas de retenção

  • Retenção de novos usuários (D1, D7 etc.)
    • Retenção D1 de 30% a 40%: bastante sólida para um app de consumo
    • Muito abaixo disso levanta dúvidas sobre a intenção do usuário ou a capacidade de aquisição com base em DAU
  • É difícil atingir isso porque há muitas opções no mercado e fadiga de apps
  • Retenção de usuários atuais (CURR): muito mais importante
    • Para produtos com frequência diária, é a métrica mais importante
    • Mostra a aderência da base existente que desenvolveu padrões habituais
    • Ao longo do tempo, o hábito diário se constrói com efeito composto
    • À medida que a empresa amadurece, a maior parte da energia se concentra em mecanismos de retenção dos usuários existentes

• A exceção do Grammarly

  • No Grammarly, após a instalação, o usuário não o abre ativamente todos os dias
  • Ativação, instalação e momento “aha” são extremamente importantes
    • Uma única instalação mantém o usuário por um período muito longo
  • Como funciona automaticamente ao digitar, as estatísticas de DAU não são precisas

A importância dos usuários ressuscitados

• Componentes de DAU/WAU

  • Em uma empresa madura (Chess.com), cerca de 80% dos usuários ativos diários/semanais são usuários atuais ou antigos
  • O restante é composto por novos usuários e usuários reativados (ressuscitados) em volumes semelhantes
  • Depois que a empresa amadurece, há muito interesse em novos usuários, mas na prática a participação deles não é tão grande

• Acúmulo de usuários inativos e esporádicos

  • Com o tempo, acumula-se um grande número de usuários inativos
  • Usuários esporádicos: não usam todos os dias, mas usam 1 a 2 vezes por semana ou por mês
  • No fim, acumulam-se centenas de milhões de usuários dormentes
  • Vale a pena investir na experiência de ressurreição
    • Encontrar novas formas de trazê-los de volta

• Estratégia de ressurreição do Duolingo

  • Uso de notificações sociais
    • Se o usuário sincronizou os contatos, recebe uma notificação push de que um amigo próximo começou a usar o Duolingo
    • Isso incentiva o retorno ao produto
  • Mecanismo de reposicionamento
    • A pessoa estudou francês há 3 anos, mas esqueceu a maior parte
    • Ao reabrir o app, é recomendado um teste de nivelamento para colocá-la no nível adequado
  • Para empresas maduras, esses mecanismos oferecem ROI bastante alto

Diferenças entre Duolingo, Grammarly e Chess.com

• Duolingo: uma máquina de experimentação sistemática

  • Abordagem de desenvolvimento de produto muito específica e consistente
  • Criação e divulgação do playbook Green Machine
  • Espírito empresarial
    • Contratação em massa de talentos inteligentes e cheios de energia logo após a graduação universitária
    • Oferta de ferramentas incríveis para experimentação
    • Forte valorização da clock speed da empresa
    • Muita criatividade e geração de ideias
  • A experiência do produto muda várias vezes por dia para cada usuário
    • Em um nível realmente impressionante
  • Existem especificações e processos em cada etapa do ciclo de desenvolvimento do produto
    • Operação muito rigorosa e consistente
    • As revisões de produto são rápidas, de cerca de 10 a 15 minutos

• Grammarly: evolução de B2C para B2B

  • No começo, surgiu como um produto pago voltado para estudantes
  • Aos poucos, expandiu para um modelo premium para todos, com foco maior em profissionais
  • Funções específicas de determinadas empresas (marketing, vendas, suporte ao cliente) adotam o Grammarly em larga escala
  • Adicionou um movimento enterprise gerenciado
  • Papel de Albert: focar no movimento self-serve de consumo, mas de forma conectada, não isolada
    • Aumento de receita self-serve e de usuários ativos
    • Product-Led Sales: identificar equipes/funções/empresas adequadas, gerar demanda e repassá-la para vendas
  • Evoluiu rapidamente com a transição para IA generativa
    • Com as recentes aquisições da Coda e da Superhuman, está se transformando em uma suíte de produtividade
  • Ao contrário do Duolingo, exige mais decisões estratégicas
  • A equipe principal de produto lidera a maior parte das atividades iterativas
    • A frequência e a qualidade das sugestões afetam mais a retenção dos usuários atuais
    • Albert montou uma equipe de growth, mas percebeu que, na prática, a equipe principal de produto precisava liderar isso
    • Após conversar com os líderes de produto, transferiu a responsabilidade

• Chess.com: paixão fanática por xadrez

  • Os funcionários são fanaticamente apaixonados por xadrez
  • Contratam remotamente no mundo todo, mas apenas pessoas que amam xadrez
  • Passam o dia jogando xadrez e assistindo a streams
  • O Slack está sempre fervendo com lances e partidas de xadrez
  • No caso do Duolingo
    • É um produto de aprendizado de idiomas, mas seu espírito original é a motivação
    • O mais difícil é a formação de hábito
    • Aprender idiomas é o primeiro meio, e motivação e hábito são o superpoder
  • No caso do Grammarly
    • É conhecido por corrigir ortografia e gramática, mas sua verdadeira singularidade está na integração em inúmeras aplicações
    • Agora, como uma supervia de IA, pode oferecer muito mais do que escrita gramaticalmente correta
  • O Chess.com é 100% sobre xadrez
    • Isso está impregnado em sua cultura, e as pessoas são apaixonadas
    • Sempre fazem dogfooding do produto
    • Há uma energia impressionante em usar o produto o tempo todo e propor ideias

Como a IA está transformando o Chess.com

• A longa relação entre xadrez e IA

  • Xadrez e IA estão entrelaçados há quase um século
  • Os primeiros pioneiros da computação escolheram o xadrez para testar a inteligência das máquinas
  • O Deep Blue da IBM, em 1997, derrotou o campeão mundial Garry Kasparov
    • Foi um momento de choque e reflexão sobre se a IA substituiria os humanos
    • Isso foi há 30 anos, mas todos ainda existem, e há mais gente jogando xadrez do que nunca

• A capacidade atual dos motores de xadrez

  • Motores como o Stockfish são dramaticamente superiores ao melhor grande mestre do mundo
  • Comparação pelo sistema de rating ELO
    • Jogador médio de xadrez: 1.000~1.500
    • Melhor grande mestre (Magnus Carlsen): cerca de 2.800
    • Stockfish e motores similares: cerca de 3.600
  • Motores de xadrez conseguem competir com os melhores jogadores mesmo jogando sem peças importantes, como a torre
  • Com poder computacional, fazem dezenas de milhões de cálculos por segundo, o que torna impossível competir como humano
  • Ao observar como os motores de xadrez jogam, surge uma nova criatividade, estratégia, linhas e apreciação pelo jogo

• A abordagem do Chess.com para usar IA

  • Levar essa tecnologia a todos os usuários, incluindo quem acabou de mover uma peça pela primeira vez
  • Produto de revisão de partidas: executa um motor de xadrez nos bastidores para gerar avaliações de cada lance
  • Entregue ao usuário em um estilo traduzido e acessível
    • No idioma nativo do usuário
    • Também disponível em áudio
  • Uso de LLMs: na parte que transmite personalidade e tom de voz ao usuário
  • Princípio central: o cliente em primeiro lugar
    • Não aplicam LLMs só porque estão na moda
    • Aplicam a tecnologia certa à funcionalidade certa para gerar valor ao usuário
    • Não se deixam levar pelo hype

• A capacidade dos LLMs de jogar xadrez

  • Surpreendentemente, os próprios LLMs jogam xadrez muito mal
  • Sofrem com alucinações; reconhecem bem padrões de movimento, mas não conseguem fazer análises de xadrez muito profundas
  • Ao gerar uma imagem de tabuleiro com o ChatGPT, o número de casas pode sair errado ou a configuração pode ficar inadequada
  • Espera-se que a capacidade de raciocínio melhore
  • O Google patrocinou recentemente um torneio em que os principais LLMs jogaram entre si
    • Eles estão melhorando, mas no xadrez os motores de computação profunda treinados ainda são muito mais poderosos que LLMs

• AlphaZero e AlphaGo

  • O documentário AlphaGo expressa um conteúdo tecnicamente profundo de forma emocional e humana
  • Método de treinamento do AlphaZero: jogar incontáveis partidas contra si mesmo
    • Fica mais inteligente a cada vez por meio de redes neurais
    • Com bilhões a trilhões de repetições, torna-se extremamente habilidoso

Como a IA está mudando o papel de growth

• Definição de growth

  • O papel de growth: conectar os usuários ao valor do produto
  • Estruturar equipes considerando a jornada do usuário, por elemento
    • Cada equipe tem metas de métricas específicas e um roadmap
    • Executa com base nessas metas
  • A IA pode acelerar algumas partes do ciclo de experimentação

• Uso de IA em Product Discovery

  • O produto principal exige horizontes de tempo mais longos e pesquisa rigorosa de usuários e mercado
  • Growth executa muitos experimentos, e o resultado de cada experimento vira insumo para a próxima ideia
  • Forma tradicional: escrever documentos de análise manualmente
    • Ler e extrair insights
    • Traduzir ideias em outras especificações
  • Uso de IA
    • Resumir a análise de outras pessoas com ferramentas como ChatGPT
    • Oferecer conselhos sobre ideias a testar
    • O ciclo de ideação e pesquisa ficou muito mais rápido
  • A prototipagem também foi dramaticamente encurtada
    • Ainda não é o estágio em que PMs colocam código em produção por conta própria
    • Mas houve uma redução drástica, especialmente, no tempo para conceber ideias ousadas

• Impacto sobre exploração e aproveitamento

  • Antes: explorar era mais difícil
  • Agora: explorar ficou muito mais fácil
    • É possível visualizar conceitos amplos
    • Uma vez visualizados, dá para discutir em equipe e clicar neles
    • Isso gera uma diferença que muda o mundo

Dicas para ampliar a escala de experimentação

• Primeira dica: simplesmente começar

  • Relatório sobre o estado dos produtos da Atlassian: 40% das equipes de produto não executam experimento nenhum
  • Pode ser compreensível por razões filosóficas ou por foco em B2B
  • Mas, para um produto de consumo com certo porte e frequência de uso
    • Dá para coletar dados suficientes
    • Mesmo com muita experiência, frequentemente estamos errados
    • O comportamento do consumidor é muito volátil
    • Ao trabalhar na empresa, você naturalmente vira um power user e esquece a experiência do novo usuário
  • Recomenda-se dar o primeiro passo
    • Executar testes A/B
    • Procurar ferramentas de terceiros e integrá-las rapidamente
    • Trabalhar com engenheiros para construir algo
    • Praticar o modelo crawl-walk-run

• Ferramentas preferidas

  • Na Grammarly, usam StatSig (recentemente adquirida)
  • Duolingo e Chess.com têm ferramentas internas de experimentação
  • Há prós e contras
    • Como o Duolingo é uma máquina de experimentos, uma ferramenta sob medida é um grande acelerador
  • Em geral, não se recomenda construir internamente desde o início
    • Em certa escala, isso pode fazer sentido
    • Essas empresas foram fundadas há 15 anos, quando essas ferramentas não existiam

• Segunda dica: o sistema importa tanto quanto cada experimento

  • O sistema é tão importante quanto cada experimento, talvez até mais
  • Comece pelo modelo de growth
    • Entenda como a empresa cresce
    • Identifique quais canais serão usados
  • Instrumentação do produto é essencial
    • Caso contrário, os resultados dos experimentos ficam estranhos
  • Caso real: uma empresa usava uma ferramenta interna de experimentação
    • Após 3 meses, descobriram que a retenção de usuários estava configurada ao contrário
    • Todos os resultados positivos eram, na verdade, negativos
    • Foi extremamente constrangedor, e isso nunca mais vai acontecer

• Terceira dica: compartilhar e disseminar insights

  • Quando encontrar um experimento de grande sucesso ou um grande fracasso
    • Compartilhe com clareza com a empresa inteira
    • Expresse com clareza a hipótese e o que foi descoberto
    • O PM original não precisa encontrar sozinho todas as formas de aplicar aquilo
  • Como líder de growth, incentive outras pessoas a convergirem (Swarm) nas ideias
    • A taxa de sucesso melhora
    • O impacto aumenta

Meta de 1.000 experimentos por ano

• A jornada de experimentação do Chess.com

  • Antes de 2023: quase não faziam experimentos
  • Ano passado: cerca de 50
  • Este ano: cerca de 250 em andamento
  • Meta para o próximo ano: 1.000

• O verdadeiro significado da meta

  • Foi uma meta criada por Albert, mas o número em si não é o objetivo
  • O verdadeiro valor de definir a meta: provocar conversas sobre o que precisa ser verdade
  • Insights para alcançar a meta
    • Não são apenas PMs ou engenharia que fazem experimentos
    • Marketing de ciclo de vida: experimentos com mudanças em notificações push e textos de e-mail
    • App Store: experimentos com screenshots, palavras-chave etc.
    • Equipe de marketing de conteúdo e outras
    • Ativação de No-Code em telas específicas sem apoio de engenharia
      • Muitos testes configuráveis na tela inicial ou na tela de preços
    • Acompanhar o progresso e garantir observabilidade
  • Mais importante do que realmente atingir 1.000 é alcançar essas coisas
  • Se chegarem perto da meta e conquistarem isso, já estarão em uma situação muito boa

Como fazer a mudança cultural

• A mudança cultural dramática da Chess.com

  • De 0 experimentos para 1.000 em 2 anos (cerca de 3 por dia)
  • Muitas equipes conduzindo experimentos em paralelo

• Fatores de sucesso da mudança cultural

  • Apoio da liderança

    • Muito do mérito vai para o CEO e os cofundadores Eric e Danny
    • Experimentação não era o modo intuitivo de pensar deles
    • Foi adicionada como ferramenta com flexibilidade mental e incentivo
    • Na linha de frente, eles defendiam crescimento liderado por produto e experimentação
    • Era muito importante não entrar em conflito com os fundadores e a abordagem existente

  • Compartilhar casos reais de sucesso

    • Como nos casos de review de partidas e positividade, é preciso mostrar o que realmente funciona
    • É preciso ter vitórias (wins): celebrar e fazer as pessoas se sentirem bem sobre o aprendizado
    • Quando isso se espalha pela organização, todo mundo ganha energia
    • As métricas se movem e a equipe aprende e lança mais rápido
    • Não basta definir metas de cima para baixo
    • As pessoas precisam ver o que funciona

  • Experimentos iniciais

    • Alguns experimentos já estavam em andamento antes da chegada do Albert
    • Já havia embalo

Lições adicionais sobre experimentação

• Caso de sucesso do Duolingo

  • Streak e imersão

    • Jackson discutiu isso no podcast
    • Efeito de aprendizagem por meio de imersão e exibição do streak no calendário
    • Mais importante do que alcançar um grande marco é começar

  • Equipe de virality

    • Virality é um conceito muito ambíguo e muito difícil de gerar dentro do produto
    • O Duolingo é um produto bastante compartilhado
    • Investimento em rastreamento de screenshots
      • Encontrar os hotspots em que os usuários tiram screenshots no app
      • Encontrar maneiras de observar isso também em outros apps
      • Rodar isso apenas por um período determinado
    • Hotspots de compartilhamento encontrados
      • Marcos de streak: ponto óbvio para compartilhamento
      • Desafios muito divertidos: taxa de compartilhamento muito alta
      • Entrar no top 3 do leaderboard não era algo que as pessoas compartilhavam
    • Colocar ilustradores e animadores nesses momentos
    • Criar uma experiência muito prazerosa
    • Resultado: funcionou surpreendentemente bem
    • Lição: não forçar compartilhamento contra a intuição humana
      • Encontrar os momentos em que os usuários já tiram screenshots organicamente
      • Tornar esses momentos muito, muito melhores
      • Amplificar em 5x ou 10x para impulsionar muito crescimento

Os três pilares da gamificação

• Modelo de gamificação do Jorge

  • Os padrões de gamificação são, em essência, três pilares

  • 1. Core Loop

    • Duolingo: progresso nas lições
      • Concluir a lição → ganhar recompensa → estender o streak
      • Notificação push no dia seguinte
    • É importante deixar o core loop bem apertado
      • As pessoas precisam de um hábito ao qual consigam se manter fiéis

  • 2. Metagame

    • Duolingo: Path, leaderboard, conquistas
    • Coisas para perseguir no longo prazo
    • Oferece motivação de longo prazo para continuar ativo

  • 3. Profile

    • Construir o perfil ao longo do tempo
    • Reflexo do investimento dentro da experiência do produto
    • Se esses três elementos forem bem executados, há chance de sucesso na jornada de aprendizado de longo prazo

• O desafio de novos usuários na Chess.com

  • Mais de 75% dos novos usuários são classificados como completos iniciantes ou iniciantes
  • Iniciantes não se divertem em partidas ao vivo
    • Dado: taxa de vitória na primeira partida abaixo de 1/3
    • Quando perdem a partida, a retenção piora em 10%
    • Em escala, isso é ruim
  • Em jogos mobile comuns, cria-se uma versão extremamente simplificada
    • No xadrez isso é mais difícil (não dá para mudar as regras)

• A importância da fase inicial de aprendizagem

  • Seja no aprendizado de idiomas ou no xadrez, os primeiros passos são cheios de dúvida sobre si mesmo
  • Experiências que reforçam a sensação de que a pessoa não consegue fazer aquilo
  • Vale a pena projetar intencionalmente uma experiência que guie o usuário por essa fase

• A solução da Chess.com

  • Se a pessoa se identifica como iniciante total, oferecer uma experiência de aprendizado jogando mais divertida
    • Não colocá-la direto em partidas ao vivo
  • Esconder o rating nas 5 primeiras partidas
    • Para que a pessoa não veja sua pontuação despencando
  • Vários caminhos: jogar com coach, com amigos, com bots etc.
  • Dicas em tempo real: enquanto joga com uma pessoa real, receber orientação sobre para onde mover
    • Ajudando a vencer

Lições contraintuitivas sobre montar equipes

• Forma tradicional de contratação

  • Escrever a JD (descrição da vaga)
    • Listar várias características que você está procurando
  • Montar uma shortlist de empresas parecidas com a sua
  • Tentar contratar pessoas de lá
  • Caminho padrão básico do setor

• Descoberta do Albert: high agency

  • Percepção vinda de várias startups pequenas e da experiência no Duolingo
  • Características dos melhores performers
    • High agency muito forte
    • Clock speed: pensar e agir rápido
    • Energia
    • Interesse na missão, mas experiência profunda não é necessariamente obrigatória
  • A experiência pode até virar uma muleta (crutch)
    • Especialmente em um mundo em que a base muda rapidamente por causa da IA
    • Muitos hábitos aprendidos precisam ser descartados intencionalmente
    • É preciso uma Beginner's Mind
  • Procurar pessoas que respondem e se movem rápido
  • Velocidade de aprendizado alta
  • São esse tipo de empresa que vai sobreviver e prosperar

• Como identificar high agency

  • Grande parte disso acontece fora do processo de entrevista
  • Sinais
    • Tipo de perguntas: a pessoa realmente testou o produto e foi a fundo?
    • Referências
    • Comunicação para marcar a entrevista
    • Energia que a pessoa traz para a conversa
  • Dá para captar muitos soft signals
  • Com o tempo, você passa a reconhecer esses padrões
  • Antes, ele olhava só para perguntas e rubricas e não prestava atenção no resto
  • Agora considera essas coisas de forma muito mais equilibrada
  • Existe um fator de vibes
  • Defende o formato de entrevista com work trial
    • Em vez de entrevista baseada em conversa, trabalhar junto de verdade por cerca de uma semana

Escolha do porte da empresa

• A zona Goldilocks de Albert

  • Experiência que vai da Google (grande empresa) até startups minúsculas
  • Descobriu o lugar ideal para si: porte intermediário

• Características de cada porte

  • Grandes empresas (Google)

    • Lidar com uma escala enorme
    • Aprender muitas boas práticas com os colegas
    • Ter todas as ferramentas e recursos que você quiser
    • Mas com tendência a se mover devagar
    • É difícil colocar coisas em produção e lançar
    • No fim, isso enlouquece um pouco

  • Startups minúsculas

    • Se movem muito rápido
    • Mas foi aí que surgiram todos os cabelos brancos do Albert
    • Ninguém conhece a empresa
      • Contratar pessoas uma por uma
      • Conquistar usuários um por um
    • Dá para aprender rápido e lançar bastante, mas
    • para causar grande impacto no mundo pode ser extremamente duro
    • Algumas entram em hipercrescimento e dão certo, mas
    • Albert tentou esse caminho por um tempo e concluiu que não era para ele

  • Porte intermediário (500 a 1.000 pessoas)

    • Possibilita contribuições em escala e, ao mesmo tempo,
    • permite executar no ritmo diário e semanal
    • Dá para ver os esforços da empresa como um todo e ainda
    • mergulhar nos detalhes
      • Ler resultados de experimentos
      • Examinar pixels
      • Colaborar com uma equipe específica
    • Empresa com 10 a 20 anos
      • Durável e, idealmente, lucrativa
      • Boa equipe de liderança
      • Ainda há muitas dimensões a descobrir
      • Está em um ponto de inflexão importante
      • Não está estagnada, é dinâmica

• O estágio ideal para cada pessoa

  • Todo mundo tem um estágio de empresa em que brilha mais
  • A trajetória de Albert foi de big tech → startup minúscula → porte intermediário
  • O meio é sua zona Goldilocks

Canto do fracasso: o caso Chariot

• Contexto

  • Serviço de shuttle para deslocamento diário em San Francisco
    • Shuttles para 15 pessoas
    • Operava de vários bairros até o centro de San Francisco
  • Ficava no meio-termo entre o sistema público de ônibus e Uber/Lyft
  • Albert trabalhava como responsável por produto
  • O serviço principal era muito amado pelos usuários
    • Confiável, rápido e barato o suficiente

• A tentativa que fracassou: Chariot Directly

  • Ideia: melhorar a utilização com rotas dinâmicas
    • Tornar o produto mais inovador, de forma semelhante a Uber/Lyft
  • O motorista seguia uma rota fixa, mas
    • se tivesse tempo livre, podia sair da rota para buscar alguém em casa
  • Tentaram, mas no fim não funcionou

• Lições aprendidas

  • 1. A solução procurando um problema

    • Correr atrás de "será que isso não seria legal?"
    • Em vez de "estes são nossos usuários e este é o problema que resolvemos"
    • Em vez de "é por isso que isso os encantaria"
    • Não se deve começar pela solução em vez do problema

  • 2. Considerar um mercado de dois lados (marketplace)

    • Existe mais de um usuário final
    • Foco excessivo apenas no app dos passageiros
    • Sem perceber que os motoristas carregavam grande parte do peso da experiência
    • O mesmo valia para a equipe de operações
    • Se o motorista estiver confuso ou insatisfeito,
      • a experiência geral do produto pode se tornar difícil

  • 3. O risco de fazer PR antes da validação

    • Houve muito PR antes do lançamento do serviço para gerar buzz
    • PR tem hora e lugar
    • Mas fazer isso antes de validar que os clientes realmente querem é muito arriscado
    • Depois do lançamento, houve muito custo afundado
      • Você sente que precisa levar até o fim
      • Quer ver aquilo dar certo

• Retrospectiva

  • Já faz 10 anos, mas ele ainda se lembra vividamente
  • Teve bons momentos na empresa
  • A experiência trouxe mais de três lições centrais
  • Lições que carregou depois ao construir muitos outros produtos

Lightning round

• Livros recomendados

  • O que está lendo agora

    • Como tem filhos de 4 anos e 1 ano, lê principalmente livros infantis
    • Snuggle Puppy: tem música, faz a filha rir alto e aquece o coração

  • Recomendação de livro para trabalho: Ogilvy on Advertising

    • É um livro de 40 anos, mas cheio de exemplos práticos
    • Fala sobre copy e criatividade
    • A publicidade é antiga, mas a abordagem é orientada a experimentação
    • No fim, o que importa é levar o usuário à ação
    • O objetivo é comprar o produto
    • Não é fazer um anúncio esperto nem uma criação sexy
    • Isso se aplica muito a equipes de produto e lifecycle

  • Dark Squares

    • Memórias de Danny Wrench, cofundador da Chess.com
    • Ele é muito famoso no mundo do xadrez
    • Conta como cresceu em um culto abusivo enquanto era um prodígio do xadrez
    • Uma história inacreditável
    • Ele está mais ou menos na metade da leitura
    • Lembra como é impossível saber o quão profundo é o passado das pessoas com quem trabalhamos
    • O título remete tanto às casas escuras do tabuleiro quanto a um passado difícil
    • Deve ser lançado na época em que este podcast for ao ar

• Lema de vida

  • Frase da mãe: "Nada é mais importante do que a reputação"
  • Interpretação caridosa
    • As pequenas decisões tomadas todos os dias
    • Como você trata as pessoas
    • Como você se apresenta
    • Qual é o seu caráter
  • Tudo isso se acumula como juros compostos e abre portas de formas surpreendentes
  • Muitas empresas das quais participou vieram por conexões relativamente leves
  • Até este podcast veio de ver pessoas com quem já trabalhou participando
  • Fazer a coisa certa e construir uma boa reputação pode te levar longe
  • O outro lado: a reputação é frágil
    • Se você fizer a coisa errada, leva muito tempo para se recuperar
  • Um lema de vida interessante que ficou na cabeça dele por toda a vida

Mensagem principal

• Percepção: é importante ser fiel à experiência real
  • Muitas lições vêm das tentativas de outras pessoas
  • Atuar como uma esponja mental
  • Tentar coisas diferentes
  • Absorver e colocar em prática imediatamente
  • Descartar o que não funciona e evoluir conforme as necessidades da empresa

[t7vonn]

Parece alguém daquela empresa de mensageria que esteve recentemente no centro da polêmica..