- Usando 1.903 personas de IA criadas com base em dados reais de comentários do Hacker News, foi possível prever se títulos de posts se tornariam virais, alcançando 60% de precisão
- Isso representa um desempenho 20% superior ao acaso, abrindo possibilidade até de substituir pesquisas de mercado tradicionais, mas também revelou que a dinâmica de difusão social é o principal fator que dificulta a previsão
- A análise dos casos de falha mostrou o impacto de sorte e timing, em que alguns upvotes iniciais podem mudar todo o resultado
- O resultado sugere que a IA consegue modelar bem preferências individuais, mas esbarra em limites na hora de prever sucesso viral
- O autor recomenda usar pesquisa de mercado com IA mais para explorar direções do que para fazer previsões exatas, com foco em avaliação relativa e simulações repetidas
Visão geral do experimento e resultados
Método do experimento: uma comunidade virtual do Hacker News formada por IA
- Foram coletados 1.147 títulos de posts do Hacker News publicados em 12 de março de 2025
- Com base em comentários reais de usuários, foram criadas 1.903 personas de IA, e cada uma recebeu a pergunta: "daria upvote neste título?"
- Depois de misturar posts reais de topo e de baixo desempenho, a precisão da previsão foi medida
- A taxa de acerto foi de 60%, mostrando desempenho significativamente melhor que o acaso (50%)
Casos de falha de previsão e limitações
- “Gemma 3: Google’s new multimodal models” foi previsto pela IA como viral, mas na prática ficou em apenas 4 upvotes
- Já “Gemma 3 Technical Report [pdf]”, sobre o mesmo tema, registrou 1.324 upvotes
- Além disso, títulos chamativos como “TSA finds live turtle in man’s pants” também foram previstos como sucesso pela IA, mas fracassaram na prática
Análise das causas
- O potencial viral depende muito mais do contexto social, como exposição inicial, número de upvotes e timing, do que da qualidade individual do conteúdo
- Estudo de Princeton: ao expor a mesma lista de músicas de forma diferente para grupos distintos, algumas faixas repetidamente viravam grandes sucessos ou fracassos totais
- Conclusão: em vez de "conteúdo bom tem sucesso", o que domina é o efeito de rede em que "o conteúdo que teve a sorte de ganhar exposição acaba tendo mais sucesso"
Implicações práticas: como usar pesquisa de mercado com IA
- Previsões com personas de IA não são perfeitas, mas oferecem uma 'precisão útil' de 60%
- As alegações de precisão na casa dos 90% feitas por outras ferramentas de pesquisa de mercado com IA se baseiam em dados de pesquisa, então diferem bastante da previsão de viralização no mundo real
Estratégias de aplicação prática
- Usar como ferramenta de experimento repetido e exploração de direção, não de previsão
- Ex.: testar 10 headlines para eliminar candidatos que não valem a pena
- Validar por meio de simulações repetidas
- Ex.: um conteúdo que recebe avaliação alta em 6 de 8 rodadas já merece ser testado
- Focar na comparação de ranking relativo, não em valores absolutos
- A IA consegue distinguir bem diferenças claras de força, mas tem dificuldade em prever entre conteúdos muito parecidos
Teste você mesmo: prompt para replicar usuários do HN
- Ao copiar o texto da página de comentários de um usuário do Hacker News e colá-lo no ChatGPT ou Claude com o prompt abaixo, é possível criar uma persona virtual.
> You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- Dá para testar várias ideias de conteúdo com a persona criada
- Esse método não é uma previsão estatisticamente calibrada, mas ainda assim pode ser usado como uma ferramenta útil para explorar direções sem custo
Conclusão
- A IA consegue modelar bem a reação de usuários individuais, mas o sucesso viral é afetado pelo 'caos' da difusão social
- No fim, na previsão de conteúdo, a IA não pode ser uma profeta, apenas um guia de direção
- Mesmo assim, o experimento abre a possibilidade de pequenas equipes ou indivíduos fazerem pesquisa de mercado com IA a baixo custo
Ainda não há comentários.