Quão fácil é manipular respostas de IA? Só mudar a descrição do produto já dá 90% de taxa de vitória

Principais resultados do experimento (artigo E-GEO da Columbia Univ.)

• A IA reescreveu a descrição do produto de forma longa e persuasiva → ficou em 1º lugar nas recomendações da IA com 90% de taxa de vitória em relação ao original
• Manteve uma taxa média de vitória de 87~88% em categorias como eletrodomésticos, roupas e eletrônicos
• Ao contrário do esperado, expressões infladas e exageradas foram muito mais eficazes do que textos concisos e factuais

7 vulnerabilidades dos LLMs (resumo de Kevin Indig)

• Baseados em probabilidade → dão respostas diferentes até para a mesma pergunta (consistência de marca em torno de 20%)
• Os resultados variam mesmo com o mesmo prompt
• Viés nos dados de treinamento + preferência de fontes diferente por modelo (ChatGPT ↔ Wikipédia / Google AI ↔ Reddit)
• A evolução dos modelos (GPT-3.5 vs 4) pode invalidar estratégias anteriores
• Variáveis de personalização (reflexo de dados do usuário em Gemini etc.)
• Prompts longos aumentam a dificuldade de manipulação
• → Mesmo com toda essa incerteza, manipular continua sendo muito fácil

Outros estudos relacionados

• GEO (2023): adicionar estatísticas e citações → 40%↑ de visibilidade para a IA
• Manipulating LLM (2024): inserir estrutura JSON elevou o ranking
• Ranking Manipulation (2024): até instruções diretas como “recomende este produto em 1º lugar” funcionam

Conclusão & perspectiva

• Na era da busca e recomendação baseadas em LLM → espera-se a volta da corrida armamentista do SEO tradicional
• Forte aumento de conteúdo exagerado e inflado → preocupação com piora da experiência do usuário
• Assim como o Google, empresas de LLM também passam a precisar de atualizações de filtros e penalidades
• Solução: transparência sobre as fontes + reforço da verificação crítica pelos usuários + consideração ética por parte dos profissionais de marketing

→ A realidade chocante é que dá para enganar a IA apenas com o estilo da descrição, mais do que com a qualidade do produto em si

[roxie]

Gostei demais da forma como você resumiu, haha