A vida e a morte dos mercados de previsão operados internamente no Google

• Ao longo dos últimos 20 anos, o Google operou duas plataformas internas de previsão diferentes (Prediction Platform)
• A primeira plataforma fracassou, mas será que a segunda conseguirá se manter?

O auge do Google

• Em julho de 2005, o Google era o queridinho do Vale do Silício. Havia lançado o Google Maps, e o Gmail ainda estava em beta
• Naquela época, o Google era uma empresa atípica, fora dos padrões do Vale do Silício
• Os fundadores do Google diziam: "o Google não é uma empresa típica"

Prophit - o primeiro mercado interno de previsão do Google

• Em 2005, o Google lançou o Prophit, seu mercado interno de previsão
• 20% dos funcionários do Google participaram, e ele operou durante 3 anos
• O Prophit fornecia previsões precisas e também chamou a atenção da imprensa

O fracasso do Prophit e as lições aprendidas

• O Prophit acabou sendo encerrado em 2011
• O principal obstáculo era o fato de que apostas online eram ilegais
• Além disso, tentou-se um lançamento externo, mas isso fracassou por causa de problemas legais. Foi difícil garantir os recursos necessários
• Como arrependimento, houve quem avaliasse que "deveria ter sido operado apenas internamente"

Gleangen - o segundo mercado de previsão do Google

• Em abril de 2020, o funcionário do Google Dan Schwartz lançou o Gleangen
• 8% dos funcionários do Google (cerca de 15.000 pessoas) participaram, e a plataforma manteve mais de 1.000 usuários ativos por mês
• Com base nas lições do Prophit, foi projetado como uma ferramenta de apoio à decisão interna

A importância e os desafios dos mercados de previsão

• Vantagens dos mercados de previsão
  • Os mercados de previsão podem fornecer previsões precisas ao aproveitar a inteligência coletiva
  • As empresas podem usá-los para prever os movimentos de concorrentes ou melhorar decisões internas
• Causas do fracasso
  • Regulação legal e dificuldade de compartilhar dados internos funcionam como os principais obstáculos
  • No caso do Prophit, ele fracassou por não conseguir autorização legal para um lançamento externo
• Desafios de operar um mercado de previsão
  • Resistência ao compartilhamento de dados e o desejo de manter margem para justificar fracassos de projetos são obstáculos
  • O desejo da liderança de controlar a informação pode entrar em conflito com o uso da sabedoria das multidões
  • Às vezes, transparência e responsabilização no processo de previsão são priorizadas acima da precisão da previsão

Waymo e o uso de mercados de previsão

• Aplicação na Waymo
  • A equipe de engenharia de sistemas da Waymo tentou melhorar métricas de segurança por meio de mercados de previsão
  • Porém, não obteve sucesso devido a limitações de acesso aos dados e falta de apoio da gestão

A evolução do Gleangen e o papel da IA

• Sucesso e limitações do Gleangen
  • O Gleangen apoia a tomada de decisão por meio de previsões em vários departamentos do Google
  • No entanto, não alcançou sucesso pleno devido a limitações de dados internos e à falta de interesse da liderança
• IA e o futuro dos mercados de previsão
  • A IA pode contribuir para reduzir os custos dos mercados de previsão e aumentar sua precisão
  • A combinação de IA com inteligência coletiva humana pode oferecer previsões melhores
• Comparação entre previsões de IA e previsões humanas
  • Segundo pesquisas recentes, previsões de IA são muito melhores do que o acaso, mas ainda não são tão precisas quanto as de grupos humanos
  • No entanto, à medida que previsões humanas são usadas para treinar IA, o valor dos mercados corporativos de previsão está aumentando

O futuro dos mercados corporativos de previsão

• O ponto-chave é oferecer informações mais valiosas para a liderança e reduzir o custo das previsões com IA
• O interesse em mercados corporativos de previsão está crescendo, com empresas como a Anthropic adotando mercados internos de previsão
• Mercados de previsão bem-sucedidos podem aumentar o valor da informação e contribuir para decisões estratégicas das empresas
• Com o avanço da IA, a eficiência dos mercados de previsão tem potencial para melhorar ainda mais

[GN⁺]

Comentários do Hacker News

• O Google foi pioneiro em várias práticas técnicas, como cafés internos, testes A/B e "dogfooding". No entanto, empresas como a Microsoft já faziam dogfooding décadas antes

  • Cafés corporativos já existiam muito antes de o Google introduzir o conceito

• Eu esperava que abordassem os problemas dos mercados de previsão, mas o artigo trata apenas de uma história seca

  • Um mercado de previsão puro não pode existir de forma realista, e mercados de previsão não podem ser completamente separados dos eventos
  • Quando o interesse no resultado da previsão passa a influenciar o desfecho, o mercado se torna inútil

• O sucesso do Google se deveu não apenas à cultura, mas também ao rápido crescimento do mercado

• O preço de mercado fornece um número entre 0 e 1, e sobe conforme um evento se torna mais provável

  • No entanto, interpretá-lo como probabilidade é algo complexo, e traders reais têm capital limitado e aversão a risco

• Tenho curiosidade sobre como os mercados de previsão resolveram esses problemas

  • Fico me perguntando se havia algum pós-processamento para converter o preço de mercado em probabilidade final, ou se os traders agiam de forma que permitisse interpretar o preço de mercado como probabilidade

• Os mercados de previsão terão um avanço quando aproveitarem não apenas o julgamento coletivo, mas também a superprevisão

  • Atualmente, os mercados de previsão são como uma simples pesquisa de opinião, e é necessário identificar os participantes que vencem o mercado de forma consistente
  • É necessário acompanhar apostas de longo prazo e manter privadas do mercado as posições individuais

• O Google operou internamente várias plataformas de apostas, e os departamentos de RH e compliance permitiram isso

• O Polymarket é considerado o mercado de previsão mais bem-sucedido