A capacidade do ChatGPT de narrar o futuro: explorando prompts narrativos para melhorar previsões

• Este estudo investiga a capacidade preditiva do ChatGPT-3.5 e do ChatGPT-4 da OpenAI usando duas estratégias de prompt distintas: previsão direta e narrativa futura.

• A análise avalia a capacidade de prever eventos futuros, com foco em eventos que ocorreram em 2022, após o cutoff dos dados de treinamento do modelo em setembro de 2021.

• Os resultados mostram que prompts de narrativa futura melhoram significativamente a precisão preditiva do ChatGPT-4, especialmente na previsão dos principais vencedores do Oscar e de tendências econômicas.

• Os prompts narrativos do ChatGPT aproveitam sua capacidade de construir narrativas alucinatórias, permitindo uma síntese e extrapolação de dados mais eficazes em comparação com previsões diretas.

• O estudo destaca um novo aspecto da capacidade preditiva dos grandes modelos de linguagem (LLMs) e sugere possíveis aplicações em contextos analíticos.

• A equipe de pesquisa contratou dois assistentes de pesquisa e consultou o ChatGPT 50 vezes por prompt para gerar uma distribuição de respostas, totalizando 100 execuções por prompt.

• Os resultados são apresentados em box plots que descrevem a distribuição completa das respostas para cada prompt, oferecendo insights sobre o desempenho e as limitações do modelo.