Análise de demonstrações financeiras com LLM

• Investiga se grandes modelos de linguagem (LLMs) conseguem realizar com sucesso a análise de demonstrações financeiras de forma semelhante a analistas humanos especializados
• Foram fornecidas ao GPT-4 demonstrações financeiras padronizadas e anonimizadas, e o modelo foi instruído a prever a direção dos lucros futuros
• Principais descobertas
  • Desempenho preditivo: o LLM supera analistas financeiros na previsão de mudanças nos lucros, mesmo sem narrativas ou informações específicas do setor
  • Vantagem relativa: o LLM mostra vantagem relativa em situações nas quais os analistas têm dificuldade
  • Precisão preditiva: a precisão das previsões do LLM é equivalente ao desempenho de modelos modernos de ML treinados de forma mais específica
  • Insights narrativos: as previsões do LLM não se originam de memória treinada, mas geram insights narrativos úteis sobre o desempenho futuro da empresa
  • Estratégia de trading: uma estratégia de trading baseada nas previsões do GPT oferece índice de Sharpe e alfa mais altos do que outras estratégias baseadas em modelos

Opinião do GN⁺

• Potencial dos LLMs: o fato de grandes modelos de linguagem poderem superar analistas humanos em análise financeira pode trazer grandes mudanças para o setor financeiro. Isso sugere potencial para o avanço de ferramentas de análise automatizadas.
• Transparência do modelo: o fato de o LLM fornecer insights narrativos indica que o processo de previsão do modelo pode ser mais transparente e mais fácil de entender. Isso pode ajudar analistas financeiros a confiar mais no modelo e utilizá-lo.
• Utilidade da estratégia de trading: o fato de uma estratégia de trading baseada em GPT apresentar alto desempenho pode ser bastante atraente para investidores. No entanto, isso não garante que as previsões do modelo estejam sempre corretas, portanto é necessária uma abordagem cautelosa.
• Considerações para adoção da tecnologia: a qualidade dos dados e o processo de treinamento do modelo são importantes. Além disso, é preciso revisar continuamente como as previsões do modelo se alinham às condições reais do mercado.
• Tecnologias e projetos relacionados: outros projetos com funcionalidades semelhantes em análise financeira incluem AlphaSense, Kensho e ferramentas de análise da Bloomberg baseadas em GPT-3. Comparações com essas ferramentas podem ajudar a entender com mais clareza os pontos fortes e fracos dos LLMs.

[GN⁺]

Comentários no Hacker News

• Na página 40, Figure 3 compara um modelo de rede neural de 3 camadas usando as 59 variáveis preditivas financeiras de Ou e Penman (1989) com o GPT (CoT), e o resultado mostra que o GPT não apresenta desempenho estatisticamente significativamente melhor.
• O mercado é importante, mas especulação não é o propósito do mercado. Se você quer ganhar dinheiro, é melhor se qualificar e receber um bom salário. Do ponto de vista da ganância, a especulação traz um grande risco de ruína. O sistema financeiro é um jogo de soma zero, e as finanças internacionais envolvem muitos riscos. É preciso cuidar dos amigos, maximizar a felicidade e agir com honestidade e ética.
• Permitir que cidadãos comuns façam perguntas relevantes sobre as finanças de governos locais pode ser a mudança de maior impacto. Por exemplo, no condado de Cook, em Illinois, inúmeros municípios e autoridades eleitas produzem relatórios financeiros mensais, mas falta fiscalização por parte dos cidadãos.
• Histórico da pesquisa: comparação de declarações da administração, contagem de palavras positivas/negativas para análise de sentimento, e construção de modelos de sentimento em tempo real usando Twitter e artigos de notícias. Também foi criado um modelo de análise de sentimento com LLM (GPT2), mas sua confiabilidade caiu porque os executivos foram treinados para usar apenas palavras positivas.
• Se modelos LLM padronizados forem usados, existe a possibilidade de que relatórios financeiros sejam manipulados para tornar os resultados do LLM mais favoráveis.
• O desenho da pesquisa não fornece informação textual. O principal interesse é entender a capacidade do LLM de analisar e sintetizar números financeiros puros. Isso porque o LLM funciona prevendo o próximo token, e não realizando cálculos matemáticos.
• Para quem quer vender wrappers de LLM: esta área é muito difícil. Você vai enfrentar problemas de dados, distribuição e baixa demanda. Os fundos que realmente usariam isso já estão usando.
• Busca-se entender a origem da capacidade preditiva do GPT. Instrui-se o modelo a atuar como analista financeiro, calcular os principais índices financeiros e fornecer interpretação econômica. No entanto, o LLM não faz cálculos; ele opera prevendo o próximo token.
• Lembro da análise de conference calls sobre resultados apresentada por Greg Diamos na Lamini. Os links relacionados podem ser encontrados no HuggingFace e no GitHub.
• Teria sido interessante comparar com modelos de janela de contexto maior (Gemini, Claude Opus). Caso contrário, seria melhor mudar o título para "Análise de relatórios financeiros com GPT-4".