Olá, sou um engenheiro de IA com 10 anos de experiência que investe em ações nas horas vagas.
Sempre que eu fazia pesquisa sobre ações individualmente, era muito incômodo ter que alternar entre vários apps de corretoras e notícias em portais para coletar informações de forma fragmentada. Depois que a IA surgiu, isso ficou muito mais conveniente, mas por causa de alucinações e problemas de atualização dos dados, eu acabava perguntando para várias IAs e consolidando tudo por conta própria, o que também era um processo muito desgastante.
Para resolver esse incômodo pessoal, eu e um conhecido criamos um serviço em que é possível ver, de relance, informações sobre ações e os resultados de análise de várias IAs (GPT, Gemini, Claude, DeepSeek).
Acesse o serviço
• Stock AI: https://jusikai.com.
Momentos de reflexão
Ao criar este serviço, tivemos muito mais dúvidas e escolhas de política do que questões puramente técnicas.
• Seleção de modelos e prompts: na verdade, já houve muitos estudos sobre quais modelos analisam melhor ações, mas em uma época como a atual, em que novos modelos continuam surgindo o tempo todo, não foi nada fácil escolher os modelos e prompts adequados. Eu e minha equipe construímos dados de backtesting por ativo e os usamos ativamente para selecionar os modelos com melhor desempenho. O interessante é que um modelo considerado sempre bom nem sempre faz boas previsões.
• Critérios de recomendação de ações: uma ação ser simplesmente boa não significa que ela vai subir hoje. Talvez seja por isso que Warren Buffett enfatize o investimento de longo prazo. Mas isso, na prática, não se encaixava na nossa condição de precisar recomendar diariamente, então estruturamos critérios de curto prazo (1 semana) e médio/longo prazo (1 mês ou mais). Na prática, isso foi um método de recomendação muito intuitivo e positivo para os usuários.
• Divulgação do dashboard: estamos sempre divulgando com transparência, em formato de dashboard, a rentabilidade dos resultados de recomendação por modelo. (Felizmente, em abril e maio estamos mostrando uma boa rentabilidade.
• Evolução dos agentes: periodicamente, os modelos fazem uma avaliação das próprias análises para evoluir suas habilidades por mercado/ativo. Isso ajuda o LLM a entender as características de cada mercado e de cada ação, melhorando o desempenho.
• Limitação de ativos e custo de manutenção do LLM: no momento, por questões de otimização do pipeline, o serviço está disponível apenas para um conjunto limitado de ações. Além disso, mesmo aplicando ao máximo a otimização de prompts e o Context Caching para reduzir o uso de tokens, ainda temos um custo mensal de manutenção de várias centenas de milhares de won, então existe uma preocupação com a sustentabilidade do serviço TT
Agradeço feedbacks diretos e criteriosos.
• Gostaria de pedir conselhos a partir da visão dos excelentes engenheiros e makers do GeekNews.
• Em termos de usabilidade: quero saber se nossa forma de recomendação e a UI não parecem excessivamente pouco amigáveis do ponto de vista do usuário real.
• Além disso, aceitarei de bom grado qualquer relatório de bug ou crítica severa. Vou continuar monitorando durante todo o fim de semana, e qualquer bug que puder ser corrigido será ajustado e refletido imediatamente. Obrigado por lerem este texto longo!
8 comentários
Por acaso, a base das previsões de curto, médio e longo prazo são os relatórios dos analistas?
Sim, isso mesmo! É o resultado de calcular e refletir separadamente as pontuações de recomendação de curto, médio e longo prazo na elaboração do relatório. No curto prazo, sinais como indicadores técnicos e notícias têm um peso maior, enquanto no médio e longo prazo a melhora dos fundamentos é mais refletida.
Dei uma olhada no serviço. Dá para ver o esforço colocado, mas como você disse que aceitaria críticas duras, vou ser sincero.
A própria premissa de que o consenso entre 4 modelos aumenta a confiabilidade me parece arriscada. No fim, gpt, gemini, claude e deepseek são modelos treinados com dados de internet parecidos, então ao olhar para o mesmo ativo acabam dizendo coisas semelhantes. Consenso não significa confiabilidade quatro vezes maior; é mais provável que o mesmo viés tenha sido repetido quatro vezes. O efeito de ensemble aparece quando os modelos são independentes entre si, e entre LLMs de uso geral isso não é garantido.
Obrigado pela opinião! Como você disse, só porque existem 4 modelos isso definitivamente não significa que a confiabilidade fique 4 vezes maior. No máximo, dá para entender como algo em que eles podem ajudar a detectar os erros uns dos outros. O interessante é que, mais do que parece, mesmo inserindo o mesmo prompt e os mesmos dados, a forma de análise e a perspectiva de cada modelo são realmente bem diferentes. Também testamos bastante essas partes com as 4 personas para não forçar uma injeção artificial disso. Ainda falta bastante, mas vamos continuar evoluindo para tornar o serviço mais confiável! Muito obrigado mesmo por dar uma olhada no serviço e também por deixar sua opinião.
Obrigado pela resposta! Só para acrescentar brevemente a parte de “um corrige o erro do outro”: mesmo que os modelos tenham perspectivas superficiais diferentes, como foram treinados na mesma época e com o mesmo corpus, eles tendem a cometer juntos tipos parecidos de erro. Nesse caso, mesmo que haja consenso por maioria, esse erro pode não ser filtrado — e sim até reforçado.
Se for possível, recomendo medir isso uma vez. Se você comparar, nos dados de backtest, a distribuição de retornos posteriores quando as opiniões dos 4 modelos (a) coincidiram e quando (b) divergiram, então, se (a) tiver um resultado significativamente melhor do que (b), isso comprova empiricamente o efeito da maioria; se não houver diferença, ou se até (b) for melhor, isso pode ser um sinal de que o consenso estava mais próximo de um ruído compartilhado. Como é uma hipótese que dá para testar imediatamente com os dados que você já montou, acho que seria interessante dar uma olhada!
Obrigado pela boa sugestão. Na prática, nem sempre as ações recomendadas por todos os modelos são as que têm maior rentabilidade. Eu vinha relacionando esse ponto à característica das ações de que, quanto maior o risco, maior a rentabilidade, então agradeço pela sugestão interessante :)
Opa... ao dizerem para comprar com tudo, meus dedos já ficam coçando~
Vou experimentar direitinho haha
Sim, obrigado haha