musn129: serviço de resumo de notícias de ações dos EUA
(musn129.com)É um serviço que reúne notícias sobre ações americanas e resume por que elas subiram ou caíram.
Por exemplo, no caso mais recente da Netflix em 2022-10-21, ele oferece um resumo como the company is reinvesting a huge chunk of its profits at a high rate of return e também permite acessar a notícia original por meio de um link.
Tenho muito interesse em ações dos EUA, mas era inconveniente acordar de manhã e ter que pesquisar uma por uma para entender por que subiram ou caíram, então acabei desenvolvendo isso. Estou compartilhando caso possa ser útil para alguém.
Tecnicamente, é assim:
- Estruturado como Fully Serverless (AWS Lambda + Cloudfront Lambda@Edge)
- Depois de rastrear notícias sobre ações dos EUA, usa um modelo de machine learning chamado SQuAD para inferir os resultados (ex.
Why Nvidia stock goes up?)- O modelo usado é leve o suficiente para rodar no Lambda (linha Distillation BERT)
- Todas as Lambdas que geram os dados operam dentro do AWS Free Tier, e os únicos custos adicionais são S3 e o domínio no Route 53 (atualmente cerca de $2 por mês)
- Todos os dados são armazenados no S3, sem uso de DB separado
- SSR (NextJs) + Cloudfront Lambda@Edge (us-east-1)
Sempre acompanho bem o site e agradeço a todos. Escrevi isto esperando que possa ajudar, mesmo que seja um pouco, quem tiver interesse. Obrigado.
21 comentários
Olá. Houve uma grande mudança no projeto paralelo
musn129e gostaria de compartilhar com vocês.Antes de tudo, quero agradecer muito a todos que demonstraram grande interesse e continuam usando o serviço com frequência.
Antes, para otimizar custos, todo o processamento era feito no AWS Lambda, e a inferência do modelo usava Distillation BERT para resolver a tarefa SQuAD (por exemplo, dando a pergunta "por que essa ação subiu?" dentro da matéria e fazendo o modelo encontrar em que "posição" da matéria está a resposta). Agora, isso foi alterado para o uso da API paga da OpenAI. Os dados processados com o novo modelo foram aplicados a partir de 2023. (2022 mantém os dados anteriores)
Como não dá para anexar imagens, deixo por fim junto o resultado da LUCID, que teve a maior variação de hoje. (Vocês podem conferir em https://musn129.com/nasdaq/2023-01-27 !)
Obrigado!
Seria bom se fosse possível criar uma versão para crypto. O mercado de crypto tem uma correlação muito positiva com as notícias.
Uau... muito obrigado por este serviço realmente excelente
Entre programas parecidos, acho que este tem uma interface de usuário prática e parece o melhor. Já usei Yahoo Finance, Dow Jones, Bloomberg e outros (não cheguei a usar programas profissionais porque não sou da área, e sim um investidor pessoa física), e aqui ficou mais fácil ver as matérias relacionadas. Como cada pessoa tem ativos de interesse, seria bom se, mesmo sem precisar criar uma conta, desse para favoritar e acompanhar continuamente determinados ativos. Vou usar bastante. Obrigado ^-^
Sou profissional do mercado em uma corretora. Queria desenvolver isso como serviço..??
Tenho uma dúvida: se eu te mandar um e-mail, você poderia me responder?? haha
Olá! Obrigado pelo interesse. Se você deixar suas dúvidas, eu responderei! No entanto, se não incluir conteúdo pessoal, acho que seria ainda melhor deixar por aqui, para que outras pessoas também possam ver e compartilhar junto! Obrigado.
Sim. Tenho muitas curiosidades. :) Como não entendo muito da parte técnica, vou perguntar de forma mais tranquila.
Será que dá para aumentar ainda mais a precisão desse projeto? Parece que seria algo na direção de aumentar a quantidade de notícias, melhorar a qualidade das notícias ou elevar a precisão do modelo. Se fossem investidos mais recursos, fico curioso para saber até que ponto seria possível aumentar a precisão do serviço que você publicou. haha
Sim, acho que dá para melhorar bastante. Foi algo que fiz por conta própria e, como (ainda) não gera receita, acabei focando muito na eficiência de custos, então acredito que ainda há bastante espaço para aprimorar nessa frente.
Como você comentou, antes de tudo o mais importante deve ser garantir mais dados de qualidade. Pelo que sei, no caso de notícias existem muitos SaaS que fazem crawling e estruturam bem os dados, então, se for um projeto e não algo individual, acho que dá para reunir notícias de alta qualidade usando um SaaS pago externo por um valor razoável.
Em seguida, no momento eu não dei muita atenção a pré-processamento e pós-processamento na entrada e na saída do modelo, mas acho que, se isso for trabalhado com mais cuidado olhando os resultados do modelo para obter saídas de melhor qualidade, a experiência para o usuário pode ficar muito melhor. (Por exemplo, hoje eu deixei respostas curtas que parecem ter pouco significado ou respostas que parecem em branco, porque os próprios dados eram escassos... e, pessoalmente, mantive isso pela vontade de simplesmente clicar quando eu ficasse curioso. Mas, em nível de produção, acho que seria possível organizar muito melhor esse tipo de coisa e oferecer uma experiência de usuário bem superior.)
Por fim, também por questão de custo, eu usei apenas uma vez um modelo bem leve, mas acho que daria para testar um modelo maior (que exige mais computação, mas tem desempenho relativamente melhor). Além do método de Question Answering que usei, imagino que seja possível obter resultados mais adequados com várias outras abordagens.
Acabei me alongando enquanto escrevia, mas deixo isso aqui na esperança de que também ajude outras pessoas interessadas. Obrigado!
Muito bacana. Nossa;;
Se der para elevar bastante a precisão, acho que já dá até para considerar implementar isso imediatamente como um produto real.
(Só pela reação dos comentários de quem viu este serviço, já parece que a validação como Preto-Type (proto x, preto o) praticamente acabou hahaha.)
Como planejador, havia dois grandes pontos de melhoria sobre os quais eu vinha pensando na área de ações estrangeiras.
Um deles eram os pain points físicos ou técnicos.
— Por exemplo, ter que negociar à noite / ter que fazer câmbio / mostrar o preço com 15 minutos de atraso / não conseguir ver o book de ofertas / não haver muitos países disponíveis para negociação, e coisas do tipo: como resolver os incômodos causados pela distância física entre o mercado local e o de origem.
Mas hoje essa parte melhorou bastante. Pelo poder do capital... hahaha
Ultimamente, a área que vinha chamando minha atenção era a questão de informação e conteúdo.
Antes de tudo, é preciso saber bem inglês; e mesmo sabendo inglês, é difícil explorar informações do exterior, além de haver informação demais, então a pessoa nem sabe o que procurar nem como procurar. Falta tempo, sobra coisa para ver, investir é difícil e não tem ninguém para explicar...
Por isso, o que as corretoras normalmente fazem é montar equipes de conteúdo, comprar conteúdo de fora ou ampliar a cobertura de research para ações estrangeiras, mas ainda há um longo caminho pela frente. E também é algo que ainda exige trabalho manual em cada etapa. Por isso, a atualidade das informações também fica prejudicada...
Foi exatamente por isso que fiquei tão impressionado com o serviço que você implementou.
Parece que ele pode elevar muito a experiência diária do usuário. No fim das contas, o que as pessoas querem saber é: por que subiu? Por que caiu?... acho que era isso, né? hahaha
Muito obrigado pela resposta detalhada! Acho que vai ajudar bastante. Em especial, por compartilhar insights de quem está atuando na área, acredito que isso será de grande ajuda não só para mim, mas também para outras pessoas. Obrigado!! hahaha
Obrigado pelo projeto e pelos comentários. Acho que vai ajudar bastante outras pessoas!
Que serviço incrível!
Mesmo quando a ação atinge o limite de alta, muitas vezes não aparece bem o motivo e só existem notícias dizendo que ela bateu esse limite... Fico curioso sobre como seria possível filtrar bem esse tipo de notícia
Olá! Obrigado pelo interesse. Acho que há basicamente dois motivos para a queda de qualidade. Um é que o próprio conteúdo do artigo original não consegue trazer informação suficiente sobre o que se deseja, e o outro é que o resultado da inferência do modelo de machine learning talvez não esteja bom. (No momento, está implementado de uma forma bem ingênua haha..)
Atualmente, quando há vários artigos, a ordenação é feita pelo
model output score, mas acho que daria para melhorar rapidamente usando um pouco mais de heurísticas adicionais para frases muito curtas (por exemplo, como está aparecendo agora, quando fica totalmente vazio ou curto demais). Obrigado pelo ótimo feedback!Uau, muito bom mesmo.
Acho que seria ótimo poder assinar apenas algumas ações que a pessoa quiser e receber por e-mail todas as manhãs.
Como e-mail tem custo, talvez vocês possam pensar em monetizar isso de uma forma paga, mas acessível, haha
Obrigado pelas ótimas opiniões e ideias! hahaha Vou adicionando funcionalidades aos poucos. Sempre recebo muita inspiração do GeekNews, então queria aproveitar esta oportunidade para dizer o quanto sou grato! hahaha
Fico curioso para saber o que vai sair sobre as ações coreanas haha
Eu já estava pensando nisso por causa das ações coreanas também, então vou desenvolvendo aos poucos para adicionar isso. Obrigado pelo interesse hahaha
Uau! Que serviço interessante. Isso me faz pensar se não daria para analisar, desse jeito, quando músicas de um artista específico voltam a subir nas paradas musicais.
Obrigado pela ótima opinião! Com uma abordagem parecida, parece que realmente pode haver muitas coisas que podem ser aproveitadas, desde que haja dados suficientes!
As ações... também sobem...? Estranho... as minhas só vivem caindo...
Antes de comprar uma nova ação, por favor compartilhe no GeekNews.