Previsão de séries temporais de longo prazo com xLSTM: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• Nos últimos anos, modelos baseados em Transformers mostraram desempenho notável em previsão multivariada de séries temporais de longo prazo (LTSF). No entanto, eles enfrentam problemas como alta demanda computacional, dificuldade em capturar dinâmicas temporais e gerenciamento de dependências de longo prazo
• Com o surgimento do LTSF-Linear, com sua estrutura linear simples, foi demonstrado um desempenho superior ao dos modelos baseados em Transformers, o que levou a uma reavaliação da utilidade dos Transformers em previsão de séries temporais
• Em resposta a isso, este artigo apresenta os resultados da aplicação da arquitetura recente xLSTM (extended LSTM) ao LTSF. O xLSTM tem potencial para se adequar ao LTSF por incluir exponential gating e uma estrutura de memória modificada com maior capacidade
• O xLSTMTime, a arquitetura de LTSF adotada por nós, supera as abordagens atuais. A comparação do desempenho entre vários modelos de ponta e o xLSTMTime em diversos conjuntos de dados do mundo real demonstra sua excelente capacidade de previsão
• Nossos resultados sugerem que arquiteturas recorrentes refinadas podem oferecer uma alternativa competitiva aos modelos baseados em Transformers em tarefas de LTSF, com potencial para redefinir o cenário da previsão de séries temporais

Resumo do GN⁺

• Este artigo introduz o xLSTM para superar as limitações dos modelos baseados em Transformers e mostra desempenho superior em previsão de séries temporais de longo prazo
• O xLSTMTime demonstra capacidade de previsão superior aos modelos existentes por meio de exponential gating e de uma estrutura de memória modificada
• Este estudo volta a destacar o potencial das arquiteturas recorrentes em previsão de séries temporais e apresenta uma nova alternativa aos modelos baseados em Transformers
• Projetos com funcionalidades semelhantes incluem o Prophet, do Facebook, e o DeepAR, da Amazon

[GN⁺]

Comentários do Hacker News

• Nos últimos anos, modelos baseados em transformer vêm se destacando em previsão multivariada de séries temporais de longo prazo
  • Mas ainda não está claro se, no geral, eles são melhores do que modelos não baseados em deep learning
• Trabalho construindo modelos de nowcasting e previsão em economia (inflação, PIB etc.) e finanças (liquidez de mercado etc.)
  • Concordo com a opinião de que modelos transformer são excelentes, mas modelos do tipo LSTM ainda continuam sendo muito úteis
• Fico me perguntando se isso tem relação com o modelo de previsão do tempo do Google usando IA
  • Link para o modelo Graphcast AI do Google
• É uma pena que o link do dataset no artigo não esteja funcionando
  • Espero que seja corrigido
• Está sendo divulgado como uma ferramenta de previsão, mas será que não se aplica à classificação de eventos em séries temporais?
• Os melhores modelos de deep learning para séries temporais são usados internamente por hedge funds e não são públicos
• Previsão de séries temporais funciona melhor em domínios determinísticos
  • Entre as técnicas publicadas de LLM/AI/deep learning/machine learning, nenhuma funciona bem no mercado de ações
  • Já tentei todas as técnicas e não tive sucesso
• Se o método de previsão de séries temporais de alguém realmente funcionasse, essa pessoa não o publicaria
• Li errado como XSLT
• Já dá para imaginar alguém tentando prever ações com essa ferramenta e perdendo todo o dinheiro