TimeGPT-1
(arxiv.org)- TimeGPT é um modelo fundacional de séries temporais que prevê dados de séries temporais de vários domínios sem treinamento adicional
- Em comparação com abordagens estatísticas, de machine learning e de deep learning existentes, propõe uma abordagem que melhora conjuntamente desempenho, eficiência e simplicidade em inferência zero-shot
- A previsão de séries temporais é uma base essencial para áreas que exigem decisões sobre o futuro, como finanças, saúde, clima, ciências sociais, demanda de energia e planejamento de capacidade de servidores, trabalhadores e máquinas
- No campo tradicional de previsão de séries temporais, havia pouco consenso prático sobre a eficácia do deep learning, e faltavam modelos gerais pré-treinados tão amplamente reconhecidos quanto os das áreas de linguagem ou percepção
- Aponta a possibilidade de que modelos gerais pré-treinados aumentem a acessibilidade a previsões precisas e reduzam tempo e complexidade computacional
Direção de modelo proposta pelo TimeGPT
- TimeGPT é um modelo fundacional para séries temporais capaz de gerar previsões mesmo em diversos conjuntos de dados que não viu durante o treinamento
- O ponto central é a inferência zero-shot, realizando previsões para vários domínios e aplicações sem treinamento adicional
- Um modelo geral pré-treinado pode transformar a prática de previsão de séries temporais, tornando-a mais acessível e precisa, além de reduzir significativamente o tempo gasto e a complexidade computacional
Áreas em que a previsão de séries temporais é usada
- Séries temporais são dados organizados em ordem cronológica e são usados por sistemas, empresas e instituições como base para avaliar estados futuros
- Os casos de aplicação abrangem várias áreas
- Entender ciclos e tendências econômicas
- Identificar padrões de consumo dos consumidores
- Otimizar a demanda de energia para produção elétrica e gestão da rede elétrica
- Ajustar capacidade e infraestrutura de servidores, trabalhadores e máquinas
- Medir marés oceânicas e acompanhar o preço diário de fechamento do Dow Jones
- Em finanças, saúde, clima e ciências sociais, identificar padrões temporais, tendências e variações periódicas é importante para prever valores futuros e apoiar a tomada de decisão
Limitações das abordagens de previsão existentes
- O campo de previsão de séries temporais ainda não alcançou um nível de consenso amplamente reconhecido como o dos modelos generativos nas áreas de linguagem e percepção
- As avaliações de profissionais continuam divididas quanto à eficácia do deep learning em tarefas de previsão
- A pesquisa existente em previsão ainda não atende plenamente ao nível prometido por um verdadeiro modelo geral pré-treinado
Resultados da avaliação e implicações
- O TimeGPT foi avaliado em comparação com modelos estatísticos, modelos de machine learning e modelos de deep learning existentes
- Os resultados indicam que a inferência zero-shot do TimeGPT pré-treinado se destaca em desempenho, eficiência e simplicidade
- Isso serve como evidência de que insights obtidos com avanços em outras áreas da IA também podem ser aplicados à análise de séries temporais
- Modelos de séries temporais em larga escala podem ampliar o acesso a previsões mais precisas e representar uma oportunidade para reduzir incertezas
1 comentários
Opiniões no Hacker News
Trabalho com previsão de séries temporais há bastante tempo, mas ainda não encontrei utilidade para esse tipo de modelo de deep learning especializado em séries temporais
Em dados de altíssima dimensão, como ao modelar detecção de fraude em uma empresa de processamento de pagamentos com cartão, por exemplo, deep learning leva vantagem. Mas quase não havia benefício em usar um modelo “de séries temporais” separado que trata o tempo de forma diferente das outras features
Testei N-BEATS, N-HiTS, que alegam ter desempenho de ponta, e praticamente todas as variantes de RNN que eram populares antes dos transformers, mas nada superou um MLP com valores defasados como features. Ao conversar com outras pessoas da área de previsão, elas disseram ter visto o mesmo resultado
Em dados de dimensão intermediária, LightGBM/XGBoost são esmagadoramente melhores e, em geral, têm desempenho igual ou superior ao de qualquer modelo de deep learning, exigindo muito menos ajuste fino e pouquíssimo tempo de computação
Em dados de baixa dimensão, não há dados suficientes, então é preciso estruturar o problema com intuição humana; por isso, (V)ARIMA/ETS/modelos fatoriais ainda são os mais fortes
Por isso sou muito cético em relação à alegação de um modelo “de séries temporais” com alto desempenho de uso geral. Diferentemente dos modelos de linguagem, mesmo que um modelo seja treinado em séries temporais, sua capacidade de entender a estrutura fundamental de como o mundo funciona é limitada, então sua capacidade de generalização também inevitavelmente será muito limitada
E também como usar modelos como XGBoost em previsões multi-step, quando é preciso prever vários pontos à frente
Como a abordagem de colocar features defasadas em um MLP se compara a usar comprimentos de sequência maiores na atenção de um transformer? Fico curioso se inserir valores defasados de 128 instantes em uma rede neural feedforward também produz bons resultados
Cheguei a essa conclusão ao experimentar vários algoritmos de machine learning enquanto criava um bot de trading inteligente https://github.com/asavinov/intelligent-trading-bot
Ainda assim, há casos em que transformers podem trazer grandes vantagens. Podem ser úteis quando se combina previsão numérica com análise de eventos discretos e a ordem dos eventos é importante, ou quando certos padrões buscados na análise técnica são importantes. Nesses casos, é necessária uma quantidade muito maior de dados
É certo que analistas gráficos vão aparecer em massa vendendo previsões de mercado baseadas em GPT
Acho que um modelo de séries temporais com um corpus de treinamento grande o bastante poderia lidar razoavelmente bem com singularidades típicas como sazonalidade, choques e outliers
Concordo totalmente com a situação até agora, mas estou curioso para ver profissionais testando modelos como o apresentado aqui. Pode ser que realmente funcione
Não, transformers não são uma solução universal
Mesmo que transformers pareçam aproximadores de funções gerais de ponta, é preciso entender por que funcionam tão bem em linguagem e visão
Transformers paralelizam extremamente bem e aprendem representações intermediárias sofisticadas. Conceitos semânticos começam a se separar de forma limpa no espaço, a detecção de delimitadores também acontece naturalmente, e eles aprendem a lidar com elementos como linhas, curvas, cores e orelhas de cachorro. A última camada combina esses conceitos sofisticados para aprender conceitos de alto nível como cachorro/gato/blog
Mas transformers — e, de forma mais ampla, métodos de deep learning em geral — não funcionam bem em dados de séries temporais porque ainda não conseguiram extrair novas representações intermediárias deles
Mesmo olhando superficialmente, como lidar com a “janela de tokens”? Em termos mais simples, modelagem de séries temporais é identificar padrões recorrentes com ciclos de vida muito diferentes entre si, condicionados a observações específicas sobre o mundo. Para tratar o problema desde o início, o modelo precisa conseguir raciocinar naturalmente, ao mesmo tempo, em unidades de anos, dias e segundos. Curiosamente, o artigo do MIT da semana passada sobre LLMs de streaming talvez ajude nisso
Em segundo lugar, a melhora parece, na melhor das hipóteses, mínima. Se você propõe uma mudança arquitetural enorme e elimina observabilidade e explicabilidade, precisa ter resultados realmente esmagadores
Na verdade, se alguém tivesse encontrado uma técnica revolucionária para previsão de séries temporais, seria burrice contar para os outros antes de ganhar o primeiro bilhão de dólares no mercado. Acho que parar em 1 bilhão também seria burrice. Previsão de séries temporais é o problema com a maior recompensa financeira, se puder ser resolvido. Se foi publicado em um artigo, eu esperaria que isso por si só fosse decepcionante
Basta percorrer todas as máquinas de Turing universais monótonas cujo tape de entrada é composto pela concatenação de todos os dados coletados possíveis e da série temporal de interesse. Pule os programas que demoram demais, mantenha apenas os programas restantes que reproduzem a sequência de entrada e então forme uma distribuição de probabilidade para o próximo bit de saída ponderada por 2^- do tamanho do programa
O que há de tão difícil nisso?
No setor de trading de alta frequência, deep learning já vem sendo aplicado com sucesso a dados de mercado há bastante tempo. De capturas de pacotes e ticks até candles, tudo entra
Por que uma equipe de 50 quants/engenheiros de software/traders revelaria como gerar mais de 1 bilhão de dólares por ano em lucro?
Na previsão tradicional de séries temporais, essas características geralmente são coisas como “padrões periódicos continuam” ou “padrões de crescimento continuam”
Um transformer treinado em dados de linguagem, essencialmente, aprende uma previsão de séries temporais em que aparecem muitos tipos diferentes de características complexas que influenciam o que vem a seguir. Dados de linguagem são tão complexos e variados que, para continuar um texto, é necessário aprendizado em contexto. É a capacidade de encontrar características comuns em qualquer tipo de cadeia de símbolos e usá-las para continuar a sequência
Dentro de dados de linguagem, também podem existir enormes planilhas do Excel contendo vários dados, como preços de ações ou registros meteorológicos. Por isso, é plausível que o aprendizado em contexto fique muito poderoso, a ponto de permitir até continuação zero-shot de séries temporais
Indo além, acho que dados de linguagem e a arquitetura transformer têm potencial de obter comportamentos parecidos com inteligência geral real graças ao aprendizado em contexto. É reconhecimento geral de padrões. Dados de linguagem são complexos o bastante para que a descida de gradiente estocástica acabe necessariamente levando ao reconhecimento geral de padrões e à continuação de sequências
Ainda estamos no começo, e agora estamos focados em fine-tuning que prejudica o aprendizado em contexto. Mas em breve treinaremos transformers gigantes em todas as modalidades, em todas as cadeias de símbolos que pudermos encontrar
Mas vídeo, no fim, parece visão empilhada em camadas. Por que a visão de frames não poderia funcionar de modo parecido com visão? A resposta atual é que não funciona, mas fico me perguntando se é algo que redes neurais não conseguem fazer ou se simplesmente ainda não encontramos a forma correta de modelar isso
Não entendo o trecho que diz: “modelos populares como Prophet [Taylor e Letham, 2018] e ARIMA foram excluídos da análise por terem requisitos computacionais excessivos e tempo de treinamento longo”
Fico curioso se alguém com bastante experiência em previsão de séries temporais poderia explicar melhor
Já usei ARIMA para tarefas simples. Não entendo por que ele teria custo de treinamento e execução maior que modelos Transformer e, mesmo que fosse verdade, ARIMA é tão amplamente usado que teria sido útil comparar recursos e tempo
Caso contrário, soa como texto de vendas, como se estivessem jogando siglas obscuras para fazer marketing do tipo “eu sou especialista, abc xyz, jargão do setor”
Respondendo à preocupação legítima: há vários motivos para o custo computacional ser alto. Primeiro, ARIMA e outros métodos “estatísticos” são modelos locais, então é preciso treinar um modelo diferente para cada série temporal. Já modelos de machine learning e deep learning são modelos globais, usando “um único” modelo para todas as séries temporais
Segundo, ARIMA geralmente não performa bem em conjuntos diversos de séries temporais, como neste experimento. AutoARIMA é uma opção melhor, mas, considerando a quantidade e o comprimento das séries temporais, o tempo de treinamento fica muito maior. Além disso, AutoARIMA tende a ficar muito lento em séries temporais longas
Em resumo, aplicar ARIMA às 500 mil séries temporais usadas no benchmark teria literalmente levado semanas e custado muito caro
Por isso incluímos vários modelos “estatísticos” locais de bom desempenho, como Theta e CES. Para todos os baselines, usamos implementações do nosso ecossistema open source, incluindo StatsForecast, MLForecast e Neuralforecast. Em breve vamos publicar um conjunto de experimentos reprodutíveis em um subconjunto menor
Se uma técnica de previsão dos anos 1970 é excluída por “tempo de treinamento longo”, fica difícil levar este artigo a sério
Dá para encontrar algumas desculpas para excluir ARIMA. Na prática, para fazê-lo funcionar direito, é preciso inserir informações prévias importantes sobre a série temporal, como periodicidade ou correção de pontos de virada
Mas “carga computacional excessiva e tempo de treinamento longo” não se aplica
Essa parte parece um pouco bravata, mas o restante do artigo, especialmente a capacidade zero-shot, é muito interessante se for confirmada. Espero que fique mais acessível do que uma API do tipo “fale conosco”, para que possamos comparar diretamente com ARIMA e afins
Ele tem vários defeitos e limitações, mas eficiência computacional não é um problema
Este artigo é extremamente pobre em conteúdo. Praticamente não há informação sobre o que importa, e ele apenas acena vagamente para arquitetura e dados
Em vez disso, gasta espaço com coisas como a fórmula do MAE ou diagramas ilustrando os conceitos de treinamento e inferência. Há sinais de alerta por toda parte
Aqui é o Max, da Nixtla. Não esperava receber tanta atenção, e fico feliz em ver tanto as reações positivas quanto as críticas
Quero esclarecer alguns pontos importantes
O principal objetivo desta primeira versão do artigo é apresentar o TimeGPT-1 e mostrar resultados preliminares de experimentos em larga escala, indicando que transferência de aprendizado nessa escala também é de fato possível em séries temporais. Como mencionamos no artigo, acreditamos profundamente que modelos pré-treinados podem ser uma solução muito eficiente em termos de recursos computacionais para muitas aplicações. Além disso, esta versão é um preprint. Estamos trabalhando para publicar um conjunto de experimentos reprodutíveis sobre parte dos dados, então pedimos que aguardem
Os trabalhos anteriores da Nixtla foram todos open source, e vemos o TimeGPT como um produto comercial viável que pode oferecer previsão e detecção de anomalias imediatamente para profissionais. Alguns detalhes interessantes foram omitidos por serem uma vantagem competitiva para ajudar a empresa a crescer, oferecer soluções melhores e continuar construindo o ecossistema
Como outras pessoas nesta thread disseram, estamos trabalhando para incluir o máximo possível de pessoas no teste gratuito, para que mais profissionais independentes possam validar a precisão em seus próprios casos de uso. Vocês também podem ver a impressão inicial do criador do Prophet https://x.com/seanjtaylor/status/1694745912776749296?s=20, a reação do criador do GluonTS https://www.linkedin.com/posts/tim-januschowski_foundational... e os testes iniciais feitos pelo pessoal da H20 https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457. Espero que surjam em breve mais benchmarks independentes
Quando a academia alerta que “revisão por pares é importante” e que “você não deve ler preprints do arxiv se não for especialista na área”, é exatamente disso que está falando
A frase “A incerteza é um aspecto essencial da vida e uma constante que os seres humanos vêm tentando atravessar e compreender incansavelmente” é meio complicada
É bom fazer algo com sinceridade, mas, se for assim, pelo menos deveria ser mais poético que um documentário da BBC
Parece relacionado?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
Isto parece material de marketing para o produto https://www.nixtla.io/
Eu gostaria que estivesse errado, mas parece ser apenas cerca de 20~30% melhor do que o modelo Seasonal Naive. Nesse nível, não parece tão útil assim
O fato de ser zero-shot é certamente impressionante, mas, na prática, não parece que dê para fazer muita coisa com isso