-
Detecção de anomalias em séries temporais: revisão de 10 anos
-
Com o avanço das tecnologias de coleta de dados e o aumento dos dados de streaming, a necessidade de análise de séries temporais tornou-se mais evidente. Como resultado, a detecção de anomalias em séries temporais se estabeleceu como uma atividade importante em áreas como cibersegurança, mercado financeiro, aplicação da lei e saúde.
-
Embora a literatura tradicional de detecção de anomalias tenha se concentrado em métricas estatísticas, os algoritmos de aprendizado de máquina que cresceram nos últimos anos exigem propriedades estruturais e gerais para os métodos de pesquisa em detecção de anomalias em séries temporais.
-
Esta revisão classifica e resume soluções existentes de detecção de anomalias em um contexto de séries temporais por meio de uma taxonomia orientada a processos. Além disso, ela oferece uma classificação original de métodos de detecção de anomalias, realiza uma metanálise da literatura e fornece uma visão geral de tendências gerais nas pesquisas de detecção de anomalias em séries temporais.
-
1 comentários
Discussão no Hacker News
O UCR Matrix Profile é uma ferramenta extremamente eficiente para análise de séries temporais. Ao procurar motifs e anomalias, ao contrário de técnicas tradicionais, não é necessário ajustar o tamanho da janela e o limiar, e pode ser aplicado em diversas áreas, desde dados de sensores de manufatura até análise de ECG e detecção de terremotos.
Utilizando a função offset do Prometheus, configurei a média semanal como uma regra de gravação. Em sistemas com ciclo semanal, calculo a média de uma métrica e a comparo com o valor atual para definir um limiar dinâmico. O Gitlab fornece uma explicação detalhada desse método.
Não reflete o trabalho dos últimos anos. Um modelo baseado em séries temporais chamado Granite TS funcionou bem; o modelo de anomalias prevê os próximos N passos e checa o quão diferente a medição real está do esperado.
No setor de tecnologia da água, dispositivos IoT monitoram o fluxo de água, detectam vazamentos e estimam o consumo de água por aparelho. Detectar vazamentos é identificar anomalias em séries temporais, e podem ser necessárias várias distribuições dependendo da estação, devido à variação de temperatura dos canos.
Em um projeto de rastreamento de performance, tentei fazer detecção de anomalias, mas faltavam soluções open source ou pagas adequadas. Há muitas oportunidades nessa área.
Eventos anormais ocorrem devido à complexidade da geração de dados, à imperfeição dos sistemas de medição e à interação com atores maliciosos. Esses eventos anômalos aparecem como anomalias nos dados coletados.
Estou operando uma startup para detecção de anomalias em séries temporais de máquinas industriais e desenvolvi uma solução que funciona offline. Se você tem interesse em software industrial com requisitos de segurança, entre em contato.
Achei interessante o trabalho de TSAD de Eamonn Keogh.
Fico confuso sobre por que o SVM foi classificado como "Distribution-Based". Normalmente, ele não estima densidade livre de modelo nem distribuição baseada em modelo.
Há 10 anos, no mestrado, construí um sistema de previsão de falhas online, desenvolvendo um sistema para detectar e responder antes de uma exceção ocorrer. Havia muito trabalho nessa área, mas lamento não ter voltado a trabalhar nela