Previsões precisam ter margem de erro

A necessidade de margem de erro na análise e na previsão de crimes

• Enfatiza que previsões de crimes devem incluir uma margem de erro
• Discute previsões da taxa nacional de criminalidade em um texto recente de Richard Rosenfeld publicado para criminólogos
• Há reclamações sobre o fato de o FBI divulgar as estatísticas criminais com um ano de atraso, mas a academia fornece “previsões” ainda mais tarde

Análise com o modelo ARIMA

• Analisa, em Python, como seria um erro de previsão razoável usando um modelo ARIMA
• Os dados e o código estão disponíveis no GitHub
• Explica o processo de configurar corretamente o formato dos dados, com uma breve descrição do carregamento dos dados e da importação das bibliotecas

Preparação para ajuste do modelo

• Ajuste de um modelo ARIMA(1,1,2) sob condições semelhantes às do artigo de Richard
• Fornece uma explicação do modelo de Richard, uma comparação e os resultados gerados pelo modelo

Previsão e margem de erro

• Usa o pacote statsmodels para adicionar novos dados e realizar uma previsão de um passo à frente
• Apresenta resultados que mostram que o erro padrão da previsão aumenta com o tempo

Comparação com as estimativas de Richard

• Calcula o MAPE (Mean Absolute Percentage Error) de cada modelo comparando-os com as previsões de Richard
• Mostra intervalos de previsão e enfatiza que os valores observados ainda são consistentes com o modelo estimado

Ponto final

• Argumenta que não importa se Richard continuar cometendo grandes erros em previsões de crimes em nível macro
• Afirma que previsões de crimes em nível nacional não ajudam na resposta de políticas públicas
• Como exemplo de aplicação real de previsão criminal, sugere uma forma de prever a necessidade de aumentar o efetivo policial com o crescimento das cidades

Opinião do GN⁺

O ponto mais importante deste texto é enfatizar a relevância da margem de erro na previsão de crimes e a necessidade de reconhecer a incerteza das previsões. Embora a previsão criminal possa não ser diretamente útil para a formulação de políticas públicas, a modelagem preditiva pode servir como uma ferramenta importante para validar teorias da criminologia. O texto oferece insights interessantes para quem atua na interseção entre ciência de dados e criminologia, além de uma discussão aprofundada sobre as limitações dos modelos preditivos e formas de superá-las.

[GN⁺]

Opinião no Hacker News

• Relação entre previsão e tomada de decisão

  • Em geral, previsões devem levar à tomada de decisões.
  • Quando a previsão fica separada da decisão, seu valor se torna incerto.
  • Rosenfeld parece tentar usar previsões para dar mais peso a conclusões estatísticas sobre dados passados, mas isso é questionável.

• O significado das barras de erro

  • O significado das barras de erro não é claro.
  • Um caso é o intervalo de confiança (o modelo fornece 95% de probabilidade de que a saída esteja dentro desse intervalo).
  • Outro é o desvio padrão (prever a diferença quadrática entre a própria previsão e o resultado).

• A importância das barras de erro

  • Barras de erro oferecem uma compreensão melhor ao comparar os benefícios de um novo tratamento.
  • Algumas pessoas acham que isso torna o problema confuso.
  • Em alguns casos, é muito difícil obter barras de erro significativas.

• Análise de distribuições estatísticas

  • Observar regularmente histogramas (distribuições estatísticas) de métricas importantes.
  • Em um problema de velocidade de chamadas de serviço web, apareceram dois picos bem definidos.
  • Esses dois picos, representando usuários desconectados e usuários conectados, permitiram entender mais profundamente a causa do problema.

• Barras de erro para estimativas de datas

  • Estimativas de datas (ou seja, prazos) também deveriam ter barras de erro.
  • Datas são previsões, e sem uma estimativa de incerteza não têm significado.

• A importância da quantificação da incerteza

  • Em ciência de dados e, especialmente, em machine learning, a quantificação da incerteza costuma ser negligenciada.
  • Profissionais da área nem sempre têm formação em estatística.

• Comparação entre previsão e medição

  • Uma previsão pode ser vista como uma medição do futuro.
  • Toda medição feita sem conhecimento da incerteza é sem sentido.

• Mal-entendido sobre o clima

  • No começo, achei que este texto fosse sobre o clima.

• Previsão do presente ou do passado, isto é, nowcasting

  • A arte de prever o presente ou o passado enquanto se espera pelos dados.
  • Sem uma margem de erro, isso é ciência/estatística imprecisa.

• Previsões úteis mesmo sem barras de erro

  • Às vezes, uma simples previsão pontual já é suficiente para orientar ações.
  • Conhecer toda a distribuição da previsão pode ajudar a tomar boas decisões.

• Vantagens da regressão por processo gaussiano

  • A regressão por processo gaussiano (ou kriging) tem grandes vantagens.

• Necessidade de intervalos de confiança/predição/tolerância para toda estimativa/previsão/prognóstico/interpolação/extrapolação

  • Deve haver intervalos de confiança/predição/tolerância que incluam as premissas que a equipe coloca no problema.