A verdade sobre a regressão linear em 2015

 (stat.cmu.edu)
1 pontos por GN⁺ 2024-08-01 | 1 comentários | Compartilhar no WhatsApp
  • Com base nas notas da disciplina Carnegie Mellon 36-401 Modern Regression, no outono de 2015, este é um manuscrito de estudo para quem aprende ou ensina regressão linear
  • Em vez de prender a regressão linear às suposições dos anos 1960, reduz o peso da teoria que depende de ruído gaussiano (Gaussian noise) e de um modelo linear corretamente especificado
  • Mesmo que sejam mais intensivas em computação, prioriza técnicas robustas, e o autor reconhece que o próprio manuscrito talvez não tenha avançado o suficiente nessa direção
  • Há alguma sobreposição com o segundo capítulo de Advanced Data Analysis from an Elementary Point of View, mas o material também inclui muito conteúdo novo e mais introdutório
  • O sumário cobre amplamente desde previsão ótima, mínimos quadrados, máxima verossimilhança, diagnósticos, inferência, multicolinearidade, seleção de modelos, mínimos quadrados ponderados e generalizados, seleção de variáveis, árvores e bootstrap

Natureza e abordagem do manuscrito

  • Este manuscrito reúne as notas da disciplina 36-401, Modern Regression, in fall 2015
  • Embora reconheça que já existe muito material sobre regressão linear, foi disponibilizado por poder ser útil para quem aprende ou ensina o tema
  • Partindo da visão de que a estatística evoluiu depois de 1960, dá menos ênfase à teoria apoiada em modelos lineares corretamente especificados e em ruído gaussiano
  • O texto foi estruturado para favorecer técnicas robustas, ainda que mais intensivas em computação, e o autor acrescenta que talvez não tenha ido longe o bastante nessa direção
  • Há alguma sobreposição com Advanced Data Analysis from an Elementary Point of View, especialmente com o segundo capítulo, “The Truth About Linear Regression”
  • Ao mesmo tempo, inclui muito material novo e mais introdutório, e recebe de bom grado opiniões e correções, especialmente correções de erros

Escopo abordado e atualizações

  • O sumário atual vai da modelagem básica em regressão linear até diagnósticos, inferência e técnicas estendidas

  • Modelagem básica e regressão simples

    • Optimal Prediction
    • Introducing Statistical Modeling
    • Simple Linear Regression Models, with Hints at Their Estimation
    • The Method of Least Squares for Simple Linear Regression
    • The Method of Maximum Likelihood for Simple Linear Regression
    • Diagnostics and Modifications for Simple Regression
    • Inference on Parameters
    • Predictive Inference for the Simple Linear Model
    • Interpreting Parameters after Transformation
    • F-Tests, R^2, and Other Distractions
    • Simple Linear Regression in Matrix Format

  • Regressão múltipla e tópicos avançados

    • Multiple Linear Regression
    • Diagnostics and Inference for Multiple Linear Regression
    • Polynomial and Categorical Regression
    • Multicollinearity
    • Tests and Confidence Sets
    • Interactions
    • Outliers and Influential Points
    • Model Selection
    • Review
    • Weighted and Generalized Least Squares
    • Variable Selection
    • Trees
    • The Bootstrap I
    • The Bootstrap II
    • No futuro, o material de linear spatio-temporal estimation and prediction da disciplina Data Over Space and Time poderá ser incluído no manuscrito
    • Wiener filter e kriging são citados como exemplos
    • A última atualização do texto foi a reexecução do código após uma atualização do R e a correção de erros de digitação, com data de 20 de outubro de 2025

Leituras relacionadas

1 comentários

 
GN⁺ 2024-08-01
Comentários do Hacker News

  • Regressão linear costuma ser subestimada

    1. Todos os testes estatísticos comuns são modelos lineares: https://lindeloev.github.io/tests-as-linear/
    2. Um modelo linear significa que ele é linear em relação aos parâmetros, não em relação ao valor de resposta. Por exemplo, y = a*sin(x)+bx^2 também é um modelo linear
    3. Ao escolher uma base de splines adequada, muitas relações não lineares entre variáveis preditoras e o valor de resposta também podem ser modeladas com um modelo linear
    4. Mesmo que ainda falte flexibilidade, pelo teorema de Taylor, uma relação linear muitas vezes é uma boa aproximação de uma relação não linear
    • Concordo totalmente com esses pontos, e modelos lineares deveriam receber muito mais reconhecimento
      Outro ponto importante é que, para humanos — especialmente em grupos —, racionalmente é difícil tomar decisões que não sejam lineares
      Em uma reunião para definir o rumo da empresa, só dá para falar algo como “vamos aumentar o gasto com anúncios e reduzir outros custos de aquisição, como cupons de desconto”. Encontrar o equilíbrio entre “aumento do gasto com anúncios” e “redução de outros custos” é um modelo linear simples
      Mesmo que exista um ótimo modelo não linear, o ponto central não é tanto “interpretabilidade”, mas viabilidade de execução. Se você leva resultados de uma análise de regressão para uma reunião, consegue modelar rapidamente várias estratégias e dar uma confiança racional sobre a direção a seguir
      Eu tinha dificuldade para comunicar insights acionáveis para cima, mas, depois de entender bem análise de regressão, ficou surpreendentemente fácil abrir e entender rapidamente até processos de negócios bastante complexos
    • Em relação ao ponto 3, usei modelos aditivos generalizados com bastante sucesso técnico na maior parte da pesquisa acadêmica e do trabalho na indústria. Ou seja, eles se ajustavam bem aos dados
      Ainda assim, era raro stakeholders entenderem isso de fato ou reconhecerem seu valor. Em geral, acho que era por preguiça e hábito
    • Gostaria de ver referências úteis sobre o ponto 3
      Um problema que vejo com frequência na literatura é que os autores superinterpretam a inclinação de modelos com termo quadrático, por exemplo Y = age + age^2, nas faixas etárias mínima e máxima. Se você olha o gráfico só pela linha, e não pelo intervalo de confiança, parece haver uma queda entre os mais idosos, mas na prática isso pode ser apenas uma inclinação negativa aparente causada pelo fato de que o modelo quadrático não consegue representar uma assíntota. Ex.: https://www.researchgate.net/figure/Scatter-plot-of-the-quad...)
      Quando não havia uma escolha teoricamente determinada, usei polinômios fracionários. Por exemplo, com x^s, usando s = {−2, −1, −0.5, 0, 0.5, 1, 2, 3}, adotei uma estratégia de escolher o polinômio com melhor ajuste evitando overfitting: https://journal.r-project.org/articles/RN-2005-017/RN-2005-0...
      Não é uma técnica ruim, e também tentei outros métodos, como regressão polinomial por partes e nós, mas, por exemplo, não sabia bem como testar uma interação de grupo entre duas splines com nós. Com modelos aditivos era a mesma coisa: https://bookdown.org/ssjackson300/Machine-Learning-Lecture-N...
    • Olhando pelo ângulo certo, SVM também é um modelo puramente linear e, em uma visão bem reducionista, uma rede neural ReLU pode ser descrita como linear por partes
      Mas esse tipo de explicação talvez esconda mais do que ajude. Escolher a transformação adequada para um caso específico é um problema muito difícil. Continua a questão: por que deveriam ser sin(x) e x^2, e não tanh(x) e x^(1/2)?
    • Tenho pouquíssimo conhecimento de matemática, então o ponto 2 me surpreendeu. Pesquisando rapidamente, encontrei que um modelo linear deveria gerar uma reta quando desenhado em um gráfico, mas a equação dada como exemplo não é uma reta
      Sinto que estou deixando passar algo básico

  • A técnica mais importante em regressão é reconhecer o intercepto. Parece trivial, e de fato é trivial, mas isso muda quando você começa a incluir interações entre termos. Já vi muitos jovens pós-graduandos errarem isso
    Considere um modelo linear simples que usa nota em teste, idade (7 a 16 anos) e uma variável categórica binária de diagnóstico de autismo (0=grupo controle, 1=autismo): score = age + diagnosis + age:diagnosis, ou seja, score = (X1)age + (X2)diagnosis + (X3)age:diagnosis
    Se X2 é significativo, um estudante ingênuo diz “há diferença entre os grupos!”, mas deixa passar que isso é a diferença prevista entre os grupos quando o participante tem 0 anos. A idade deve ser centralizada na média, na mediana ou, melhor ainda, na idade de interesse. Quando uma interação entra na equação, todas as estimativas dos parâmetros de “ordem mais baixa” são interpretadas em relação ao intercepto
    Você também pode olhar para o fato de que o efeito da idade é significativo e achar que ele se aplica aos dois grupos, mas X1 só informa a inclinação prevista do grupo de referência, o controle. A interação testa se as inclinações de idade dos dois grupos são diferentes. Além disso, mesmo que a interação não seja significativa, o efeito da idade no grupo com autismo pode não ser significativamente diferente de 0. Se os dados estiverem numa zona ambígua, é preciso cuidado na interpretação
    Para alguns isso pode parecer óbvio, mas entender corretamente o espaço condicional dos parâmetros quando há termos de interação exige esforço. Aqui ignorei por enquanto o esquema de codificação dos grupos, por exemplo se é em relação à média geral ou se um grupo é usado como referência, mas a lição permanece a mesma. É preciso entender o que o intercepto significa e a quem/ao que ele se refere

    • Modelos com termos de interação são sempre difíceis de intuir. Em geral, escrever quais termos do modelo entram para cada classe de resposta ajuda na interpretação
      Também existe o ExploreModelMatrix para ajudar nessa tarefa: https://www.bioconductor.org/packages/release/bioc/html/Expl...
    • Se eu disse algo estranho acima, gostaria que me avisassem. Ainda estou aprendendo
      Se você for um bayesiano convicto que odeia valores-p, tudo bem também. Só que já vi muitos estudantes inteligentes terem dificuldade para interpretar naturalmente modelos com termos de interação, e quis apontar a direção correta
    • Não é verdade que “X1 só informa a inclinação prevista do grupo de referência, o controle”. Pela equação escrita, X1 é o valor para o grupo inteiro. Não foram criadas variáveis dummy corretamente
      X1*age*isControl+X2*isControl+X3*isAutism+X4*isAutism*age+X5*age
      É assim que se consegue separar o efeito da idade em cada grupo e o efeito da idade comum aos dois grupos
    • Essa interpretação parece estar correta
      Um carregamento significativo da variável de diagnóstico X2 não informa o efeito do diagnóstico em uma idade específica. Exceto em idade 0
      É preciso recentralizar o modelo em torno da idade de interesse

  • Fiz 36-401 e 36-402 na CMU há 10 anos, e na época Shalizi ensinava; ambas eram aulas de estatística muito boas. Para o bem ou para o mal, elas faziam você aprender base R
    Aprendi do jeito difícil que uma grande fraqueza da regressão linear é que as pressuposições acadêmicas necessárias para interpretar os coeficientes de forma válida são fáceis de fazer em pequenos conjuntos de dados didáticos, mas quase nunca se aplicam a dados reais bagunçados

    • Depende do caso. A pressuposição mais importante é a independência das observações
      Se isso não for dado, é preciso usar um modelo de efeitos mistos para refletir respostas correlacionadas, ou agregar as respostas por média. Calcular médias reduz a variância, mas também reduz o número de pontos de dados, e no cálculo da estatística t do teste de Wald esses dois efeitos se cancelam
      Quanto a outras pressuposições, como a normalidade dos resíduos, modelos lineares muitas vezes toleram algum grau de violação. Ainda assim, é sempre bom entender que efeito essas violações têm, por exemplo rodando simulações ou observando um histograma dos valores-p de dados nulos
    • Por outro lado, em dados reais bagunçados, muitas vezes basta ter um modelo bom o suficiente, em vez de ficar obcecado com o valor-p dizer isto ou aquilo

  • Gosto do fato de regressão ridge ser apresentada no contexto de multicolinearidade
    Hoje em dia parece que quase todo mundo a aprende como uma técnica de regularização para evitar overfitting, mas um de seus usos fundamentais, e talvez sua origem, está em dividir os pesos de forma equilibrada entre preditores fortemente correlacionados ou quase linearmente dependentes. Mesmo com muitos dados, esses preditores podem causar grandes problemas

  • Gostaria de ver alguém como um pesquisador quantitativo da Citadel ensinando regressão linear. Fico curioso sobre como eles a usam, especialmente com o que se preocupam, e se há resultados teóricos que mudam de modo significativo a forma de enxergar os problemas

    • Tenho um pouco de experiência relacionada. Variações com regularização são indispensáveis. As amostras são pequenas demais, e o ruído por amostra é grande demais
      Em um problema relacionado, a estimação da matriz de covariância, variações de estimadores com shrinkage são populares. A mais simples é o Linear Shrinkage de Ledoit-Wolf
      Tirando redes neurais, acho que a maioria das pessoas que fazem regressão usa regressão linear com esses ajustes específicos do domínio por cima
      Em finanças, especialmente, é fácil demais se enganar com modelos mais complexos
    • Regressão linear, mais precisamente regressão com um único preditor, é a ferramenta principal. É como se só o produto cruzado x'*y não bastasse; dividir pelo produto interno x'*x fica na medida (regressão), e dividir mais uma vez por outro produto interno y'*y, incluindo a raiz quadrada, já vira coeficiente de correlação e parece exagero
      Infelizmente, não há grande segredo nem revelação espetacular. Como Jim Simons disse na entrevista ao Numberphile, é um processo de acumular sinais fracos lenta e dolorosamente, criando e melhorando várias caixas dentro do sistema. Enquanto isso, as interfaces são em geral conhecidas
      No panorama geral, o método de ajuste em si não traz um ganho enorme. Basta ao menos não estragar tudo
      Não trabalhei na Citadel, mas atuei nos últimos 20 anos em P&D quantitativo e trading

  • Na graduação, tive de reaprender regressão linear repetidamente em várias disciplinas. É interessante que, claro, sob a premissa de que as pressuposições se sustentam, sua otimalidade pode ser provada com teoria de estatística e probabilidade
    No doutorado em ciência da computação, vi principalmente problemas de regressão que usam modelos de deep learning. Não trabalhei diretamente com isso, mas seria bem legal se houvesse uma forma de levar as provas e teoremas rigorosos dos modelos lineares clássicos para modelos de regressão profunda

  • “Data Analysis from an Elementary Point of View”, de Shalizi, também é um bom material introdutório: https://www.stat.cmu.edu/~cshalizi/ADAfaEPoV/
    Ele dá bastante peso a modelos lineares, modelos aditivos e simulação, e essa é a direção certa. 90% do livro é inútil sem um computador, mas essa é a realidade moderna

  • Acho que não está neste texto, mas mesmo em regressão linear aparece o fenômeno de double descent, comum em deep learning
    Para vê-lo, é preciso incluir algum tipo de regularização. Seria bom se essa discussão fosse acrescentada

    • Fico curioso se isso se refere a algum artigo específico. A segunda descida acontece depois que o modelo fica sobreparametrizado, como em redes neurais? Também fico curioso sobre que tipo de regularização é

  • Como alguém que está ensinando regressão com XGBoost este mês, é um texto muito bom de ler. Diferentemente de muitos textos acadêmicos, é muito bem escrito e acessível
    Gostei especialmente do capítulo 6, sobre diagnóstico visual. Está muito bem feito

  • Parece interessante; alguém sabe como converter este PDF para um formato otimizado para mobile?