Paradoxo de Simpson

 (en.wikipedia.org)
3 pontos por GN⁺ 2024-03-13 | 1 comentários | Compartilhar no WhatsApp
  • O paradoxo de Simpson é um fenômeno de probabilidade e estatística em que uma tendência observada em subgrupos desaparece ou se inverte quando os dados são combinados; olhar apenas para dados agregados pode distorcer muito o julgamento
  • Interpretar dados de frequência diretamente como causalidade facilita deixar passar variáveis de confusão, o que é especialmente problemático em estatísticas de ciências sociais e medicina
  • Os casos de admissão na pós-graduação da UC Berkeley, tratamento de cálculos renais e médias de rebatidas no beisebol profissional mostram que comparações por subgrupos e comparações agregadas podem levar a conclusões diferentes
  • A inversão de proporções também pode ser explicada pela perspectiva de vetores, e a limitação central é que é difícil decidir, olhando apenas para tabelas, se os dados devem ser separados ou combinados
  • Uma interpretação correta exige modelos causais como o back-door criterion de Pearl e o do-calculus; entender o processo de geração dos dados é mais importante do que simples agregações

Fenômeno e nome

  • O paradoxo de Simpson é o fenômeno em que uma tendência que aparece em vários grupos de dados desaparece ou muda para o oposto quando os grupos são combinados
  • É especialmente perigoso quando se atribui uma interpretação causal excessiva a dados de frequência, e variáveis de confusão e relações causais precisam ser tratadas adequadamente na modelagem estatística
  • É usado como um exemplo clássico de como o mau uso da estatística pode produzir resultados incorretos
  • Edward H. Simpson descreveu esse fenômeno em um artigo técnico de 1951, enquanto Karl Pearson em 1899 e Udny Yule em 1903 mencionaram efeitos semelhantes anteriormente
  • O nome Simpson's paradox foi introduzido por Colin R. Blyth em 1972
  • Outros nomes incluem Simpson's reversal, Yule–Simpson effect, amalgamation paradox e reversal paradox

Caso de admissão na pós-graduação da UC Berkeley

  • Nos dados de admissão da pós-graduação da University of California, Berkeley, no outono de 1973, pelo critério agregado, candidatos homens tinham maior probabilidade de aceitação do que candidatas mulheres, e a diferença era grande demais para ser considerada acaso
    • Entre 12.763 candidatos no total, a taxa de aceitação foi de 41%
    • Entre 8.442 homens, a taxa de aceitação foi de 44%
    • Entre 4.321 mulheres, a taxa de aceitação foi de 35%
  • Ao considerar as informações por departamento, surge um padrão diferente do agregado
    • Mulheres tendiam a se candidatar mais a departamentos mais competitivos, com taxas de aceitação mais baixas
    • Homens tendiam a se candidatar mais a departamentos menos competitivos, com taxas de aceitação mais altas
  • Os dados agregados e ajustados mostraram um viés pequeno, mas estatisticamente significativo, favorável às mulheres
  • Dos 85 departamentos no total, 4 apresentaram viés significativo desfavorável às mulheres, e 6 apresentaram viés significativo desfavorável aos homens
  • A conclusão se baseia não no número de departamentos enviesados em si, mas nos resultados de admissão por gênero em todos os departamentos, ponderados pela taxa de rejeição de cada departamento em relação ao total de candidatos

Caso de tratamento de cálculos renais

  • Em um estudo médico real, o paradoxo de Simpson apareceu ao comparar as taxas de sucesso dos tratamentos A e B para cálculos renais
    • O Treatment A inclui um procedimento cirúrgico aberto
    • O Treatment B inclui um procedimento cirúrgico fechado
  • Quando analisado por tamanho do cálculo, o Treatment A tem taxa de sucesso mais alta
    • Cálculos pequenos: A tem 93% (81/87), B tem 87% (234/270)
    • Cálculos grandes: A tem 73% (192/263), B tem 69% (55/80)
  • Ao combinar os tamanhos dos cálculos, o Treatment B mostra uma taxa de sucesso mais alta
    • Total: A tem 78% (273/350), B tem 83% (289/350)
  • A inversão ocorre porque a escolha do tratamento e a dificuldade do caso atuam em conjunto
    • Médicos tendiam a aplicar mais o melhor Treatment A em cálculos grandes, e mais o Treatment B, relativamente inferior, em cálculos pequenos
    • Como o tamanho do cálculo tem grande impacto na taxa de sucesso, a gravidade do caso atua mais fortemente sobre a proporção geral do que a escolha do tratamento
  • O motivo pelo qual o Treatment B, menos eficaz, pareceu mais eficaz foi ele ter sido aplicado com mais frequência a casos de cálculos pequenos, mais fáceis de tratar
  • Jaynes considerou que o Treatment A é claramente melhor que o Treatment B, mas que o tamanho do cálculo renal é uma variável mais importante

Caso de média de rebatidas no beisebol profissional

  • O paradoxo de Simpson também pode aparecer na média de rebatidas de jogadores de beisebol profissional
  • Um jogador pode ter média de rebatidas mais alta que outro em vários anos individualmente, mas uma média mais baixa quando todos os anos são combinados
  • Ken Ross mostrou isso com as médias de rebatidas de Derek Jeter e David Justice em 1995 e 1996
    • 1995: Jeter teve 12/48, .250; Justice teve 104/411, .253
    • 1996: Jeter teve 183/582, .314; Justice teve 45/140, .321
    • Agregado: Jeter teve 195/630, .310; Justice teve 149/551, .270
  • Justice teve média de rebatidas maior que Jeter em cada um dos dois anos, mas, combinando as duas temporadas, Jeter registrou a média mais alta
  • Segundo Ross, esse fenômeno pode ser observado aproximadamente uma vez por ano entre pares possíveis de jogadores

Inversão de proporções vista por vetores

  • O paradoxo de Simpson também pode ser explicado por um espaço vetorial bidimensional
  • Uma taxa de sucesso p/q, isto é, sucessos/tentativas, pode ser representada como um vetor com inclinação p/q
  • Ao combinar duas proporções, isso é expresso como uma soma vetorial segundo a lei do paralelogramo, e a inclinação dessa soma se torna a taxa de sucesso combinada
  • Mesmo que, em comparações individuais, a inclinação de um vetor seja menor que a de outro, a inclinação do resultado da combinação de dois vetores pode se tornar maior no sentido oposto
  • Para que essa inversão ocorra, parte dos vetores de um lado precisa ter inclinação maior do que parte dos vetores do outro lado, e esses vetores em geral são mais longos, dominando a comparação geral

Correlação e interpretação causal

  • A reversão de Simpson também pode ocorrer em correlações
  • Duas variáveis podem mostrar correlação positiva no conjunto total, mas, ao refletir uma variável de confusão oculta, podem na verdade ter correlação negativa
  • Em um exemplo de economia, olhando apenas os dados totais, a demanda parecia ter correlação positiva com o preço, mas, ao considerar a variável tempo, apareceu a correlação negativa esperada em vários períodos
  • Se o efeito do tempo for ignorado e apenas demanda e preço forem plotados, a correlação se inverte para positiva
  • O paradoxo de Simpson mostra que a intuição de que a inversão de sinal seria impossível não decorre apenas da lógica clássica ou do cálculo de probabilidades
  • Uma forma limitada do sure-thing principle de Savage pode ser derivada do do-calculus de Pearl
    • Se uma ação A aumenta a probabilidade de um evento B em cada subgrupo, então, desde que essa ação não mude a distribuição dos subgrupos, ela também deve aumentar a probabilidade de B no grupo total
  • Pavlides e Perlman apresentaram uma prova de que, em tabelas aleatórias 2 × 2 × 2 com distribuição uniforme, o paradoxo de Simpson ocorre exatamente com probabilidade de 1/60
  • No estudo de Kock, em modelos de caminho com duas variáveis preditoras e uma variável critério, a probabilidade de o paradoxo de Simpson ocorrer aleatoriamente foi de cerca de 12,8%, ou seja, um pouco mais do que uma vez a cada 8 modelos de caminho

O segundo paradoxo de Simpson e grafos causais

  • O artigo de Simpson de 1951 também inclui um segundo paradoxo menos conhecido
  • Nesse caso, diferentemente do caso dos cálculos renais, nem sempre há uma interpretação racional nos dados separados; os dados combinados podem ser a interpretação correta
  • A escolha entre usar dados particionados ou combinados depende do processo que gerou os dados
  • Portanto, observar apenas a tabela nem sempre permite determinar a interpretação correta
  • Judea Pearl mostrou que, para que os dados particionados representem a relação causal correta entre as variáveis X e Y, a variável de partição deve satisfazer uma condição de grafo chamada back-door criterion
    • Ela deve bloquear todos os caminhos espúrios entre X e Y
    • Nenhuma variável de partição deve ser afetada por X
  • Esse critério oferece uma solução algorítmica para o segundo paradoxo de Simpson e explica que diferentes grafos compatíveis com os mesmos dados podem exigir diferentes back-door criteria
  • Se um conjunto de covariáveis Z satisfaz o back-door criterion, a fórmula de ajuste fornece o efeito causal correto de X sobre Y
  • Se tal conjunto não existir, é possível buscar outro método para estimar o efeito causal com o do-calculus de Pearl
  • A completude do do-calculus pode ser vista como uma solução completa para o paradoxo de Simpson

Críticas e implicações práticas

  • Uma crítica é que o paradoxo de Simpson não é um paradoxo real, mas resultado de não refletir adequadamente variáveis de confusão ou de não considerar as relações causais entre variáveis
  • Focar no paradoxo em si pode desviar a atenção de problemas estatísticos mais importantes
  • Outra crítica é que um aparente paradoxo de Simpson pode ser resultado da forma como os dados são estratificados ou agrupados
  • Se os dados forem estratificados de outra maneira ou se outras variáveis de confusão forem consideradas, o fenômeno pode desaparecer ou se inverter no sentido oposto
  • O exemplo de Simpson enfatiza o fenômeno de noncollapsibility, em que proporções altas em subgrupos não se tornam uma média simples quando combinadas
  • Ainda assim, o paradoxo de Simpson continua sendo um tema estudado e discutido em estatística e análise de dados, permanecendo como um exemplo das armadilhas da interpretação simples de dados

Leituras relacionadas

1 comentários

 
GN⁺ 2024-03-13
Opiniões do Hacker News

  • Vivi isso na prática há muito tempo, quando trabalhava como analista de dados na The Hut Group
    A equipe de marketing dizia que, ao longo do ano, a proporção de gastos de marketing em relação à receita havia caído em todas as linhas de produtos, mas no fim do ano a diretoria ficou surpresa ao ver que o custo total das vendas quase dobrou, de 10% para quase 20%
    A pedido da equipe financeira, verifiquei os números e os dados do marketing estavam corretos: a proporção de gastos de marketing nas linhas de games, beleza e nutrição havia caído, respectivamente, de cerca de 15%→10%, 30%→25% e 50%→30%
    Só que o mix de produtos mudou bastante: a linha de nutrição cresceu de cerca de 10% da receita total para quase 50%, e, como a categoria com a maior proporção de custos ficou maior, a proporção total de gastos de marketing aumentou
    No fim, a eficiência de vendas em cada categoria melhorou, mas o indicador geral piorou, e acabei recebendo a divertida tarefa de explicar o paradoxo de Yule-Simpson ao pessoal da contabilidade

    • Quase todos os conjuntos de dados com que lido como SRE estão cheios desse tipo de paradoxo
      Um caso famoso do Google: um engenheiro de rede foi a um lugar como a Indonésia, percebeu que o serviço estava lento e, ao perguntar sobre isso, ouviu de todos que “sempre foi assim”
      As redes móveis locais eram lentas e as conexões de fibra óptica para fora das ilhas estavam saturadas; então, ao voltar à sede, ele fez uma otimização para reduzir o tamanho do payload, reduziu pela metade o tamanho do download e fez o deploy, mas a latência média e a p95 aumentaram
      O motivo de uma mudança objetivamente boa parecer ruim foi que os usuários para quem o serviço melhorou muito começaram a usá-lo muito mais
      Embora a carga de largura de banda tenha diminuído, a latência de rede até o data center ainda era maior que a dos usuários dos EUA, e, ao usarem mais um serviço que ficou “menos horrível”, eles puxaram os indicadores gerais para cima
      Há muitos casos em que se tira a conclusão errada por olhar apenas para certos recortes da telemetria de requisições, sem modelar suficientemente o sistema inteiro, ou por controlar a variável errada
      O pior é a transferência cíclica de culpa criada pelo paradoxo de Simpson: o desenvolvedor do app culpa uma regressão no servidor, a equipe de servidor culpa a equipe do app, e às vezes isso acontece porque os cronogramas de release do servidor e do app coincidiram por acaso de um jeito perfeito demais
    • Na prática, é bem comum
      Dá para ver isso até em conjuntos de dados “clássicos” de brinquedo, como o Iris: https://github.com/DataForScience/Causality/blob/master/1.2%...
    • Sempre que ouço exemplos reais do paradoxo de Simpson, não sei bem qual lição devo tirar
      Não fica claro para mim se significa que a equipe de marketing otimizou demais e reduziu a demanda por produtos que não eram de nutrição, se, ao tirar os produtos de nutrição do portfólio, tanto a eficiência por produto quanto a eficiência total melhorariam, ou se esse tipo de métrica é insuficiente e devemos olhar para a mudança total em vez de proporções
    • Eu achava que aplicar modelos lineares mistos/hierárquicos era algo bastante comum
      Não sou formado em estatística, mas em áreas que modelam efeitos biológicos costuma-se abordar esse tipo de problema assim
      Ex.: https://www.pymc.io/projects/examples/en/latest/generalized_...
    • É surpreendente que os slides do relatório não incluíssem a mudança no mix de produtos
      Dito isso, o marketing tende a escolher positividade em vez de objetividade, e costuma selecionar apenas os fatos que sustentam o trabalho que fez

  • A citação de Jordan Ellenberg é muito boa

    O matemático Jordan Ellenberg considera que o nome paradoxo de Simpson é inadequado. “Não há contradição; há apenas duas maneiras diferentes de pensar sobre os mesmos dados”, e a lição a tirar disso “não é dizer qual ponto de vista escolher, mas exigir que se mantenham em mente, ao mesmo tempo, as partes e o todo”
    A atitude de manter várias possibilidades em mente ao mesmo tempo permitiu que os epicuristas chegassem à sobrevivência do mais apto, à herança de características de ambos os pais, à ideia de que a luz é composta de unidades discretas muito leves e que se movem muito rápido, e à ideia de que, para que o livre-arbítrio exista, os quanta que compõem a matéria precisam poder levar a vários resultados possíveis sob as mesmas leis e condições físicas
    Isso aconteceu milhares de anos antes de o método científico encontrar independentemente os mesmos resultados, e é também um excelente método de análise para a análise de dados mencionada aqui

    • Acho que há um pequeno mal-entendido sobre o significado da palavra “paradoxo”
      Chamamos de paradoxo porque contraria a intuição inicial e parece uma contradição, não porque necessariamente precise ser uma contradição real
      Na verdade, é provável que a maioria dos paradoxos nomeados acabe se revelando não ser uma contradição real, porque algo que parece errado e de fato está errado dificilmente seria interessante o suficiente para receber um nome
    • A formulação de que, para o livre-arbítrio existir, os quanta que compõem a matéria precisam poder gerar vários resultados possíveis sob as mesmas leis e condições físicas soa estranha e fora de contexto
      Parece estar falando de mecânica quântica, mas não parece representar corretamente nem a mecânica quântica nem o livre-arbítrio, e os epicuristas certamente não poderiam conhecer mecânica quântica
    • Não entendo bem a conexão entre o paradoxo de Simpson e os epicuristas
    • A lista de teorias epicuristas é interessante
      Seria bom ter algum material introdutório que tratasse delas em conjunto e mostrasse como se relacionam ao pensamento de múltiplas possibilidades
    • Parece implicância, mas a expressão “a luz é composta de unidades discretas muito leves e que se movem muito rápido” não é precisa
      Primeiro, a luz tem exatamente massa zero, e apenas partículas sem massa podem se mover exatamente à velocidade da luz, e somente a essa velocidade
      Segundo, ela deixa de fora a dualidade onda-partícula da luz, que também se parece com a explicação do paradoxo de Simpson como “duas maneiras diferentes de pensar sobre os mesmos dados”; sem isso, não é possível compreender plenamente o comportamento da luz nem do sistema estatístico observado

  • Há muito tempo, quando eu ensinava estatística introdutória, usei preços de imóveis como um bom exemplo do paradoxo de Simpson
    Fiz os alunos pesquisarem dados reais em um exercício de cálculo; os dados da época eram de vendas de imóveis nos EUA em 2008, então hoje já têm uns 15 anos
    Naquele momento, o preço médio de venda de casas unifamiliares sem ar-condicionado central era maior do que o das casas com ar-condicionado central
    Mas, ao separar por estado, a relação se invertia em todos os estados: casas com ar-condicionado central eram mais caras do que casas sem
    O principal motivo de as casas sem ar-condicionado central aparecerem com preço mais alto na média nacional era que havia muitas casas sem ar-condicionado central entre os imóveis caros da Califórnia

    • Esse resultado pode ser lido como o oposto dos exemplos acima, ou como um problema de escolher a estatística correta conforme o objetivo
      Nesse caso, a média nacional não importa muito; o que importa é minha casa, minha rua, minha região
      Já em algo como marketing, a estatística mais importante primeiro é o lucro líquido total; depois, ao investigar os fatores, olha-se a participação do negócio antes do custo de marketing
      No exemplo de rede, o objetivo não é velocidade nem latência, mas uso/vazão
      Se você escolher a estatística errada desde o início, chegará à conclusão errada

  • Também vale conhecer https://en.wikipedia.org/wiki/Berkson%27s_paradox
    Há muitos caminhos pelos quais erros se infiltram quando a população é formada de maneira enviesada
    Esses dois efeitos explicam uma boa parte das decisões tolas que saem de processos “orientados por dados”
    É comum os dados sugerirem exatamente o oposto da verdade

    • Acho que a melhor lição a tirar desses fenômenos é que simplesmente rodar estatísticas sobre um conjunto de dados não permite conhecer a verdade
      Se você não entende os fatores causais que realmente atuam, seu conhecimento fica muito limitado, por mais dados que tenha e por mais formas diferentes que use para fatiar as estatísticas
      Por exemplo, no caso da UC Berkeley citado no artigo sobre o paradoxo de Simpson, os dados dizem muito pouco de útil sobre o “viés” em relação ao qual as pessoas deveriam agir de forma diferente para tornar o processo de admissão mais justo
      Sem contexto, como saber se o processo de admissão é controlado principalmente no nível dos departamentos ou no nível da universidade como um todo, nem dá para saber onde procurar possíveis vieses
    • Se você for empirista, basta apontar para https://en.wikipedia.org/wiki/Goodhart%27s_law
    • Como diz o ditado: mentiras, mentiras deslavadas e estatísticas

  • A animação curta da página da Wikipédia é um ótimo exemplo de que uma imagem vale mais que mil palavras
    [https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)

  • O paradoxo de Lord é intimamente relacionado ao paradoxo de Simpson e, visualmente, é um pouco mais fácil de entender: https://repository-images.githubusercontent.com/597130499/46...
    Basta imaginar que o eixo horizontal é a dose de um medicamento e o eixo vertical é uma resposta, como horas de sono
    Observando a resposta de Lisa, fica claro que, quanto maior a dose, menos ela dorme; o mesmo vale para Bart
    Mas, se você fizer uma regressão linear com os dados completos, ela indicará, como a linha vermelha, que quanto maior a dose, mais sono, o que é uma conclusão errada

  • Até pouco tempo atrás, eu não sabia que o paradoxo de Simpson era uma lição sobre inferência causal
    Quando se aplica o paradigma correto, o paradoxo desaparece
    Um texto melhor está aqui: https://plato.stanford.edu/entries/paradox-simpson/

  • Quando vi pela primeira vez, achei que fosse o episódio de The Simpsons em que Mr. Burns tem uma “variedade tão enorme de doenças que elas se anulam mutuamente”
    A explicação está aqui: https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
    A semelhança é surpreendente, mas, considerando a genialidade dos roteiristas de The Simpsons no fim dos anos 90, é bem provável que tenha sido intencional

  • Ao ler o exemplo que parecia mostrar um viés de gênero nas admissões da UC Berkeley, vi isto: “As mulheres tendiam a se candidatar a departamentos mais competitivos, com taxas de admissão mais baixas, e isso também ocorria entre candidatas qualificadas. Por exemplo, o departamento de Inglês. Já os homens tendiam a se candidatar a departamentos menos competitivos, com taxas de admissão mais altas; por exemplo, Engenharia.” Fiquei surpreso, porque era o oposto do que eu esperava. Eu achava que, em geral, Inglês e artes seriam muito mais fáceis de entrar do que STEM; na Austrália, é assim que parece. Aqui, “entrar” se refere à admissão na universidade, não ao mercado de trabalho.

    • Parece que ninguém ainda deu a resposta óbvia. Esses dados são de candidaturas a programas de pós-graduação. Engenharia tem muito mais financiamento, e uma parcela considerável dos alunos de doutorado em Engenharia não paga a própria mensalidade. Nas humanidades há muito pouco financiamento, e a maioria dos alunos não quer pagar uma fortuna por um doutorado em Humanidades; por isso, os departamentos limitam rigidamente o número de vagas. Portanto, se você for suficientemente competente, tende a ser mais fácil entrar em um doutorado em Engenharia. Um amigo que estudava Engenharia comigo ficou desiludido e quis ir para jornalismo, então se candidatou à transferência para o programa de Communications da universidade; era tão concorrido que aceitavam menos de 10 pessoas por ano, e ele acabou sendo rejeitado.
    • Na Austrália, normalmente pensamos na competitividade de um curso de graduação pela classificação ATAR mínima dos aprovados no ano anterior. Mas também dá para ver a competitividade pela taxa de aprovação, isto é, número de aprovados / número de candidatos. Se, em um curso muito popular, a proporção de candidatos com ATAR alto for desproporcionalmente baixa, acho que esses dois indicadores podem ser verdadeiros ao mesmo tempo.
    • Também fiquei surpreso ao ler. Acho que a resposta é que o que estamos vendo aqui é a taxa de admissão = número de aprovados / número de candidatos, e isso não é o mesmo que a dificuldade geral em sentido conceitual. Quem se candidata a uma pós-graduação em Matemática é apenas alguém que teve boas notas na graduação em Matemática ou que cursou uma quantidade considerável de disciplinas de matemática teórica em outra área de STEM. As artes atraem candidatos de formações mais amplas, e parece provável que muito mais gente migre de STEM para outras áreas do que o contrário. É fácil se convencer de que seu conto é excelente, mesmo que os outros possam discordar; mas é mais difícil se convencer de que uma prova matemática objetivamente errada está correta. Por isso há menos autosseleção por parte dos candidatos, e a taxa de admissão fica mais baixa.
    • Competitividade é uma forma de medir dificuldade, mas há outras. Departamentos de Engenharia tendem a ser mais difíceis de entrar qualitativamente, enquanto Humanidades tendem a ser mais difíceis quantitativamente.

  • Aquela visualização foi tão eficaz que não precisei ler a wiki. Só de olhar para ela, entendi imediatamente.