Paradoxo de Simpson

Paradoxo de Simpson

• O paradoxo de Simpson é um fenômeno em probabilidade e estatística no qual uma tendência aparece nos dados de vários grupos, mas desaparece ou se inverte quando os grupos são combinados.
• Esse resultado é frequentemente encontrado nas ciências sociais e na estatística médica, sendo especialmente problemático quando se faz uma interpretação causal indevida de dados de frequência.
• Esse paradoxo pode ser resolvido na modelagem estatística ao tratar adequadamente variáveis de confusão e relações causais.

Exemplos

Viés de gênero na UC Berkeley

• Nas estatísticas de admissão da pós-graduação da UC Berkeley no outono de 1973, parecia que os homens tinham maior probabilidade de serem admitidos do que as mulheres.
• No entanto, ao considerar as informações de admissão por departamento, observa-se que as mulheres tendiam a se candidatar a departamentos mais competitivos, enquanto os homens tendiam a se candidatar a departamentos relativamente menos competitivos.
• Ao ajustar os dados totais, aparece um "viés estatisticamente significativo ligeiramente favorável às mulheres".

Tratamento de cálculo renal

• Exemplo extraído de um estudo médico real que comparou as taxas de sucesso de dois tratamentos para cálculo renal.
• Tanto para cálculos pequenos quanto para cálculos grandes, o tratamento A é mais eficaz, mas ao considerar ambos os tamanhos juntos, o tratamento B parece mais eficaz.
• Esse paradoxo ocorre por causa de uma variável oculta, o tamanho do cálculo, quando essa variável não é considerada.

Média de rebatidas

• O paradoxo de Simpson pode ocorrer ao comparar a média de rebatidas de jogadores profissionais de beisebol.
• Um jogador pode ter uma média de rebatidas mais alta do que outro ao longo de vários anos, mas, ao combinar esses anos, acabar com uma média mais baixa.

Críticas

• Há críticas de que o paradoxo de Simpson, na verdade, não é um paradoxo, mas um problema que surge por não considerar corretamente as relações causais entre as variáveis.
• Ao classificar os dados de outra forma ou considerar outras variáveis de confusão, o fenômeno pode desaparecer ou se inverter.
• Também se aponta que o foco no paradoxo de Simpson pode desviar a atenção de problemas mais importantes que exigem cuidado na análise estatística.

Opinião do GN⁺

• O paradoxo de Simpson oferece uma lição importante para a análise de dados e a inferência estatística. Ele enfatiza que, ao interpretar dados, é importante não apenas comparar números de forma simples, mas compreender as relações entre as variáveis e o contexto da situação.
• Esse paradoxo lembra cientistas de dados e pesquisadores de que, ao analisar dados, é preciso identificar variáveis de confusão e usar métodos estatísticos adequados para esclarecer relações causais.
• O paradoxo de Simpson pode ser usado como um exemplo que destaca a importância de técnicas de análise de dados para evitar interpretações equivocadas e chegar a conclusões mais precisas.
• Na educação em ciência de dados, o paradoxo de Simpson pode ser utilizado como uma importante ferramenta pedagógica e ajudar a aumentar a conscientização sobre erros potenciais que podem surgir ao interpretar conjuntos de dados complexos.
• Entre as metodologias estatísticas que ajudam a compreender e resolver esse paradoxo estão a análise multivariada, a regressão logística e os modelos de inferência causal; esses métodos são essenciais para que analistas de dados resolvam problemas reais.

[GN⁺]

Comentários no Hacker News

• Um analista de dados contou que, quando trabalhava na empresa de e-commerce The Hut Group, foi relatado que os custos de marketing estavam caindo, mas na realidade eles quase dobraram.

  • A equipe de marketing informou que os custos de marketing haviam diminuído em cada categoria de produto, mas, como a participação de vendas da categoria de suplementos nutricionais aumentou muito, a proporção total de custos de marketing subiu.
  • Isso virou uma oportunidade para explicar o paradoxo de Yule Simpson, um exemplo que mostra a diferença entre o desempenho individual e o resultado geral.

• O matemático Jordan Ellenberg argumenta que o paradoxo de Simpson, na verdade, não é uma contradição, mas sim sobre duas formas diferentes de olhar para os dados.

  • Esse é um método de análise importante em ciência de dados, pois considera ao mesmo tempo as partes e o todo.

• Um professor de estatística usou dados de preços de imóveis dos Estados Unidos para explicar o paradoxo de Simpson.

  • O preço médio das casas sem ar-condicionado central apareceu como mais alto do que o das casas com esse recurso, mas, ao separar por estado, a relação se invertia.
  • Isso foi resultado de casas caras da Califórnia puxarem o preço médio para cima.

• Também é preciso estar atento ao paradoxo de Berkson.

  • Ele explica que erros podem surgir em conjuntos de dados formados de maneira enviesada.

• A curta animação na página da Wikipédia sobre o paradoxo de Simpson é um bom exemplo para ajudar na compreensão.

• Alguém comentou que descobriu recentemente que o paradoxo de Simpson oferece uma lição sobre inferência causal.

  • Ao aplicar o paradigma correto, o paradoxo se resolve.

• O paradoxo de Lord está intimamente relacionado ao paradoxo de Simpson e é fácil de entender visualmente.

  • Usando como exemplo a relação entre dose de um medicamento e horas de sono, as linhas de regressão dos dados individuais e dos dados agregados mostram resultados diferentes.

• Houve quem pensasse que o paradoxo de Simpson na verdade se parecia com uma cena de um episódio de "Os Simpsons", mas isso pode ter sido uma semelhança intencional dos roteiristas da série no fim dos anos 1990.

• Alguém leu sobre um caso na admissão da UC Berkeley que parecia mostrar viés de gênero e descobriu que mulheres e homens tendiam a se candidatar, respectivamente, a cursos muito concorridos e a cursos menos concorridos.

  • Isso contrasta com a situação na Austrália, onde geralmente se espera que cursos de artes sejam mais fáceis de entrar do que cursos de STEM.

• A visualização da Wikipédia é tão eficaz que dá para entender o paradoxo sem explicação adicional.