- Nas ciências sociais e ciências da vida, existe algum nível de correlação entre quase todas as variáveis
- Esse fenômeno não é mera coincidência nem erro estatístico, mas um fato real decorrente de fatores genéticos e ambientais complexamente entrelaçados
- Quanto maior o tamanho da amostra, correlações significativas aparecem na maioria dos pares de variáveis, e os pesquisadores passam a prestar atenção mais ao próprio padrão de correlações do que a correlações individuais
- O “crud factor” significa que quase todos os pares de variáveis têm pequenas correlações, e apenas com uma teoria arbitrária e a escolha de pares de variáveis já se obtêm resultados significativos com alta probabilidade
- Nessa situação, o significado do nível de significância tradicional (0,05) enfraquece, exigindo cautela na interpretação estatística nas ciências sociais
Visão geral e contexto
- Em psicologia e sociologia, a afirmação de que “tudo se correlaciona com tudo em algum grau” é amplamente aceita
- Certas características são determinadas por vários fatores genéticos e ambientais, e esses fatores também têm correlações entre si
- Portanto, na prática, quase toda variável mensurável apresenta algum grau de inter-relação
“Crud factor” e descobertas estatísticas
- “Crud factor” refere-se ao fenômeno, em pesquisas de ciências sociais (e em parte das ciências da vida), de que sempre existe uma pequena correlação até mesmo entre pares arbitrários de variáveis
- Em um grande conjunto de dados com 57.000 estudantes do ensino médio de Minnesota, em 1966, os resultados da análise de 105 tabelas cruzadas (crosstabulation) entre variáveis diversas como família, educação, atividades de lazer, carreira e religião foram todos estatisticamente significativos
- Em 96% do total, a possibilidade de acaso foi descartada com probabilidades extremamente baixas, no nível de p<10⁻⁶
- Ao ampliar o número de variáveis para 45, 92% das 990 combinações no total foram estatisticamente significativas
- A mediana (median) das relações significativas entre uma variável e todas as demais foi de 41 entre 44
Exemplos entre variáveis reais
- Nas relações entre pontuações do MCAT e número de irmãos, ordem de nascimento, sexo, plano de carreira, preferência religiosa etc., também foram encontradas altas significâncias estatísticas em todos os casos
- Ex.: alunas tiveram pontuação maior que alunos, houve tendência de queda na pontuação quanto maior o número de irmãos, primogênitos/filhos únicos eram mais inteligentes que os caçulas, e havia várias diferenças claras entre grupos religiosos
- Mesmo entre 5 denominações protestantes representativas, foi observada alta significância nas relações com várias variáveis
- Ex.: a probabilidade de um filho único ser Presbyterian era quase o dobro da de ser Baptist, além de várias correlações como diferenças por denominação na afinidade com a escola e nas aspirações profissionais
Caso dos itens do MMPI
- Entre os 550 itens do MMPI (teste de personalidade), 507 (92%) mostraram diferenças significativas por sexo
- Alguns itens permitem explicar claramente diferenças marcantes de tendência, enquanto outros têm motivos complexos ou impossíveis de explicar
- Como esses resultados aparecem em estudos de grande escala com amostras muito grandes, tratam-se de fenômenos reais, e não de erro estatístico (type I error)
Correlações nas ciências sociais e os limites da validação teórica
- Mesmo combinando aleatoriamente uma teoria qualquer com pares de variáveis, se a correlação média (crud factor) estiver em torno de 0,30, é possível encontrar uma diferença significativa em praticamente uma a cada três tentativas
- Isso ocorre com muito mais frequência do que o nível de significância (0,05) normalmente considerado relevante nas ciências sociais
- Como correlações aparecem facilmente até em pares de variáveis que o pesquisador não previu teoricamente, é difícil sustentar uma relação causal substantiva apenas com significância estatística
- Causas complexas (genes/ambiente) e a riqueza dos dados observacionais produzem essas correlações em muitas direções
Conclusão prática
- Ao interpretar dados de ciências sociais e validar teorias, é preciso sempre ter em mente as “correlações comuns, mas realmente existentes” geradas pelo ‘crud factor’
- Em vez de confiar cegamente em estatísticas de significância (ex.: p<0,05), é necessário adotar uma abordagem que foque mais na causalidade substantiva entre variáveis e na interpretação de padrões
- Como no aforismo de Thorndike, “todas as coisas boas tendem a vir juntas”, no mundo real há coisas demais entrelaçadas entre si
1 comentários
Comentários do Hacker News
Fala sobre uma das coisas que mais me incomodam
As pessoas entendem errado a expressão “statistically significant” como se quisesse dizer “notável” ou “tem significado”
Encontram uma diferença medida e tomam isso como se a estatística estivesse dizendo que ela é “importante”, mas essa é a forma errada de pensar
Na verdade, o teste de significância só informa a probabilidade de a diferença observada ser uma “boa medição”
Ou seja, com certo nível de confiança, dá para dizer que “a diferença realmente existe”
Se a diferença medida também é “significativa” em termos de juízo de valor é outra questão, e isso geralmente depende do tamanho da diferença medida
Parece algo óbvio demais, mas é um erro muito comum na indústria e em várias áreas da ciência
Exemplo: “esta medida alterou o [indicador] com p<0.001, que super significância! A magnitude da mudança é 0,000001%”
Nesses casos, vale repensar se isso é realmente “significativo”
Mas eu gostaria de complementar um pouco o exemplo
Um p-value muito pequeno nem sempre implica um efeito “significativo”, mas também não é independente do tamanho do efeito
O próprio p-value sai de algo como (tamanho do efeito)/(ruído/raiz quadrada do tamanho da amostra)
Ou seja, uma estatística de teste maior implica um p-value menor
Um p-value muito pequeno costuma vir de um efeito grande ou de um tamanho de amostra (n) gigantesco
Então só com N extremamente grande um efeito minúsculo consegue gerar p<0.001
Mas em pesquisas do mundo real, se aparece p<0.001, por causa das limitações de amostra há boa chance de o efeito também ser de fato grande
Diz que a significância estatística é a parte menos interessante dos resultados e enfatiza que os resultados devem ser explicados pelo tamanho de efeito
A questão não é só se o tratamento tem efeito, mas “quanto” efeito ele tem
– Gene V. Glass
Mas, em vez de chamar isso de simples 'pet peeve', eu veria como uma incompreensão patológica de estatística
Esse mal-entendido pode levar a conclusões erradas, especialmente na mídia popular de saúde e bem-estar
Estudos sobre saúde e nutrição são noticiados como estatisticamente significativos, mas muitas vezes o efeito real é mínimo
Então as pessoas acabam mudando bastante a vida e os hábitos com base só nesses resultados, quando na verdade não há base para isso
Pior ainda é quando não se define previamente uma hipótese a ser testada e se vasculham dados passados para achar apenas correlações “estatisticamente significativas”
Ele propõe pensar significância como uma forma de atualizar probabilidades
A ideia é que um teste (ou estudo) atualiza a probabilidade em X%, então para chegar a um julgamento “significativo” normalmente são necessários mais experimentos
É um texto bem típico do estilo “rationalist”
No meio de observações corretas sobre fenômenos estatísticos, ele também joga umas formulações políticas estranhas
Exemplo de frase: “considerações teóricas e empíricas levantam dúvidas sobre inferências causais relativas a ‘viés algorítmico’ ou ‘grupos protegidos’: talvez não seja desejável não excluir, e isso pode ser impossível ou sem sentido”
É uma frase estranhíssima, aparece do nada sem explicação de contexto
Parece querer dizer que, como uma variável latente oculta determina criminalidade, tudo bem usar
is_blacknuma black box (modelo de liberdade condicional), e isso me parece absurdoNa verdade, o interesse em como um modelo funciona é uma questão mais profunda do que a interpretação estatística
Se houver graus de liberdade demais no processo de escolha do modelo, ele pode ser montado para produzir qualquer resultado
Por exemplo, se um modelo de liberdade condicional tiver uma variável como
likes_hiphop, é preciso verificar por que ela entrou ali e se aquilo realmente era o “modelo ótimo”No fim, o fato de haver tanta correlação entre variáveis em fenômenos sociais lembra que qualquer modelo pode ser, ao menos em parte, um produto político
A expressão “considerações teóricas e empíricas” se refere à discussão anterior
Ou seja, como tudo está correlacionado com todo o resto, ver uma correlação não basta para ter certeza de que ela tenha significado essencial
Cientistas sociais constroem modelos complexos, observam muitas variáveis e encontram correlações que sustentam suas hipóteses, mas o argumento é que essas correlações podem ser encontradas em toda parte, então são evidências fracas
E também não dá para afirmar que o modelo realmente usou uma variável como
is_blackSó porque uma black box produz resultados piores para pessoas negras não significa que a variável
is_blackesteja de fato lá dentroIsso aparece muito em temas como genética e QI, em que frequentemente tiram conclusões com base em pesquisas e dados fracos
Acho que modelagem em ciências sociais precisa necessariamente de uma base teórica, mas fico na dúvida se o TFA (texto principal) manteria a mesma posição em questões políticas específicas
Por exemplo, queria saber se diria exatamente a mesma coisa sobre usar a variável
is_whiteem contratações de uma organização voltada para grupos minoritáriosEle tem um estilo de soar inteligente enquanto lança especulações sem base como se fossem fatos
Especialmente curioso como a comunidade de scaling/IA gosta tanto do gwern
Pena que o texto não menciona a citação de O Guia do Mochileiro das Galáxias
Isso me lembra a ideia de que, como toda matéria do universo afeta todo o resto de alguma forma, em teoria seria possível inferir o universo inteiro, o Sol, os planetas, as órbitas e até a história social e econômica apenas observando um pedaço de bolo de fadas
Diferentes configurações de T_zero se conectariam ao T_current (estado atual), e mesmo com a mesma configuração física poderia ter havido um estado anterior “universo-bolo” diferente
Além disso, isso pressupõe um sistema totalmente determinista
Link com explicação relacionada
No passado, as pessoas já descobriam verdades sobre o mundo sem estatística
É verdade que, depois que a estatística surgiu, ela virou uma ferramenta útil, mas o abuso desse método também aumentou o problema de estupidez disfarçada de inteligência
Então essa observação sobre o “ruído de correlação” vale a pena ser questionada
Acima de tudo, lógica e conhecimento básico do domínio vêm primeiro
Acho que simplesmente contar números pode levar a mal-entendidos
Só com lógica não se aprende conhecimento novo
A lógica apenas reapresenta o que você já sabe, e conhecimento básico exige experiência ou experimento
Como observações do mundo real nunca são perfeitas, a interpretação estatística é indispensável
Antes da estatística, era basicamente: (a) ricos sentados refletindo profundamente sobre o mundo, (b) uma figura carismática pregando o que queria, (c) uma pessoa inteligente acertando de vez em quando
Com a estatística, qualquer pessoa passou a poder saber o que está certo ou errado com base em resultados, deixando de ser algo exclusivo dos privilegiados
Claro, uma das vantagens da inferência estatística é a 'intercomparison', no sentido de permitir tirar conclusões a partir de diferenças mesmo sem entender o processo em si
Mas justamente por isso também fica mais fácil manipular resultados ou interpretá-los errado
Vídeo relacionado
Fugindo um pouco do tema, acho este blog realmente bonito
O drop cap, os comentários inline do lado direito da tela, a barra de progresso e tudo mais passam a sensação de carinho com o projeto
Este texto é realmente gigantesco
Dá até vontade de conseguir escrever algo tão completo assim
Vendo os outros textos do autor, parece mesmo que ele produz sem parar como uma máquina
Claro, também ajudaria se alguém bancasse apoio financeiro
Esse debate já existe há décadas
É importante não perder o olhar crítico
Mas, pessoalmente, quanto mais enfrento essa lógica no trabalho, mais sinto que ela é meio vazia e pouco útil
O 'crud' está nos padrões como uma radiação cósmica de fundo estatística e, em vez de ser descartado como sem sentido, às vezes pode ser importante
Às vezes a associação entre variáveis não é fácil de explicar; em outras, ela pode ser central para entender potenciais variáveis de confusão que precisam ser controladas
Nem sempre há correlação, e existem casos em que a associação real é zero
Definir o que é um “tamanho de efeito significativo diferente de zero” também é algo bastante arbitrário e subjetivo
Deve haver uma estrutura mais produtiva para olhar para esse fenômeno
Correlated. Outros casos?<i>Everything Is Correlated</i> - discussão anterior
É por isso que ciência experimental é diferente de estudo observacional
A análise estatística só dá motivo para confiar mais em uma hipótese; ela precisa ser reforçada por uma abordagem experimental real
Os exemplos do blog são em sua maioria de medicina, ciências sociais e comportamentais, etc., áreas em que é difícil fazer experimentos bem controlados ou esclarecer causalidade por falta de tamanho amostral
Claro que falhas de desenho não podem ser corrigidas pela análise (You can’t fix by analysis what you bungled by design - fonte), mas isso ao menos caminha na direção de reduzir viés
Sobre a citação do texto: “Isso torna o significado do teste de significância ambíguo; ele nada mais faz do que calcular com grande precisão a probabilidade dos dados em um cenário que sabemos a priori ser falso”
Acho comum chegar a resultados úteis reconhecendo e calculando com modelos simplificados que, em sentido estrito, são falsos
Por exemplo, as leis de Newton e a análise de circuitos elétricos só são viáveis graças a simplificações, e no setor bancário já se calculou o ano com 360 dias
Isso funciona muito bem na prática, então fico me perguntando o que estou deixando passar
Isso é um dilema sério se você enxerga pesquisa como busca pela verdade
(incluindo cálculo de pagamento em períodos menores que 1 mês)
Dito de outro modo, Einstein é uma versão refinada de Newton
Assim como a relatividade especial converge para a mecânica newtoniana no limite de baixas velocidades
Na prática, em estatística não existe “falso”; deve-se interpretar como “não é verdade com probabilidade de x%”
Se quiser reduzir x, precisa fazer “mais estatística direito”, e aumentar o tamanho da amostra (N) é a forma mais confiável
O ponto em que o texto erra completamente é ao tratar verdade/falsidade como algo absoluto quando N é suficientemente grande
Porque aí você chega a probabilidades do tipo “mesmo que o universo fosse recriado um milhão de vezes, isso mal ocorreria uma vez”
Só que, no mundo real, a maior parte de áreas como ciências sociais, medicina e economia trabalha com N bem pequeno, então os problemas estatísticos são inevitavelmente grandes
Por isso tentam “fazer mais estatística direito”, mas na prática não conseguem aumentar N e acabam maquiando números, ou aumentam N só um pouco e alegam que resolveram o problema