O efeito Dunning-Kruger é autocorrelação

O efeito Dunning-Kruger é autocorrelação

• O efeito Dunning-Kruger é conhecido por indicar a tendência de pessoas incompetentes superestimarem a própria capacidade.
• Esse efeito foi descoberto em 1999 por psicólogos e pareceu ser confirmado por muitos estudos por meio de dados.
• No entanto, esse efeito é, na verdade, o resultado de um erro estatístico chamado autocorrelação, e não tem relação com a psicologia humana.

O que é autocorrelação?

• Autocorrelação é o fenômeno em que uma variável tem correlação com ela mesma.
• Por exemplo, ao medir a altura de uma pessoa, essa altura tem correlação perfeita com ela mesma.
• Quando a variável aparece misturada nos dois lados de uma equação, fica difícil perceber a autocorrelação.

O efeito Dunning-Kruger

• O efeito Dunning-Kruger é um exemplo de autocorrelação e, na prática, surgiu de uma interpretação equivocada de um gráfico.
• Dunning e Kruger testaram pessoas, pediram que elas avaliassem a própria capacidade e então relataram que os participantes com baixo desempenho tendiam a superestimar sua capacidade.
• Porém, esse resultado é, na verdade, causado pela autocorrelação entre a pontuação do teste e a pontuação de autoavaliação.

Desconstruindo o efeito Dunning-Kruger

• O gráfico de Dunning-Kruger agrupa as pessoas com base na pontuação no teste, exibe isso em percentis e compara com a autoavaliação.
• Esse método equivale a comparar a pontuação do teste com ela mesma, escondendo a autocorrelação.
• O fato de o efeito Dunning-Kruger aparecer até mesmo com dados aleatórios se deve a essa autocorrelação.

Reproduzindo o efeito Dunning-Kruger

• Ao tentar entender o efeito Dunning-Kruger usando dados reais, aparecem resultados diferentes dos dados originais.
• Ao tentar reproduzir o experimento, os dados brutos parecem aleatórios e não mostram sinais do efeito Dunning-Kruger.
• No entanto, ao analisar os dados de outra forma, parece que o efeito Dunning-Kruger aparece.

O colapso do efeito Dunning-Kruger

• O fato de pesquisadores terem reproduzido o efeito Dunning-Kruger mesmo usando números aleatórios se deve à autocorrelação.
• Depois de descobrir esse erro, percebe-se que o gráfico de Dunning-Kruger se baseava, na verdade, em autocorrelação.

A ausência do efeito Dunning-Kruger

• Quando o efeito Dunning-Kruger é medido de uma forma estatisticamente válida, descobre-se que ele desaparece.
• Ao medir o erro de autoavaliação de pessoas agrupadas por nível educacional, o erro médio permanece em torno de 0, sem evidências do efeito Dunning-Kruger.

Pessoas incompetentes e sem saber disso

• O erro estatístico cometido por Dunning e Kruger pode ter sido um engano, mas o artigo deles sustenta a ideia de que pessoas incompetentes não reconhecem a própria incompetência.
• Porém, na realidade, eram os próprios Dunning e Kruger que estavam revelando incompetência estatística, ao confundir autocorrelação com um efeito psicológico.

Opinião do GN⁺

O ponto mais importante deste texto é que o efeito Dunning-Kruger, na realidade, não tem relação com a psicologia humana, mas se baseia em um erro estatístico chamado autocorrelação. Isso mostra uma armadilha que pode surgir quando pesquisadores interpretam dados e exemplifica como uma descoberta científica pode ser mal compreendida por causa de uma interpretação estatística equivocada. Entender esse tipo de erro oferece uma lição importante para interpretar e validar resultados de pesquisa, e é uma informação útil não apenas para engenheiros de software iniciantes, mas também para pesquisadores de todas as áreas científicas.

[GN⁺]

Opinião no Hacker News

• Um comentarista reconhece que não entende o suficiente de estatística ou psicologia, mas sente que o estudo de D&K é parecido com o que seu avô dizia: "quanto mais você sabe, mais percebe o quanto não sabe". Ele reflete que muitas pessoas tendem a achar que sabem mais do que realmente sabem, e que isso talvez também se aplique a ele e ao autor do artigo.
• Outro comentarista discorda da tese do artigo e apresenta um texto que rebate a afirmação de que o gráfico de D-K é apenas resultado de autocorrelação. Explica que, na verdade, seria muito surpreendente supor que desempenho e avaliação do próprio desempenho fossem independentes; o estudo de D-K mostrou que existe correlação entre desempenho e autoavaliação, embora não tão forte quanto se esperava. Em vez disso, mostrou um viés consistente, e esse é o resultado interessante.
• Como mencionado em uma discussão anterior, o autor supõe que as pessoas são muito ruins em prever a própria capacidade, a ponto de a autoavaliação ser tratada como uma variável aleatória incondicional. Se a capacidade real for alta, a autoavaliação terá maior chance de ficar abaixo da capacidade real por puro acaso. Essa crítica levanta a dúvida sobre se as pessoas realmente avaliam tão mal assim a própria capacidade.
• Os autores fizeram uma análise de "X - Y versus X", mas esse não é o maior problema. Eles subtraíram duas medidas convertidas e limitadas entre 0 e 1. O que acontece nos valores extremos? Até que ponto os melhores desempenhos conseguem superestimar o próprio resultado? Eles já estão quase em 1, então quase não há margem para isso. Se superestimarem e subestimarem com a mesma proporção e magnitude, o efeito de teto no valor transformado fará o gráfico parecer que eles subestimam com mais frequência.
• A discussão nos comentários entre Nicolas Boneel e o autor é interessante, e Nicolas expressa as dúvidas que teve ao ler o artigo. O ponto central do efeito DK é que as pessoas avaliam mal as próprias habilidades; portanto, se você assume que elas chutam aleatoriamente o próprio nível de habilidade, é natural que consiga reproduzir o resultado.
• O termo "autocorrelação" usado pelo autor é diferente do sentido normalmente empregado em estatística. "Autocorrelação" se refere à correlação de uma série temporal com ela mesma em algum atraso no tempo, e usá-lo como no post original pode confundir quem conhece estatística.
• No mundo imaginado pelo autor, se as estimativas de pontuação das pessoas fossem independentes das pontuações reais, então seria possível dizer que o efeito DK realmente existe. Pessoas com pontuação baixa tenderiam a superestimar sua nota, e pessoas com pontuação alta tenderiam a subestimá-la.
• Há confusão em torno do termo "viés". Se a autoavaliação fosse aleatória, todos os participantes de alto desempenho subestimariam a si mesmos, mas isso não seria um viés em direção à subestimação. O gráfico de D-K mostra outro tipo de viés, compatível com a ideia de que a maioria das pessoas se considera mediana. Parte-se do pressuposto de que pessoas de alto desempenho superestimariam a média, e pessoas de baixo desempenho a subestimariam.
• Aponta-se que a definição de "autocorrelação" no artigo difere da definição da Wikipédia. A definição do artigo não tem relação com atraso temporal, e chamar isso de "autocorrelação" no contexto de D-K é uma expressão inadequada.
• Se pessoas pouco habilidosas e pessoas habilidosas fizerem, em média, a mesma autoavaliação, então as primeiras superestimarão a si mesmas e as segundas se subestimarão. Só isso já poderia ser um resultado importante, e observa-se que de fato existe correlação.