O efeito Dunning-Kruger é autocorrelação
(economicsfromthetopdown.com)- O famoso padrão de que “pessoas inexperientes superestimam suas próprias habilidades” pode ser, mais do que uma característica estável da psicologia humana, um artefato estatístico que mistura a nota do teste e o erro de autoavaliação no mesmo eixo
- O ponto central é a autocorrelação: ao comparar a nota do teste x com a diferença entre autoavaliação y e x, isto é, y−x, x aparece dos dois lados da equação, e o mesmo formato surge até em dados aleatórios
- O gráfico de Dunning e Kruger de 1999 dividiu os participantes em quartis de nota no teste e comparou a média percentual da pontuação real com a habilidade percebida, fazendo a diferença entre as duas linhas parecer um efeito psicológico
- Se “notas de teste” e “autoavaliações” geradas aleatoriamente forem processadas da mesma forma, também é possível produzir uma curva ao estilo Dunning-Kruger em que os de baixo desempenho parecem confiantes demais e os de alto desempenho parecem modestos
- As críticas de Nuhfer et al. em 2016 e 2017 e a de Gignac e Zajenkowski em 2020 apontaram o mesmo problema, mas as três críticas somam 88 citações no Google Scholar, muito menos que as 7.893 do artigo original
Revisitando estatisticamente o efeito Dunning-Kruger
- O efeito Dunning-Kruger ficou conhecido a partir do estudo de 1999 de Justin Kruger e David Dunning e se refere à tendência de pessoas com baixa habilidade superestimarem sua própria capacidade
- O foco desta crítica é que esse efeito aparece repetidamente nos dados não por ser um fenômeno psicológico, mas por causa da autocorrelação
- Autocorrelação é a situação em que uma variável é correlacionada com ela mesma
- Em sua forma pura, é uma circularidade evidente, como “5 = 5”
- Mas, quando a mesma variável aparece misturada nos dois lados de uma fórmula, isso nem sempre fica evidente
- Por exemplo, se x e y não têm relação entre si, mas criamos z = x + y e correlacionamos z com x, x aparece dos dois lados e parece surgir uma correlação
A estrutura do gráfico original de Dunning-Kruger
- Dunning e Kruger aplicaram um teste de habilidade aos participantes e depois pediram que cada um avaliasse a própria capacidade
- O eixo horizontal do gráfico é um eixo categórico que divide as pessoas em 4 grupos de quartis (quartile) segundo a nota no teste
- Embora pareça um eixo categórico, ele na prática representa a ordem da nota no teste x
- O eixo vertical mostra a pontuação real e a habilidade percebida em percentis (percentile)
- A linha cinza representa a média do percentil das notas reais de teste em cada grupo de quartil
- Na prática, é quase como plotar x em função de x
- A linha preta representa a média da autoavaliação em cada grupo
- Ou seja, é uma estrutura que plota a autoavaliação y em função da nota no teste x
A autocorrelação criada pela diferença entre as duas linhas
- O ponto que mais chama atenção no gráfico Dunning-Kruger é a diferença entre a “habilidade percebida” e a “nota real no teste”
- Matematicamente, essa diferença é y−x
- y é a autoavaliação
- x é a nota real no teste
- Ao interpretar essa diferença em função do eixo horizontal x, a relação se torna (y−x) ~ x
- Como x aparece dos dois lados da expressão, surge uma autocorrelação em que x é comparado com sua própria forma negativa
- Por isso, mesmo que x e y sejam números aleatórios sem qualquer significado psicológico, um gráfico com essa mesma estrutura pode produzir um padrão que se parece com o efeito Dunning-Kruger
Dados aleatórios também produzem o mesmo padrão
- Suponha um experimento de reprodução hipotético com 1.000 pessoas, obtendo notas de teste e autoavaliações
- Se desenharmos um gráfico de dispersão com a nota do teste e a autoavaliação individual, ele parecerá totalmente aleatório, sem qualquer traço do efeito Dunning-Kruger
- Depois, calcula-se o erro de autoavaliação
- erro de autoavaliação = autoavaliação − nota no teste
- Ao comparar esse erro com a nota no teste, aparece uma relação forte
- os de baixo desempenho parecem excessivamente confiantes
- os de alto desempenho parecem modestos demais
- Se os mesmos dados forem colocados em um gráfico ao estilo Dunning-Kruger, pode surgir uma curva que parece mostrar um efeito ainda maior do que o resultado original
- Mas, se esses dados não forem valores experimentais reais e sim números aleatórios, então o padrão observado não é um efeito psicológico, e sim um produto da estrutura estatística
A verificação alternativa de Nuhfer et al.
- Para correlacionar dois conjuntos de dados de forma estatisticamente válida, as duas medidas precisam ser medidas de forma independente
- O gráfico Dunning-Kruger viola esse princípio ao misturar a nota do teste nos dois lados da análise
- Edward Nuhfer e colegas verificaram como o efeito muda quando a “habilidade” é medida de forma independente do desempenho no teste ou da autoavaliação
- Na análise de Nuhfer, o eixo horizontal mostra o nível educacional e o eixo vertical, o erro de autoavaliação
- cada ponto representa um indivíduo
- o erro médio de autoavaliação é mostrado com uma bolha verde
- Se o efeito Dunning-Kruger realmente existisse, deveria aparecer uma tendência descendente, com o erro de autoavaliação diminuindo à medida que o nível educacional aumenta
- Nos resultados, essa tendência não aparece, e o erro médio de avaliação fica quase sempre próximo de 0
- Ainda assim, a variância do erro de autoavaliação tende a diminuir com maior nível educacional
- professores tendem a avaliar sua própria capacidade com mais precisão do que calouros
- isso é diferente do viés médio de excesso de confiança descrito pelo efeito Dunning-Kruger
O viés adicional introduzido pela conversão em percentis
- A conversão em percentis cria outro viés além da autocorrelação
- Percentis têm piso e teto em 0 e 100
- quem está perto do piso tem mais dificuldade para subestimar ainda mais sua posição
- quem está perto do teto tem mais dificuldade para superestimar ainda mais sua posição
- Por causa dessa estrutura, pessoas de baixo desempenho tendem a parecer confiantes demais, e pessoas de alto desempenho tendem a parecer modestas
- Além disso, a linha que compara o percentil da nota no teste com os quartis da nota no teste acrescenta pouca informação real sobre o desempenho, porque cada quartil contém, por definição, 25 percentis
Por que a crítica não se espalhou amplamente
- O artigo original de Dunning e Kruger foi publicado em 1999
- Esse defeito de análise só foi suficientemente compreendido e sistematizado em 2016
- Os artigos críticos de Edward Nuhfer e colegas saíram em 2016 e 2017, e Gilles Gignac e Marcin Zajenkowski também publicaram uma crítica semelhante em 2020
- Segundo o Google Scholar, os três artigos críticos somam 88 citações, enquanto o artigo de 1999 de Dunning e Kruger tem 7.893
- Refutações de análises equivocadas tendem a ser menos conhecidas que o artigo original e muitas vezes são publicadas em veículos menos visíveis do que o periódico que publicou o trabalho inicial
- O famoso gráfico do efeito Dunning-Kruger talvez diga menos sobre “pessoas inexperientes que não sabem que são inexperientes” e mais sobre um erro analítico que interpretou autocorrelação como efeito psicológico
1 comentários
Comentários do Hacker News
Essa interpretação é difícil de aceitar, e esta refutação explica melhor: https://andersource.dev/2022/04/19/dk-autocorrelation.html
O ponto central é que essa interpretação por autocorrelação mostra que “se desempenho e avaliação do desempenho forem aleatórios e independentes, surge um formato parecido com o gráfico D-K”, e então conclui que o efeito é apenas autocorrelação
Mas, na prática, é ainda mais estranho esperar que desempenho e autoavaliação sejam independentes. Espera-se que as pessoas consigam avaliar a própria capacidade com alguma precisão, e o D-K também mostrou correlação entre os dois, só que não tão forte quanto se esperaria. O resultado interessante é o viés consistente, e a hipótese sobre sua causa é discutível, mas não se deve ignorar o fato de que não é esperado que as variáveis sejam independentes
Em média, as pessoas estimavam sua própria capacidade em torno do percentil 65 com base no resultado real, e não no percentil 50 de uma simulação aleatória, e a autoavaliação sobe junto com a capacidade real, mas surpreendentemente sobe muito pouco. A discussão do autor sobre “autocorrelação” é, na essência, uma distração irrelevante, e os resultados gerados aleatoriamente não batem com os do artigo original. Claro, a solidez da reprodutibilidade é outra questão, mas a forma de visualização em si não é problemática, embora teria sido melhor com barras de dispersão
A parte interessante do resultado original é que a correlação entre desempenho real e desempenho percebido é menor do que a intuição sugere. Mas, com a difusão do efeito D-K na cultura popular, a intuição coletiva também mudou, e agora, se você explicar o efeito D-K original para uma pessoa aleatória na internet, ela pode até achar interessante que “a correlação é maior do que eu pensava”. Isso porque ela teria presumido que a correlação seria negativa
Se os dados fossem 100% corretos e precisos, [1], a linha seria diagonal, então o 1º quartil deveria ficar em torno de 12,5% e o 4º quartil em torno de 87,5%. Se os dados forem corretos, mas não precisos, então, à medida que a aleatoriedade aumenta, essa diagonal vai se transformando numa linha plana no meio, cruzando em 50%. Mas o que se vê na prática não é nenhum dos dois: o 1º quartil fica em cerca de 60% e o 4º quartil em 75%. Isso mostra que existe alguma capacidade de autoavaliação, mas ela erra o alvo. O quartil superior pode parecer subestimado por causa de um efeito de corte no topo, mas a superestimação do quartil inferior é difícil de evitar
[1] https://en.wikipedia.org/wiki/Accuracy_and_precision
Por um lado, dizer que “é muito mais razoável supor que as pessoas conseguem avaliar seu próprio desempenho” e, por outro, dizer que “não discordo da afirmação de que, quanto maior a proficiência, melhor a pessoa avalia seu próprio desempenho” dificulta manter a credibilidade. Isso equivale a tratar a variável central como se fosse fixa e depois reconhecer, dentro do mesmo conjunto de dados, que ela varia, o que revela falta de consistência interna
O gráfico linear suave que todos associam ao D-K é apenas um entre quatro, e os outros três são bem mais bagunçados, com o artigo tratando casos em que a correlação é fraca ou até inexistente. Além disso, o gráfico que parece perfeito media senso de humor. Humor provavelmente cria ruído quase completo entre autoavaliação e avaliação de especialistas, neste caso, avaliação de comediantes profissionais. Se todos estiverem basicamente chutando aleatoriamente o próprio desempenho, sempre surgirá um formato forte de D-K em que os melhores se subestimam e os piores se superestimam. O experimento que tentou medir inteligência da forma mais simples e direta foi o nº 2, baseado em questões lógicas do LSAT, e o gráfico de resultados é bastante irregular. O artigo também diz que “os participantes não superestimaram o número de questões acertadas, e a percepção de capacidade tinha relação positiva com a capacidade real, mas essa relação não foi estatisticamente significativa”. Isso parece mais um caso de Zimbardo
[1] - https://sci-hub.se/10.1037/0022-3514.77.6.1121
Os autores fizeram “X - Y versus X”, mas o problema maior é que subtraíram duas medidas transformadas de 0 a 1 e com limites definidos
Nos extremos desses limites, quanto um participante de alto desempenho pode superestimar o próprio resultado? Quase nada, porque ele já está perto de 1. Mesmo que, nos valores brutos, superestimação e subestimação ocorram com a mesma frequência e magnitude, o efeito teto do valor transformado faz o gráfico parecer mostrar que os melhores têm mais tendência a subestimar a si mesmos. O problema oposto aparece para os piores desempenhos. Basta ver as figuras 7, 8 e 9 de “Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency.” Numeracy 9, Iss. 1 (2016)
O quartil inferior não pode dizer que está abaixo do quartil inferior, então qualquer erro entra como “excesso de confiança”. O quartil superior não pode dizer que está acima do quartil superior, então qualquer erro entra como “falta de confiança”
O fato de ruído aleatório poder gerar a curva média no eixo Y não significa que D-K não exista. Significa apenas que a autoanálise média em D-K se parece com uma média aleatória moderada, e isso faz sentido se pensar bem. É provável que a maioria se avalie como média independentemente da habilidade real, então D-K ainda parece válido
Se formos supor um mecanismo de base, a habilidade bruta das pessoas que fazem o teste pode seguir uma distribuição log-normal. Isso porque o próprio fato de participar do teste implica um piso implícito de QI, e áreas de alto desempenho, como esportes, também têm caudas longas. O teste tenta medir desempenho, mas reduz isso a uma distribuição normal ou a 4 categorias, e as pessoas estimam a própria habilidade com base na experiência com a tarefa e com a correção, o que também acaba reduzido a uma distribuição normal ou constante. Ou seja, há redução de dimensionalidade implícita ou explícita em três pontos diferentes, então não invejo os pesquisadores que precisam descascar essa cebola. Ainda assim, ver esses problemas sendo destrinchados em experimentos desenhados para serem acessíveis melhora a compreensão
Nos comentários do texto, a discussão entre Nicolas Boneel e o autor é interessante, e o Nicolas expressa bem a desconfiança que tive ao ler
O ponto central do efeito D-K é que as pessoas são ruins em estimar a própria capacidade, então, se você assumir que elas estimam o próprio nível aleatoriamente, o resultado naturalmente se reproduz. O modelo correto de um mundo sem D-K deveria ser algo como nota estimada no teste = nota real no teste + ruído, e nesse caso o falso D-K esperado deveria vir apenas dos limites mínimo e máximo da nota. Esse efeito seria proporcional à variância do ruído, mas a variância dos conjuntos de dados adicionais parece baixa demais para explicar plenamente o efeito observado. Além disso, nesse modelo todos deveriam, em média, acertar em qual metade da distribuição estão, mas até o quartil inferior parece ter estimado sua habilidade acima do percentil 50
O teste tem elementos aleatórios, como chute, e isso não é algo que a pessoa consiga estimar
https://en.m.wikipedia.org/wiki/Regression_dilution
https://en.m.wikipedia.org/wiki/Errors-in-variables_models
Esses gráficos podem refletir desempenho baixo de forma geral, ou uma estrutura mais sutil em que a capacidade de estimar a si mesmo é ruim entre os piores, melhora no meio e, no topo, se mistura com alta habilidade e humildade aprendida
Então não há motivo para acreditar que quem tem maior habilidade estima melhor a própria capacidade; existe apenas a restrição de que não pode estimar sua posição como superior à do melhor
Atenção ao termo não padronizado: o autor está usando autocorrelação de um jeito que eu nunca tinha visto
Normalmente, autocorrelação se refere à correlação de uma série temporal com ela mesma após um deslocamento no tempo. Usar como no texto original pode confundir quem conhece estatística, e o contrário também vale
O texto diz que “autocorrelação ocorre quando se correlaciona uma variável com ela mesma”, mas a definição padrão é mais próxima de “o grau de correlação que as mesmas variáveis têm entre dois intervalos de tempo consecutivos”; é um conceito que mede como valores defasados em uma série temporal se relacionam com os valores originais, e também é chamado de correlação serial
A autocorrelação em séries temporais relaciona a mesma função de série temporal em momentos diferentes. Na forma mais simples, pode-se comparar um vetor X em que X[i] = f(t[i]) com ele mesmo em um gráfico, e dá até para complicar isso fazendo uma transformação como g(X) versus X, por exemplo uma média móvel
Se pensarmos no mundo hipotético descrito pelo autor, em que a estimativa que as pessoas fazem da própria pontuação é independente da pontuação real, não daria para dizer que nesse mundo o efeito D-K é real?
O cerne desse efeito é a tendência de quem tira nota baixa superestimar a própria nota e de quem tira nota alta subestimá-la. Pode haver várias razões racionais para isso acontecer, incluindo casos como o exemplo simplificado do autor, em que ninguém tem muita noção da própria nota, mas o fenômeno em si parece válido
O exemplo de pontos aleatórios do autor é ruim, porque é razoável esperar que as pessoas se comportem de forma diferente de pontos aleatórios uniformes. Quem é bom em alguma coisa vai achar que é bom, e quem é ruim vai achar que é ruim. Nossos filhos gostam de matemática e esperam ir bem em provas de matemática, e normalmente de fato vão bem. Entre os colegas de turma, há crianças que dizem em voz alta que odeiam matemática, esperam ir mal e realmente acabam tendo algum mau desempenho. Eu também não sei cozinhar, então, se entrasse num concurso de culinária, não duvidaria que receberia poucas notas dos jurados. Os dados esperados são correlacionados. Mas se, no estudo, essa correlação quase não existe de fato, e muitas pessoas que esperavam ir bem vão mal, enquanto muitas que esperavam ir mal vão bem — isto é, se parece com dados aleatórios uniformes — então isso seria um resultado surpreendente e talvez seja justamente o efeito D-K? Não sou estatístico, então talvez esteja deixando passar algo
Você pode lançar um dado, depois lançar um segundo dado, e então estudar por que o segundo dado tenta fazer soma 7 com o primeiro. No caso de dados, descartaríamos isso como uma ideia tola, mas, quando o objeto de estudo são pessoas, é fácil ser levado por engano a uma teoria psicológica sobre elas
A definição de autocorrelação no texto parece ser “quando se correlaciona uma variável com ela mesma”, mas a definição da Wikipedia é “também chamada de correlação serial no tempo discreto, correlacionando um sinal com uma cópia atrasada de si mesmo em função do atraso”
Claro, atraso zero é um caso trivial de atraso temporal, mas a definição do texto, na melhor das hipóteses, é imprecisa. D-K não tem nada a ver com atraso temporal, e chamar isso de autocorrelação parece um jogo de palavras que não funciona muito bem
Aqui parece haver confusão sobre o que “viés” quer dizer
Se as pessoas se autoavaliassem aleatoriamente, todos os de alto desempenho acabariam subestimando a si mesmos, mas, como a escolha em si é aleatória, isso não é um viés em direção à subestimação. Ainda assim, o gráfico de D-K mostra outro viés e em geral combina com a expectativa. Pessoas sem conhecimento assumem que têm habilidade mediana e inflacionam sua posição, enquanto pessoas muito talentosas presumem que os outros também sabem tanto quanto elas e evitam se avaliar como as melhores. A suposição comum dos dois grupos é que eu sou comum e os outros também são parecidos. Parece provável que a maioria se considere mediana; seria fácil testar isso pedindo que estimassem quão bem uma pessoa mediana iria numa prova e depois comparando isso com a pontuação individual. Quase certamente, os de alto desempenho superestimariam a média e os de baixo desempenho a subestimariam
Se houver uma relação linear entre a nota da prova X, isto é, habilidade, e a autoavaliação Y, isto é, autoconsciência, a variável aleatória pode ser modelada como
Y ~ aX + b + NAqui, N é um ruído estatisticamente independente com média 0. Então a covariância é
Cov(Y-X, X) = (a-1) Var[X], e, para obter o “efeito D-K”, é preciso que(a-1) < 0, ou seja,a < 1. No caso do texto do blog, coma=0, isso certamente vale; no caso ideala=1, b=0, por pouco não vale. Sea > 1, surge um efeito totalmente novo sobre especialistas arrogantes. Portanto, nessa perspectiva de autocorrelação, o importante é apenas quão rapidamente a autoavaliação de uma pessoa aumenta conforme sua habilidade aumenta. Desde que esse aumento seja subestimado, o efeito D-K aparece. Mas essa análise ignora b. Sea=0.8, b=0, ela se encaixa na perspectiva de autocorrelação, mas todos subestimam a própria habilidade, então o chamado efeito D-K não aparece. No fim, b — isto é, o valor de habilidade prévia que todos assumem ter — é importante. O que o artigo sobre D-K mostra éb > .5, e isso combina com o espírito da interpretação popular. As pessoas não deveriam assumir que têm pelo menos habilidade acima da média. Ao mesmo tempo, como b não é absurdamente maior que .5, dá vontade de dar alguma margem aos “inexperientes que não sabem”. Tomar a média como linha de base é, na prática, impossível, mas intuitivamente parece plausívelIsso não é autocorrelação. O texto original está equiparando dependência linear a autocorrelação, mas esse termo não é usado assim
Autocorrelação é quando um processo estocástico se correlaciona com uma versão de si mesmo defasada no tempo
Parece que muita gente não leu o texto original até o fim. O ponto principal aparece ao citar este artigo: https://digitalcommons.usf.edu/cgi/viewcontent.cgi?article=1...
A figura 2 desse artigo mostra os resultados de um experimento que mediu de forma independente a competência e a percepção da própria competência. O desenho serve para remover o artefato estatístico da autocorrelação. E, em média, a competência não se correlaciona com a precisão da autoavaliação, e o efeito D-K simplesmente não aparece. O que de fato aparece é apenas que pessoas mais competentes estimam a própria capacidade de forma mais consistente, isto é, com menor variância nas avaliações, enquanto a precisão média continua sendo 0. Portanto, em média, a habilidade real e a habilidade percebida não se correlacionam, e é exatamente isso que a demonstração numérica com números aparentemente aleatórios está dizendo. Por isso, em muitos casos, aplica-se a navalha de Occam