Universidade de Michigan descobre que alunos com sobrenomes no fim do alfabeto recebem notas mais baixas

Resultados do estudo sobre viés de correção sequencial

• Pesquisadores da Universidade de Michigan analisaram mais de 30 milhões de registros de notas no Canvas e descobriram que alunos com sobrenomes posicionados mais ao fim da ordem alfabética tendem a receber notas mais baixas
  • Isso ocorre por causa do viés de correção sequencial e porque a ordem padrão das submissões dos alunos no Canvas é baseada na posição alfabética do sobrenome
• Alunos desfavorecidos pela ordem alfabética recebem comentários mais negativos e menos educados, e a qualidade da correção, medida pelas reclamações posteriores dos alunos sobre as notas, também é inferior
• Os pesquisadores disseram que pensam muito sobre a justiça e a precisão da avaliação, mas só perceberam, ao ver os dados, que a ordem gerava diferenças

Dados e resultados da pesquisa

• Foram coletados todos os dados históricos disponíveis no Canvas sobre programas, alunos e tarefas desde o semestre de outono de 2014 até o semestre de verão de 2022
  • Esses dados foram complementados com registros de matrícula da universidade, incluindo informações detalhadas sobre a origem dos alunos, dados demográficos e sua trajetória acadêmica na universidade
• Embora os dados venham da Universidade de Michigan, os pesquisadores afirmam que os resultados podem ser generalizados para outras instituições e cursos devido a um problema comum de design em sistemas de gestão de aprendizagem
  • Isso decorre da configuração padrão de ordenar os trabalhos dos alunos alfabeticamente pelo nome
• Eles encontraram um padrão claro de queda na qualidade da correção à medida que o avaliador corrige mais tarefas
  • Alunos com sobrenomes começando por A, B, C, D ou E recebem 0,3 ponto a mais em uma escala de 100 pontos do que receberiam se a correção fosse aleatória
  • Da mesma forma, alunos com sobrenomes no fim do alfabeto recebem 0,3 ponto a menos, gerando uma diferença de 0,6 ponto
• Uma diferença de 0,6 ponto pode parecer pequena, mas essas discrepâncias afetam a média final das disciplinas dos alunos e podem impactar negativamente as oportunidades em suas trajetórias profissionais

Contexto do estudo e propostas

• A ideia da pesquisa surgiu enquanto Wang, que estuda tecnologia educacional, e Fei, que pesquisa IA, discutiam o tema
  • Eles observaram que a rotulagem de dados, uma tarefa básica de machine learning, também é um trabalho contínuo, longo e cansativo, mas costuma ser realizado de forma aleatória
  • Por meio de um estudo piloto, verificaram se havia desigualdade nas notas ao longo do tempo de correção
• Os pesquisadores supõem que a fadiga pode ser um dos principais fatores por trás desse efeito
  • Quando alguém faz algo por muito tempo, fica cansado, perde atenção e tem redução da capacidade cognitiva
• O Canvas e outros sistemas online de gestão de aprendizagem oferecem uma opção para corrigir tarefas em ordem aleatória, e alguns educadores a utilizam, mas o modo padrão é alfabético
  • Uma solução simples seria tornar a ordem aleatória a configuração padrão
• Eles também sugerem que instituições acadêmicas contratem mais corretores para turmas grandes, distribuam a carga de trabalho entre mais pessoas ou ofereçam treinamento para reconhecer e reduzir vieses

Opinião do GN⁺

• O fato de que o viés de correção sequencial tenha impacto real nas notas dos alunos levanta uma questão de justiça nos sistemas de avaliação educacional. Como as notas têm grande influência no futuro dos estudantes, parece urgente melhorar isso
• No entanto, como se trata de um estudo restrito a países de língua inglesa, talvez não seja um grande problema no Brasil. Seria importante pesquisar localmente se o mesmo fenômeno aparece com a ordem alfabética dos sobrenomes em português
• O fato de a fadiga do avaliador afetar a qualidade da correção sugere a necessidade de remuneração e apoio adequados para o trabalho de avaliação no ambiente educacional. Carga excessiva pode prejudicar uma avaliação justa
• A adoção de sistemas automáticos de correção baseados em inteligência artificial também pode ser uma alternativa. Ainda assim, será difícil eliminar completamente os vieses, e também será necessário pensar em formas de complementar os aspectos qualitativos da avaliação

[GN⁺]

Comentários do Hacker News

A seguir, um resumo dos comentários do Hacker News:

• Na universidade, ao corrigir provas, a ordem das provas empilhadas sobre a mesa é a ordem em que foram recolhidas. Os corretores misturam as provas e cada um fica responsável por uma questão específica para manter consistência na nota. A ordem de correção pode ser considerada praticamente aleatória.
• Ao corrigir trabalhos, costuma-se avaliar em ordem alfabética pelo nome do aluno, e todos concordam que a ordem deveria ser embaralhada por uma questão de justiça. Isso porque (1) no começo o corretor está menos cansado, (2) no fim ele fica mais animado por saber que está quase terminando e (3) no início pode deixar passar erros comuns ou não ter ainda desenvolvido um bom critério.
• Um comentarista disse que, no ensino fundamental, como seu sobrenome ficava no topo da lista, frequentemente era encarregado de tarefas especiais, como controlar ingressos ou ser avaliado primeiro na aula de educação física. Para uma criança introvertida, isso era incômodo.
• Nas escolas dos anos 80 e 90, os assentos eram organizados da frente para trás em ordem alfabética pelo sobrenome. No ensino médio, os alunos com sobrenomes começando com A~D eram frequentemente os melhores da turma, enquanto os com U~Z eram mais bagunceiros. Isso pode ter acontecido porque, sentando mais perto do professor, recebiam mais atenção.
• Pessoas com iniciais Z e W tendem a perceber bastante quando tudo é ordenado alfabeticamente, mas isso não acontece com amigos que têm iniciais A e B.
• Na universidade, provas importantes e trabalhos são tratados com números de candidato anonimizados. Não é anonimato total, mas o sistema ganha certo grau de integridade.
• Na correção, às vezes um erro específico ou uma resposta inesperada só aparece depois de várias provas, e então é preciso voltar às anteriores e corrigir de novo.
• Tornar a ordem aleatória o padrão pode ajudar a reduzir vieses. Ainda assim, o aluno corrigido por último pode continuar recebendo uma nota mais baixa.
• Como o sobrenome da esposa começa com Y e ela não gostava de sempre ficar no fim, decidiram colocar primeiro o sobrenome do marido (que começa com E) e ligar os dois com hífen no sobrenome dos filhos. Os nomes das crianças também começam com A e B para que apareçam no começo em listas ordenadas.
• Na série Diário de um Banana, aparece a ideia de que crianças com sobrenomes no começo do alfabeto sentam nas primeiras carteiras, recebem mais perguntas e acabam aprendendo mais.
• Um pai de um aluno com sobrenome no fim do alfabeto comentou que, nas aulas do filho, quando o professor faz revisão de projetos em ordem de sobrenome, cerca de 40% das vezes não consegue chegar até o final da lista. Como nem todos os alunos procuram o professor ativamente, isso pode acabar resultando em notas menores.
• Houve quem se perguntasse por que Helen Wang escolheu pesquisar justamente esse tema.