Estudo da Universidade de Michigan: alunos com sobrenomes no fim do alfabeto recebem notas mais baixas
(record.umich.edu)- Pesquisadores da Universidade de Michigan analisaram mais de 30 milhões de registros de avaliação do Canvas e confirmaram uma tendência de alunos com sobrenomes no fim do alfabeto receberem notas mais baixas
- A principal causa é a ordenação padrão do Canvas, que exibe os trabalhos em ordem alfabética pelo sobrenome, somada ao viés sequencial que surge quando quem corrige avalia as tarefas nessa ordem
- Alunos com sobrenomes de A a E recebem, em relação à correção aleatória, 0,3 ponto a mais em uma escala de 100, enquanto alunos com sobrenomes no fim do alfabeto recebem 0,3 ponto a menos, criando uma diferença total de 0,6 ponto
- Quando cerca de 5% dos corretores avaliam de Z para A, a diferença aparece de forma inversa, reforçando a interpretação de que é a ordem de correção, e não o sobrenome em si, que produz a diferença nas notas
- Embora uma diferença de 0,6 ponto pareça pequena, ela pode afetar o GPA da disciplina e oportunidades de carreira, o que indica a necessidade de tornar a correção aleatória o padrão e de reduzir a carga de correção em turmas grandes
A diferença pelas iniciais do sobrenome criada pela ordenação padrão do Canvas
- Pesquisadores da Universidade de Michigan coletaram dados históricos de correção de todos os programas, alunos e tarefas disponíveis no Canvas, do semestre de outono de 2014 ao semestre de verão de 2022
- O conjunto analisado inclui mais de 30 milhões de registros de avaliação, complementados com dados da secretaria acadêmica sobre contexto estudantil, demografia e trajetória de aprendizagem
- Alunos com sobrenomes mais ao fim do alfabeto tendem a receber notas mais baixas, feedback mais negativo e menos educado, e também apresentam pior qualidade da correção, medida por reclamações dos alunos
- O artigo relacionado é 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity e está em avaliação na revista Management Science
Como funciona o viés da correção sequencial
- O Canvas ordena os envios dos alunos por padrão em ordem alfabética do sobrenome
- Esse design padrão não fica restrito a uma disciplina específica e pode se espalhar por várias instituições e matérias que usam sistemas de gestão da aprendizagem
- Surge um padrão em que a qualidade da correção cai à medida que o corretor avalia mais tarefas
- Segundo Wang, alunos com sobrenomes iniciados por A, B, C, D ou E recebem 0,3 ponto a mais em uma escala de 100 do que receberiam se fossem corrigidos em ordem aleatória, enquanto alunos com sobrenomes no fim do alfabeto recebem 0,3 ponto a menos
O efeito inverso revelado na correção em ordem reversa
- Cerca de 5% dos corretores corrigem em ordem de Z para A
- Nesse caso, a diferença aparece invertida, como esperado
- Alunos com sobrenomes de A a E ficam em desvantagem
- Alunos com sobrenomes de W a Z recebem notas mais altas do que receberiam com correção aleatória
- Essa observação reforça a interpretação de que a causa da diferença inicial nas notas não é o sobrenome em si, mas a ordem de correção
O impacto nos alunos de uma pequena diferença de nota
- Uma diferença de 0,6 ponto pode parecer pequena, mas afeta o GPA da disciplina do aluno
- Mudanças no GPA também podem prejudicar as oportunidades de carreira de cada estudante
- Wang afirma que algo que surgiu de forma inconsciente para os corretores pode acabar gerando um impacto social real
A origem da ideia de pesquisa e o fator fadiga
- A ideia do estudo surgiu durante discussões entre a pesquisa em tecnologia educacional de Wang e a pesquisa em inteligência artificial de Pei
- Pei observou que a rotulagem de dados, uma tarefa básica de machine learning, também é um trabalho sequencial longo e tedioso, mas costuma ser randomizado
- Essa observação levou a um estudo piloto sobre a relação entre tempo de correção e disparidade de notas em sistemas educacionais como o Canvas
- Em tarefas longas, a fadiga se acumula e a atenção e a capacidade cognitiva diminuem, por isso a fadiga pode ser um dos principais fatores por trás do efeito
Melhorias propostas
- O Canvas tem uma opção para corrigir tarefas em ordem aleatória, e alguns educadores já a utilizam
- No entanto, o modo padrão do Canvas e de outros sistemas online de gestão da aprendizagem é a ordem alfabética
- A solução mais simples é mudar a configuração padrão para ordem aleatória
- Também foram sugeridas às instituições acadêmicas alternativas como:
- contratar mais corretores para turmas grandes
- distribuir o trabalho de correção entre mais pessoas
- oferecer treinamento para reconhecer e reduzir vieses durante a correção
1 comentários
Comentários no Hacker News
Trabalho na academia. Ao corrigir provas, a ordem da pilha de respostas é a ordem em que elas foram recolhidas na sala, e normalmente 5 pessoas se juntam em uma sala e cada uma fica responsável apenas por uma questão específica para manter a consistência
Como cada pessoa pega uma pilha e vai tirando as provas em que sua questão ainda não foi corrigida, as folhas acabam ficando bem embaralhadas, então a ordem real de correção é praticamente aleatória
Já as tarefas semanais durante o semestre são commitadas no repositório, e as pastas dos alunos começam com a primeira letra do nome. Todos concordamos que, por questão de justiça, a ordem de correção deveria ser embaralhada toda semana. No começo, a gente está menos cansado, e nas últimas 2 mais ou menos o humor melhora porque sabe que está quase acabando; além disso, no início ainda não vimos todos os erros comuns, então falta referência e alguns passam batido, mas nos trabalhos do fim esses erros já são identificados na hora
Outro efeito do alfabeto era que, no ensino fundamental, eu ficava no topo da lista da turma e com frequência era escolhido para carregar a placa do grupo no museu, anotar alguma coisa, ser o primeiro a fazer em público alguma tarefa que ninguém queria fazer, ou ser o primeiro avaliado na educação física. Eu era uma criança bem tímida, então isso já me irritava desde o 1º ano
Assim, alunos com o mesmo erro recebiam a mesma nota. E, ao terminar cada questão, a ordem das provas também acabava sendo naturalmente embaralhada
Não é necessário para múltipla escolha simples e não funciona tão bem para redações longas, mas funcionava muito bem para perguntas técnicas de resposta curta em ciência da computação e segurança
Isso porque só depois de ver todos os erros uma vez dá para julgar o quão grave cada um realmente é
Mas tirei 80% sem nenhum comentário ou marcação
Nos últimos 25 anos, tenho me perguntado o quanto os trabalhos dos alunos realmente são revisados
Trabalho com EdTech, e sempre que adicionamos funcionalidades que exigem revisão manual do trabalho dos alunos por professores, dá para ver que alguns são extremamente dedicados e outros simplesmente não mexem nisso
A primeira, uma caneta vermelha, marcava problemas pontuais como erros de ortografia ou de uso claramente incorreto. Nesse processo, eu já absorvia naturalmente o nível geral da escrita e podia passar rapidamente por todos os textos
A segunda, uma caneta verde, servia principalmente para marcar nas margens os trechos com bons argumentos ou onde se chegava a uma conclusão, preparando a etapa seguinte. Isso também era aplicado a todos os textos
A terceira, uma caneta azul, era usada para avaliar e criticar a qualidade do texto. Às vezes eu deixava notas curtas na margem ou um comentário no fim da redação
Os alunos às vezes riam das cores bonitas, mas quando eu explicava o método e o motivo, entendiam claramente e acho que até ficavam agradecidos
Pode ter relação ou não, mas quando eu estudava em escolas K-12 nos anos 80 e começo dos 90, sempre sentavam os alunos do começo ao fim da sala em ordem alfabética pelo sobrenome. As crianças com sobrenomes começando por A-D ficavam sempre na frente, e as com U-Z sempre no fundo, em todas as aulas
Lembro que muitos dos meus amigos tinham sobrenomes próximos ao meu, provavelmente porque sempre sentávamos perto uns dos outros. Quando cheguei ao ensino médio, parecia bem claro que havia muito mais alunos de alto desempenho entre os sobrenomes A-D, e mais alunos problemáticos do lado U-Z
Teria sido resultado de sentar mais perto do professor e receber mais atenção? Não tem como saber, já que não foi um experimento e não houve grupo de controle
Muitos dos meus amigos também usavam óculos e preferiam a frente porque os óculos não corrigiam totalmente a visão
Claro, ainda dá para dizer que quem começou na frente na 1ª semana manteve alguma vantagem, mas provavelmente não foi algo tão grande
Como minhas iniciais são Z e W, percebo bastante a ordenação alfabética. Perguntei a um amigo com iniciais A e B, e ele disse que nunca nem tinha pensado nisso
Não senti diferença em notas ou classificação, mas ouvi muito mais vezes frases do tipo “acabaram as coisas/tempo antes de chegar sua vez”, e isso me deixou muito mais sensível a problemas de planejamento e organização
Eu era o último na ordem alfabética, e isso já era um problema até na hora de escolher livros para ler. Podíamos escolher, mas sempre em ordem alfabética, então quando chegava minha vez restavam só poucos livros e os mais populares já tinham sumido
Quando finalmente chegou minha vez de pegar as bolinhas de gude, elas já tinham acabado. Perguntei “onde estão minhas bolinhas?”, e o professor deu de ombros e disse “acabaram”. Eu devia ter uns 7 anos, chorei bastante, e acho que algumas outras crianças me deram algumas bolinhas, mas na verdade a questão nem era só das bolinhas em si
Até hoje não entendo como se podia esperar qualquer resultado diferente desse
Um dia, a professora disse algo como “hoje vamos inverter a ordem, mas também organizar pelo primeiro nome”. Meu nome começava com A, então acabei ficando por último de novo, e todo mundo achou hilário
Na nossa universidade, quase toda a correção era anonimizada. No início de cada ano recebíamos um número de candidato aleatório, e colocávamos esse número em trabalhos ou provas importantes
Em tarefas de aula menos importantes, muitas vezes não chegava a esse ponto e usávamos o número de matrícula, mas a ideia básica era a mesma
Tirando a dissertação e alguns trabalhos pequenos sem impacto na nota final, não escrevíamos nosso nome. Não era tão difícil desfazer o anonimato, mas isso dava um pouco mais de integridade ao sistema
É um método muito simples de implementar, então não sei por que não é usado com mais frequência
Acho que o nosso ambiente virtual de aprendizagem também ordenava os trabalhos pela hora de envio, mais do que por qualquer identificador
Isso resolve o viés pessoal, mas não o viés relacionado à forma como as entregas são ordenadas
Parece certo usar identificadores aleatórios junto com uma ordem aleatória
Mas tenho menos certeza de que uma proposta de conferência cega seja uma boa ideia. Pela minha experiência, se eu sei que certa pessoa quase com certeza vai acertar em cheio, fico menos inclinado a escolher uma pessoa aleatória sem qualificação clara no mesmo tema. Claro que escolher só amigos do comitê também pode claramente passar dos limites
Mesmo que o nome de usuário parecesse aleatório, certos nomes começaram a ganhar reputação no fórum de discussão da disciplina, e os alunos também passaram a reconhecer alguns deles
Ainda assim, em disciplinas de ciência da computação os critérios de correção tendem a ser bem objetivos, então não sei o quanto o anonimato realmente importava
Dizem que “a solução simples é tornar a ordem aleatória o padrão”, mas isso só significa que o viés vira aleatório. Provavelmente o aluno corrigido por último ainda vai receber nota mais baixa
Pela minha experiência como tutor, esse viés realmente existe. Mas ele não consegue transformar uma resposta completamente errada ou uma resposta muito bem certa em outra coisa
Depois de um tempo, passei a conhecer os alunos que tinham dificuldade e os que iam bem. Se um aluno bom errava, então algo grande devia ter acontecido, então eu primeiro dava uma olhada rápida, depois via os problemas dos alunos com dificuldade, corrigia o resto na ordem em que recebi e, no fim, voltava aos alunos com dificuldade e aos que iam bem. Eu precisava de uma linha de base para ver o quão ruins os piores trabalhos realmente eram. Dá para dizer que algumas listas pareciam uma aventura acidental
Escrevendo assim, parece totalmente frio e distante, mas focar no terço inferior nos exercícios e passar aos monitores e ao professor onde eles travavam ajudava muito todo mundo, especialmente esses alunos. Isso ajudava a firmar bem fundamentos importantes
Quando corrigi pela primeira vez, alguns meses atrás, eu também senti isso
As primeiras respostas que corrigi não tinham certos erros ou respondiam do jeito que eu esperava, e quando depois encontrei respostas ou erros inesperados, tive de repensar a nota das respostas já corrigidas. Por exemplo, houve casos em que a resposta de alguém me fez sentir que uma resposta que eu tinha considerado errada na verdade estava menos errada
Era uma turma pequena, então dava para voltar atrás, e a ordem de envio já estava um pouco misturada, então corrigi assim, mas se não estivesse, claramente teria surgido um viés
Só depois de ver várias vezes que certo bug era muito comum é que eu reavaliava e percebia que era um erro fácil de cometer
Ou então eu descobria que um bug novo, que eu não conhecia no começo, era bastante comum. Aí eu tinha de atualizar os testes e rodar de novo para todo mundo
Eu tentava ser bem minucioso e no fim acabava revendo a pilha inteira, mas era realmente doloroso. Eu poderia ter feito de qualquer jeito, mas como os alunos tinham dedicado semanas ao trabalho, eu sentia que precisava dar um feedback honesto
Isso também acabava tornando a correção mais generosa. Se eu fosse preguiçoso e verificasse só alguns bugs, acabaria tirando muitos pontos por cada problema, o que não seria justo com os alunos que por acaso caíssem nos bugs que eu esperava. Se eu encontrasse todos os bugs, não teria escolha a não ser descontar poucos pontos por bug para não destruir a nota de todo mundo
Estou na mesma situação e faço igual. Não confio em mim mesmo para fazer uma ordenação realmente aleatória à mão, então acabo contando com a aleatoriedade bem fraca que a ordem de envio oferece
Foi basicamente por isso que os sobrenomes dos nossos filhos ficaram assim
Meu sobrenome começa com E e o da minha esposa começa com Y. Ao contrário da tradição, quando nos casamos ela não mudou de sobrenome e, quando os filhos nasceram, tivemos de decidir qual sobrenome dar a eles. Escolhemos um sobrenome com hífen
Historicamente, sobrenomes com hífen vinham na ordem sobrenome da mulher-sobrenome do homem. Mas minha esposa não gostava de ter um sobrenome perto do fim do alfabeto enquanto crescia
Então quebramos a tradição de novo e colocamos meu sobrenome primeiro, para que, em uma ordenação alfabética, nossos filhos ficassem mais no começo. Além disso, os nomes deles começam com A e B, então também aparecem mais no começo quando a ordenação é pelo primeiro nome
Se quiser mesmo quebrar a tradição, é só não casar e simplesmente morar junto e ter filhos
No fim das contas, existe algo mais tradicional do que casamento?
Meu sobrenome começa com uma letra do fim do alfabeto, então sempre percebo esse tipo de coisa. Um caso deste ano: meu filho está fazendo uma disciplina no ensino médio com um projeto de longo prazo que exige feedback contínuo do professor
O professor revisa os projetos em ordem alfabética pelo sobrenome, mas cerca de 40% das vezes não consegue chegar até o fim da turma e, se houver algum problema, manda os alunos aparecerem depois da aula. Só que, pela natureza do projeto, comentários proativos do professor são essenciais
Então digo ao meu filho para procurar o professor e pedir uma revisão antecipada mesmo que não haja problema, mas nem toda criança faz isso, e como resultado pode acabar recebendo uma nota mais baixa
Fico curioso para saber por que Helen Wang escolheu isso como tema de pesquisa
Isso me faz pensar nas graves consequências não intencionais da ordenação
É parecido com o efeito do juiz com fome [1]. É o efeito segundo o qual juízes tendem a ser mais rigorosos antes de uma pausa e mais lenientes depois dela
[1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect