Como conduzir provas universitárias na era dos chatbots

• Em uma prova da disciplina de estratégia de código aberto, foi adotado um formato de avaliação não tradicional que permitia tanto acesso à internet quanto uso de materiais, para incentivar os alunos a aprender por conta própria
• Os alunos tinham que escolher antecipadamente se usariam ou não chatbots e, em caso de uso, era obrigatório citar as fontes, divulgar os prompts e analisar os erros
• Dos 60 alunos, 57 não usaram chatbots, e suas notas mostraram, em geral, uma tendência de melhor desempenho do grupo que não usou
• Os alunos tenderam a evitar o uso de chatbots por medo de serem vistos como trapaceando e por causa de sua percepção sobre os critérios de avaliação do professor
• O professor buscou entender o processo de pensamento dos alunos por meio da elaboração de um arquivo de “fluxo de consciência (stream of consciousness)” e enfatizou a importância de fortalecer a própria capacidade de raciocínio em vez de depender de chatbots

---

Formato de aplicação da prova

• A prova foi estruturada com regras abertas, como uso permitido de todos os materiais e da internet, sem limite de tempo, possibilidade de discussão entre alunos e liberdade para propor questões
  • Os alunos também podiam escolher livremente a roupa para a prova, participando com visuais variados, de trajes tradicionais a fantasias bem-humoradas
• O objetivo desse formato era transformar a prova em uma extensão do aprendizado e reduzir a tensão

Sistema de escolha do uso de chatbots

• Antes da prova, o aluno precisava declarar explicitamente se usaria ou não chatbots
  • Opção A: não usar chatbot; se usar, é considerado trapaça
  • Opção B: uso de chatbot permitido, mas a cada uso é preciso entregar fontes, prompts e análise de erros
• Erros de chatbot eram tratados como um fator de desconto maior do que erros humanos, e quem o usasse precisava assumir responsabilidade pelo resultado

Escolhas dos alunos e distribuição das notas

• Dos 60 alunos, 57 não usaram chatbots
  • Grupo de preferência pessoal: valoriza o aprendizado autônomo, notas de 15 a 19
  • Grupo de não uso: não gosta de interagir com chatbots, média 13
  • Grupo pragmático: julgou desnecessário por causa da natureza da prova, notas de 12 a 16
  • Grupo de usuários pesados: ficou confuso por dependência de chatbot, em sua maioria com notas de 8 a 11
• Entre os 3 alunos que optaram pelo uso de chatbot
  • 1 esqueceu de usar o chatbot
  • 1 fez uso mínimo apenas para confirmar conceitos
  • 1 acabou prejudicando a própria compreensão com uma configuração complexa de LLMs (perguntava a um LLM e pedia confirmação a outro LLM)
    • Ao conversar sem chatbot, demonstrou compreensão suficiente, mas o resultado produzido pelo chatbot acabou atrapalhando ainda mais seu entendimento. Nesse caso, o chatbot foi prejudicial para ele

Percepção geracional sobre trapaça

• A maioria dos alunos não confia em chatbots ou tem medo de ser mal interpretada como se estivesse trapaceando
• Alguns alunos se preocupam até que o recurso de respostas geradas automaticamente do Google possa ser confundido com trapaça
• No sistema universitário atual, existem sanções severas, como proibição de acesso à universidade por até 3 anos em caso de fraude
• O professor expressa surpresa com o fato de que, diferentemente de gerações passadas, os alunos hoje vivem em uma cultura em que até a colaboração antes da prova é evitada

Experimento do arquivo de “fluxo de consciência”

• Foi pedido aos alunos que, durante a prova, registrassem seus pensamentos em tempo real
  • Sem permitir edição ou exclusão, sem copiar texto, com apenas URLs liberadas
  • Uso de chatbot proibido, registrando apenas o próprio raciocínio
• 55 dos 60 alunos entregaram o arquivo, e 24 conseguiram enviá-lo com sucesso via git-send-email
• Esse registro permitiu observar o estresse e o processo de pensamento dos alunos
  • Alguns relataram que, ao escrever, sua compreensão do problema ficava mais clara e a ansiedade diminuía
  • O professor usou esse arquivo para ajudar alunos que tinham compreensão real, mas dificuldade de expressão

Conclusão e filosofia educacional

• O professor pretende manter esse método no ano seguinte
• No caso dos chatbots, o importante é a capacidade de usá-los como ferramenta e, se alguém souber lidar bem com isso, nem sempre eles serão necessários
• O verdadeiro problema não é a tecnologia, mas sim a destruição da infraestrutura pelas gerações anteriores e os sistemas ineficientes
  • Com a adoção do Outlook, a experiência com e-mail piorou, e os alunos chamam o e-mail de “caixa de spam do reitor”
  • Muitos alunos nem sabem a diferença entre Git e GitHub, resultado de um ambiente dependente da Microsoft
• O professor transmite aos alunos a mensagem: “aprendam mais rápido e com mais profundidade do que a minha geração”,
  enfatizando o progresso do aprendizado entre gerações e a continuidade do pensamento crítico

[GN⁺]

Comentários no Hacker News

• Há 10 anos, as provas eram escritas à mão, e não existia algo como internet ou LLM
  Isso ainda funciona perfeitamente hoje. Se o objetivo não é avaliar a capacidade do aluno de pesquisar no Google, não vejo motivo para usar outro método

  • Eu também estou voltando às provas em papel nas minhas aulas. Dispositivos digitais são proibidos, e faço avaliação distribuída em 7 quizzes curtos. Reduzi o peso dos projetos para 50%, porque é difícil verificar se o aluno realmente fez o trabalho
  • O problema é a falta de tempo para corrigir. Às vezes preciso olhar 20 páginas em 15 minutos. Então simplifico com questões de múltipla escolha, diagramas e cálculos. Também há muitos alunos com letra terrível, então talvez fosse aceitável permitir ao menos entrada simples em terminal. E, mesmo que o aluno não memorize tudo, considero importante que ele entenda intuitivamente onde encontrar a resposta
  • Provas com consulta não são novidade. Em matemática e biologia isso já era comum. Sem conhecer os conceitos básicos, ninguém passa só pesquisando no Google. É preciso desenhar provas que avaliem pensamento crítico, não apenas memorização
  • Houve uma época em que se defendia expandir as aulas online na universidade. A qualidade do ensino caiu e o valor do diploma também se diluiu. Eu me perguntava por que universidades públicas estavam buscando maximização de lucro
  • Acho que esse método acaba pendendo para um teste de memorização. Eu também tinha boa memória de médio prazo e ia bem em provas, mas isso não significava compreensão real. Uma estrutura que favorece apenas quem tem boa memória não é justa

• Tenho a sensação de que muitos estudantes não conseguem responder à pergunta “por que aprender isso”
  Depois de se formar, a realidade é saber apenas “o suficiente para não ser demitido”. Na era dos LLMs, esse padrão cai ainda mais. Por isso, acho que deveríamos voltar aos métodos tradicionais de prova: prova fechada escrita à mão, exame oral, eliminar lição de casa e, em vez disso, publicar milhares de questões com resolução para treinar a memorização que serve de base para a criatividade

  • Eu acho que o objetivo da universidade não é simplesmente “não ser demitido”, mas contribuir para a expansão do conhecimento humano. Só que hoje a universidade virou um lugar que produz em massa o tipo de profissional que o mercado quer. Além disso, muitos empregos podem na prática ser ‘bullshit jobs’
  • Também é arriscado presumir que os alunos poderão depender continuamente dos LLMs. E se a assinatura passar a custar 1000 dólares por mês? Ainda conseguiriam trabalhar?
  • Na Europa, exames orais e provas manuscritas já eram comuns há muito tempo. A cultura de dar nota por lição de casa sempre me pareceu mais estranha. Na era dos LLMs, o mais importante passou a ser o que devemos aprender
  • Agora a pergunta na educação não é mais “como ensinar”, mas “qual é o significado do trabalho e da competência”. A sociedade passou a valorizar mais performance do que competência, e a IA reforça ainda mais essa tendência
  • Meu professor de eletromagnetismo dizia: “não memorize fórmulas, entenda as relações”. Mas eu acho que memorizar fórmulas é o ponto de partida para entender essas relações. Física não é apenas um conjunto de equações, mas o estudo da estrutura de evolução dos sistemas

• A afirmação de que “a maioria dos alunos não quer usar chatbots” já parece errada
  Sou professor universitário, e o número de alunos dependentes de LLM está explodindo. Fico preocupado com o surgimento de uma geração que não consegue estudar sem LLM

  • O professor e o aluno do artigo provavelmente não precisavam de LLM porque tinham interesse no próprio aprendizado. Mas a maioria dos alunos quer apenas passar, então usar LLM é uma escolha racional. Se eu tivesse uma matéria que não me interessasse, acho que também usaria LLM
  • Acho difícil generalizar esse caso porque se trata de um ambiente de prova muito específico. Se a regra for “use IA, mas assuma responsabilidade pelo resultado”, então alunos preparados provavelmente nem precisariam usar IA
  • Se o uso de LLM for proibido na universidade, os alunos aprenderão pensamento autônomo por meio do medo. Pensamento crítico é uma habilidade que precisa ser treinada continuamente
  • Se os LLMs começarem a cobrar seu custo real, pode ser que muitos alunos percam o acesso por causa da barreira de preço
  • O problema é que o Google estragou a busca e a substituiu por uma caixa de LLM. Talvez a causa não seja o desejo dos alunos, mas a direção tomada pelas empresas

• Um professor comentou que ficou impressionado com o nível de empatia e consideração dos alunos. Sua abordagem em relação à IA também parece muito humana, diferente da de muitos outros educadores

• A ideia de “permitir que os alunos discutam entre si durante a prova” é interessante
  Daí surgiu a brincadeira de que talvez devêssemos dar diplomas em equipe. Como já existem empresas que contratam equipes inteiras, talvez a ideia não seja tão ruim

  • Sou o autor do post original. Eu ensino Open Source Strategies. O ponto central é colaboração. Definir o problema, fazer perguntas e ampliar a compreensão por meio das respostas já é, por si só, um ótimo aprendizado.
    Outro método é fazer com que o aluno 1 explique um conceito e o ensine ao aluno 2 em 20 minutos. Depois, o aluno 1 é avaliado com base na resposta do aluno 2. É uma forma de incentivar colaboração com responsabilidade
  • Seria ainda melhor se houvesse uma regra exigindo que os dois alunos participem ativamente
  • Parece que esse tipo de aula colaborativa surgiu como reação à cultura competitiva da escola
  • Também apareceu a piada cínica de “vamos simplesmente mandar todos os diplomas para a OpenAI”. É uma sátira sobre como o valor da educação está sendo abalado

• O formato flexível de prova desse professor é impressionante. É raro ver alguém que entende os alunos, deixa as expectativas claras e quer aprender junto com eles

  • Sou o autor do post original. A maioria dos professores virou professor porque era boa em ir bem em provas padronizadas. Eu fui o contrário: era um mau aluno. Me formei com a nota mínima, mas construí carreira em open source e, por causa disso, fui contratado como professor. Sou grato por esse caminho não tradicional

• Fiquei surpreso com a fala de que “os alunos têm medo de colaborar entre si por receio de colar”. Antigamente, eu ouvia justamente que cola era generalizada

  • Dou aula no mestrado, e nos últimos anos cerca de 15% dos alunos cometem plágio descarado. Já aconteceu até de dois alunos entregarem respostas idênticas byte por byte
  • Talvez essa turma não represente o comportamento típico do conjunto dos alunos

• Senti que a forma de ensinar desse professor é uma abordagem realmente cuidadosa e equilibrada. É uma estrutura que dá ao aluno autonomia e responsabilidade ao mesmo tempo.
  A frase “meu objetivo é que vocês aprendam mais rápido e mais profundamente do que eu” foi especialmente marcante