- À medida que ferramentas de detecção de IA são usadas na avaliação de trabalhos, se o texto de um estudante for classificado como gerado por IA, isso pode afetar diretamente a nota e a avaliação de fraude
- Moira Olmsted diz que, em 2023, em um curso online da Central Methodist University, um trabalho que ela entregou foi considerado possivelmente gerado por IA e recebeu nota zero
- O professor teria citado o resultado da ferramenta de detecção como justificativa e respondido que o texto de Olmsted já havia sido sinalizado pelo menos uma vez antes
- Olmsted conciliava um emprego em tempo integral com a criação dos filhos e havia começado um curso de formação de professores após juntar dinheiro para pagar um programa remoto autodirigido
- Se cerca de dois terços dos professores usam regularmente ferramentas de detecção de conteúdo gerado por IA, mesmo uma pequena taxa de erro pode se transformar em grandes consequências para muitos estudantes
Caso de estudante que recebeu nota zero por causa de uma ferramenta de detecção de IA
- Moira Olmsted havia trancado a faculdade no início da pandemia, formado uma família e depois tentou voltar a estudar
- Trabalhando em tempo integral e cuidando de filhos pequenos, ela passou meses juntando dinheiro para pagar um programa autodirigido que pudesse cursar a distância
- Em 2023, quando estava grávida de sete meses do segundo filho, matriculou-se em um curso online da Central Methodist University e começou a estudar para se tornar professora
A avaliação após a entrega do trabalho
- Algumas semanas depois do início do semestre de outono, Olmsted entregou uma redação em uma disciplina obrigatória
- O trabalho era um dos três resumos de leitura semanais
- A nota que recebeu depois foi zero
- Quando Olmsted perguntou ao professor, ele teria respondido que uma ferramenta de detecção de IA havia avaliado que o texto possivelmente tinha sido gerado por inteligência artificial
- O professor teria dito que o texto de Olmsted já havia sido sinalizado pelo menos uma vez antes
Ferramentas de detecção amplamente usadas e o peso dos erros
- Cerca de dois terços dos professores afirmam usar regularmente ferramentas de detecção de conteúdo gerado por IA
- Quanto maior a escala de uso, mais rapidamente até uma taxa de erro muito pequena pode se acumular
- Quando o resultado da detecção leva à nota do trabalho e a acusações de fraude, uma avaliação equivocada se torna um grande fardo para o estudante
1 comentários
Comentários do Hacker News
Dei aulas de matemática no ensino superior por 30 anos e estou prestes a me aposentar; há uma quantidade enorme de cola em trabalhos avaliados que não são supervisionados em sala de aula
Coisas como bloqueio do navegador não conseguem impedir isso. A única solução é exigir provas presenciais supervisionadas e não permitir o uso de nenhuma tecnologia durante a prova, mas, se fizerem isso, não haverá alunos querendo se matricular nessa disciplina. A única coisa em que consigo pensar é a Higher Learning Commission tornar isso obrigatório para todas as disciplinas
O problema maior é que os alunos não estão acostumados a fazer o que é necessário para aprender, e sim apenas o que é necessário para passar. E isso está se tornando cada vez mais cola. Há alunos de cálculo que não conseguem lidar com frações. Se criarmos um sistema que realmente impeça a cola, ficará evidente que uma parcela muito alta dos universitários de hoje não está preparada para receber uma educação universitária de verdade. O ensino básico e médio também precisa mudar
Do ponto de vista do aluno, a próxima instituição geralmente olha, nessa ordem, para notas, faculdade e curso. Se o custo de não tirar A for ser excluído de oportunidades futuras, os alunos vão fazer matérias mais fáceis ou colar para não serem excluídos
Estudei física, fiz as matérias difíceis que queria fazer e me formei com média 2.7 por não colar, e esse tipo de escolha tem consequências reais. Acho que a solução é depender menos de avaliações vulneráveis à cola ou de avaliações que, na prática, seriam resolvidas por computador
As disciplinas obrigatórias são necessárias para obter o diploma, então, se o currículo inclui álgebra linear, é impossível “simplesmente não se matricular”. Se reprovar 3 vezes, é desligado do curso
Isso acontece porque as universidades na Alemanha e na maior parte da Europa são financiadas por impostos. Nos EUA, do ponto de vista da universidade, é vantajoso manter os alunos pagantes por perto, então vão continuar seguindo o caminho que você descreveu. É um serviço, uma estrutura em que o cliente compra o diploma
Fiz uma disciplina de computação gráfica na universidade, em que, por causa das questões bônus, literalmente todo mundo tirava mais de 100% nas listas, e a mediana da prova do meio do semestre era menos de 50%. Lembro que, numa sessão de preparação para a prova, quando o professor abriu para perguntas, um aluno pediu seriamente: “Pode explicar de novo todo o conceito de matrizes?”
Era uma disciplina de nível 400, aliás, e em uma das universidades mais prestigiadas do Canadá. Isso foi há mais de 20 anos, então hoje provavelmente está ainda pior de alguma forma
A lógica dele era que, já que os alunos tentariam usar esses atalhos de qualquer forma, melhor permitir e transformar a prova em algo imune a essa vantagem. Antes de cada prova, ele dizia que o uso das ferramentas era permitido, mas “estudem; o livro, as anotações e a calculadora não vão salvar vocês”
No longo prazo, acho que a educação vai caminhar mais para mudar o currículo de modo que ferramentas de IA não deem uma grande vantagem, em vez de tentar impedir o uso dessas ferramentas
Fiz centenas de entrevistas técnicas como entrevistador em contratações de engenheiros de software e ainda hoje ajudo empresas a contratar como entrevistador independente; há cola demais. Em empresas comuns, eu diria que no mínimo 30%, e em FAANG, mais de 50% são trapaceiros
Muita gente compartilha exercícios técnicos em grupos e fóruns privados e recebe ajuda de alguma forma durante a entrevista. Vejo repetidamente problemas propositalmente complexos sendo resolvidos da melhor maneira possível em questão de minutos
Agora, avaliar o quanto um aluno entende um tema em profundidade apenas por redações escritas já não é eficaz
A IA vai continuar existindo, e precisamos de novas formas de avaliar o desempenho dos alunos. Lembro de ouvir na escola que não se podia usar calculadora durante a prova. Os professores diziam que “não dá para confiar que você sempre terá uma calculadora quando mais precisar”, mas hoje há a ironia de termos uma “calculadora” no bolso 24 horas por dia
Precisamos aceitar que o mundo mudou. Só espero que possamos decidir juntos como a sociedade vai responder a essa mudança, em vez de sermos empurrados à força
Vale pensar nisso toda vez que você olha para o financiamento estudantil. Nem esse dinheiro comprou 30 minutos de avaliação individual com um professor por disciplina; em vez disso, fizeram os alunos gastar ainda mais tempo em trabalhos escritos e empurraram a correção para assistentes recebendo salário mínimo
O exemplo clássico é a redação de admissão universitária. Alguns alunos têm pais que podem proporcionar experiências que ficam bem na redação, além de poder contratar tutores para “ajudar” a escrevê-la. Coisas como viagem educacional à África, aulas de dois instrumentos e treinamento particular de golfe
A IA apenas tornou a parte do tutor mais acessível e mais barata para uma camada social mais ampla. É ingenuidade achar que, antes da IA, não existiam um mercado cinzento de consultoria para redações e um mercado mais sombrio de ghostwriting. Em muitos casos, esses mercados ainda funcionam melhor do que a IA
Geralmente é uma luta pacífica, travada nos tribunais, no Congresso e no mercado, mas ainda assim é uma luta
Os alunos estão sendo avaliados agora, então, se é preciso um novo método de avaliação, a resposta é necessária agora. Podemos voltar aos antigos exames orais, que ainda são usados no doutorado. Mas isso não escala de jeito nenhum. Talvez tenhamos de racionar agressivamente o ensino superior de acordo com o tempo limitado disponível para avaliação pessoa a pessoa
Pessoalmente, acho tudo isso imprevisível e instável. Se os defensores da IA estiverem certos — e eu não acho que estejam —, a maior parte dos campos acadêmicos e dos empregos de escritório para os quais os alunos são treinados e avaliados vai desaparecer
A ideia de que você talvez não tivesse acesso a uma calculadora já não fazia sentido na época, mas a observação de que depender dela tira o treino mental originalmente pretendido estava correta. Só era difícil explicar para crianças de 12 anos que a matemática é realmente bela e que seus princípios sistemáticos mudam fundamentalmente a forma como você vê o mundo
Com redações é a mesma coisa. Eu odiava escrever redações e racionalizava de várias formas que nunca precisaria escrever uma no futuro, mas depois percebi que o que a redação forçava era pensamento estruturado. A redação não era uma ferramenta para avaliar habilidade em um assunto; era uma ferramenta para aprender, e o próprio ato de escrever fazia parte do aprendizado
É isso que a frase “as crianças não precisam calcular de cabeça” deixa escapar. A capacidade de calcular sempre foi apenas uma parte; aprender que você é capaz de aprender aquele método de cálculo era, no mínimo, tão importante quanto
A parte irritante é que os alunos aparentemente não têm o direito de saber por que a IA marcou o trabalho deles
Em qualquer processo em que um computador julgue uma pessoa, deveria haver uma regra exigindo que o algoritmo pudesse explicar com precisão por que marcou aquela pessoa
Isso basicamente mataria as soluções atuais baseadas em IA. Não há como explicar nem entender por que decidiram que um texto é plágio ou não, e tudo bem
Se quiser saber mais, recomendo o livro recente de Arvind Narayanan e Sayash Kapoor, AI Snake Oil. É um livro crítico, mas equilibrado, e ajuda a ver com mais clareza o hype em torno da IA
https://press.princeton.edu/books/hardcover/9780691249131/ai...
Em que mundo isso é justo? Nem os tribunais funcionam com esse tipo de premissa
Quando isso acontece, deveria existir uma lei exigindo uma explicação clara
No ensino médio, já era difícil o bastante tentar descobrir quem você era; naquela época, Kafka era só leitura obrigatória
Sou consultor em um grande hospital universitário e sou holandês. Alguns anos atrás, recebi no meu doutorado o comentário de que “deveria ter pedido a um falante nativo para revisar”.
Então agora uso o ChatGPT para revisar meu inglês. Escrevo eu mesmo o que quero dizer e depois peço para “deixar mais conciso, mais profissional e não tão americanizado”. O padrão é entusiasmado demais, como um garçom americano.
Em 9 de 10 vezes, ele expressa melhor o que eu quero dizer do que o que escrevi, com menos palavras e em inglês melhor. Não diria que reduziu o tempo de elaboração de relatórios, mas o resultado fica muito melhor do que eu conseguiria sozinho.
Um detector de IA pode disparar, mas isso é tão útil quanto um detector de corretor ortográfico. É um modelo grande de linguagem, não um grande modelo de fatos. Se eu fosse professor, não deveria ser bom em detectar bobagem?
Se eu estivesse avaliando relatórios de alunos, meu feedback seria algo assim: por favor, revisem a linguagem com o ChatGPT, mas, por favor, verifiquem os fatos de outra forma.
Acabou sendo praticamente uma aula grátis para as duas turmas, e ajudou muito. No ano seguinte, eu fiz a mesma coisa. Também lembro que, naquela época, computadores eram relativamente raros e datilografar era uma habilidade aprendida à parte, então a maioria dos rascunhos era manuscrita.
Há muito tempo se diz que, se você realmente quer aprender um tema, deve tentar ensiná-lo. Esse tipo de troca funciona bem, e o resto da sociedade em geral também funciona assim. Usar IA provavelmente é bem parecido, mas acho outra pessoa melhor. A IA não vai te parar no corredor e dizer “ei, me perdi completamente na parte do meio do seu trabalho, afinal de contas o que é isso?”, e às vezes esse tipo de comentário ajuda de verdade.
Tornar um texto mais acessível com linguagem clara e argumentos bem organizados é um serviço valioso para o leitor, e vejo com bons olhos quem usa LLMs para isso. Eu também uso.
Um modelo que tenta produzir não ficção sobre um tema específico acaba encontrando muitos padrões de afirmações que por acaso eram verdadeiras ou, ao menos, tinham a mesma forma de afirmações verdadeiras, sem sinais claros de distinção.
Claro, às vezes ele sai dos trilhos e produz alucinações. Quando isso acontece, azar do aluno que não verifica a saída. E, se uma das motivações para colar é justamente não conhecer bem o conteúdo a ponto de poder verificá-lo direito, então deve haver bastante aluno assim.
A escola do meu filho instalou um novo detector de armas pelo qual eles passam na entrada, e dizem que é baseado em “IA”. A escola confia bastante nessa IA.
Só que a IA identificou os notebooks Lenovo fornecidos pela escola como armas. Então todas as crianças eram sinalizadas. Em vez de parar de usar uma ferramenta tão estúpida, passaram a fazer as crianças tirarem o notebook da mochila antes de passar pelo scanner.
Parece que estamos vendo gente que não é inteligente o bastante comprar produtos de “IA” e acreditar que eles vão fazer o que prometem, quando na prática não funcionam.
Quem compra sistemas com dinheiro público deveria ser obrigado a definir um bom plano para lidar com os falsos positivos e falsos negativos esperados, com base na precisão e no recall anunciados.
É meio absurdo que, em um intervalo de 1 ou 2 anos, adultos tenham passado a confiar em qualquer algoritmo. Não sabem como funciona, não conseguem explicar, não se importam, só assumem que funciona. É como magia. Se disser que é cola, então vira cola, e não há nada que você possa fazer.
O que quero enfatizar é que isso não é só uma questão de acreditar em magia, mas de como hoje em dia as pessoas fazem coisas absurdas com a maior naturalidade e sem assumir responsabilidade. Uma vez, na escola, gostei tanto de uma tarefa de uma disciplina que fiz com seriedade pela primeira vez e acabei sendo suspeito de “colar”. Ouvir que eu jamais poderia ter feito aquilo foi humilhante, mas mesmo assim recebi a nota. Como não conseguiam provar, no fim era algo como “assina isso e vai embora, não importa o que o professor ache”, e aquela foi a última tarefa daquela matéria.
Em contraste, se o que esta matéria diz estiver correto, hoje os professores não precisam provar nada. O simples fato de a moeda ter dado cara é tratado como prova suficiente. Todo mundo parece aceitar com um “fazer o quê, a escola tem um sistema desses”. É uma loucura.
Passamos mais de 30 anos ensinando as pessoas a ver computadores como máquinas que produzem saídas precisas, exatas e reproduzíveis. Mas as empresas de redes neurais criaram geradores aleatórios de símbolos e escondem ativamente o fato de que há aleatoriedade programada dentro desses programas.
Recentemente houve outro caso de texto gerado em um tribunal dos EUA, e desta vez não parecia haver má-fé. A questão era que o autor pediu à rede neural cálculos financeiros históricos sobre valor imobiliário e acreditou imediatamente porque “é um computador”. Computadores estão sempre certos, e redes neurais rodam em computadores, então também estariam sempre certas. Em breve, esse modo de pensar vai se espalhar para todos os lares do mundo. Quando isso acontecer, talvez sintamos falta da desonestidade e da propaganda da mídia. Pelo menos antes ainda dava para ter alguma noção de quando uma fonte mentia deliberadamente.
Raramente se sentem incomodados com essa ignorância e quase não têm vontade de aprender nem o básico. Algumas pessoas realmente precisariam saber, e para mim isso é muito difícil de entender.
Tanto faz se o sistema é uma inquisição religiosa em busca de bruxas, uma máquina ou o Gulag soviético. O sistema disse que é culpado, e o sistema não pode estar errado.
Kafka se reviraria no túmulo.
Desse jeito, cada um pode moldar a sociedade como quiser a partir da sua posição. Se o irmão de um aluno era problemático, dá para pensar “essa família é assim mesmo, vamos infernizar”. Se você não gosta da raça, do gênero ou da orientação sexual do aluno, o “chatGPT” oferece um meio fácil de tornar a vida escolar dele mais difícil.
A filha enviou uma redação para a escola online e foi acusada de ter entregado um texto escrito por IA porque o software da escola disse isso. A mãe viu a filha escrevendo
Eu achava que era senso comum que é impossível determinar se um texto foi gerado por IA, mas parece que o fornecedor do software é ignorante ou está mentindo, e os administradores da escola estão acreditando nisso
Também há o problema de redações de alunos no espectro autista serem sinalizadas de forma desproporcional, então isso pode acabar sendo uma espécie de violação de direitos civis
Eles fazem um teste simples por conta própria, veem que aparentemente funciona na maior parte do tempo e concluem que a afirmação da empresa é verdadeira. O problema é que esses testes todos seguem no sentido de fazer trabalhos escritos por IA passarem como se fossem escritos por humanos, e não no sentido contrário
Como essas ferramentas têm uma taxa de falso positivo maior que zero, necessariamente haverá algum pobre aluno que passou semanas em cima de um trabalho final de 20 páginas e será pego por uso de IA. Essa criança não terá reparação nem recurso. A escola gastou muito dinheiro no detector de IA e vai acreditar que ele está certo
Como quando já se decidiu que calculadoras eliminam a necessidade de se preocupar com habilidade aritmética
Isso acontece o tempo todo nos EUA. Às vezes o feedback de um sistema de validação de endereço é aceito sem aprovação do titular da conta, e o endereço é alterado arbitrariamente. Você liga para o atendimento e ouve: “o sistema disse que o endereço não confere”. Como se o sistema soubesse melhor do que eu, o DMV ou a escritura da minha casa onde moro há 5 anos. Se a taxa de erro for baixa o bastante, nos EUA as pessoas simplesmente aceitam
Aí piora. A taxa de erro pode não ser baixa, e sim alta para certos subgrupos específicos. É aí que você descobre sua posição na sociedade. Pergunte a pessoas de pele morena como foi divertido pegar avião entre 2003 e 2006. Em Nova York, se a combinação de nome e CEP não bater do jeito errado, você nem consegue alugar uma Citibike, que opera em área pública
Com isso vai ser a mesma coisa. A menos que algo como uma grande ação da ACLU exponha isso, é bem provável que o dano continue até que seja resolvido. Provavelmente características sutis de estilo de linguagem acabarão sendo usadas como gatilho, talvez sem intenção. As pessoas do “grupo de dentro”, que não são expostas, dirão que é um sistema justo, enquanto os outros terão que se defender contra uma caixa-preta, assumindo o ônus da prova
Um dos professores do filho enviou aos alunos um aviso dizendo que verificaria todas as redações com software de detecção de IA e alertando quais punições haveria em caso de flagrante
Um colega colocou o aviso desse professor em um verificador de IA, e ele deu positivo como gerado por IA
Os LLMs já devem ter consumido uma quantidade enorme desse tipo de texto. Seja no ensino médio ou na faculdade, não surpreende que relatórios padronizados, feitos para cumprir exatamente os requisitos e em geral tirar boa nota, tenham alta probabilidade de serem apontados como gerados com tecnologia tipo GPT
O LLM também deve ter treinado com muitos planos de ensino e documentos básicos de professores, e comunicações curtas entre professor e pais ou professor e aluno dificilmente escapam dessa mesma zona de arrasto de escrita típica de LLM
Pergunto porque esse problema de geração de texto por “IA” não é um problema técnico, e sim um problema 101% humano
Uma taxa de 4% de falso positivo é absurdamente alta se isso pode significar reprovação ou expulsão. Ainda mais porque um trapaceiro sério consegue contornar isso em 2 minutos com um prompt prévio do tipo “escreva no estilo de fulano”
É parecido com: “o professor avisou que vai comparar todas as redações com as de outros alunos para ver se são iguais e, se pegar, vai punir. Um aluno fez uma busca no Google e descobriu que a pergunta da redação aparecia como exemplo em algum livro”
Uma coisa é totalmente válida, a outra não. Claro, existe uma zona cinzenta. Dá para dizer que usar o ChatGPT para certos fins não é colar, e sim aprender a usar ferramentas. Mas se você delega 95% da redação a ele, então é cola
Para quem lida com trabalhos de alunos ou lê candidaturas de emprego, ficou muito fácil identificar rapidamente texto gerado por IA
O texto parece usar sempre a mesma estrutura genérica, mudando só as palavras. E existe também o que chamo de “palavra da semana”: algum motor de IA fica obcecado com uma palavra específica em inglês, geralmente uma palavra incomum, e a usa em toda oportunidade. Não demora para perceber que o ditado de que isso é um autocompletar com esteroides está certo
Mas programar um computador para fazer isso não é tão simples. No meu emprego anterior, trabalhei com detectores de plágio e logo percebi como essas ferramentas eram ruins. E também descobri como era fácil enganá-las, mas isso é outra história. Os professores também logo percebiam como as ferramentas eram ruins, então, quando um aluno acusado de plágio contestava, a acusação muitas vezes era retirada em silêncio
Era algo como “escreva sobre um tema técnico, qualquer tema, 1500 palavras, a rubrica de avaliação está aqui”. Na rubrica havia itens como “usa uma frase para introduzir o tema do parágrafo”, e o resultado era uma prosa extremamente formulaica
Não sei se isso formava grandes comunicadores, mas acho que funcionava muito bem para elevar pessoas muito ruins em comunicação até um nível mínimo básico. Também funcionava em algumas outras tarefas de escrita, em parte porque, quanto mais formulaico, mais os doutorandos exaustos que corrigiam gostavam
Um aluno suficientemente disciplinado pode acabar parecendo o ChatGPT, e o custo de uma acusação falsa é muito alto
Eu poderia colocar meu corpus de textos no ChatGPT e pedir para ele escrever no meu estilo
Ainda assim, às vezes ela me manda uma frase, e até agora acertei 100% das vezes se ela já tinha passado por IA antes. Quando você se acostuma com esse jeito de estruturar frases, fica muito fácil perceber. Se eu estivesse numa posição de autoridade, como a de professor, a parte mais difícil provavelmente seria provar isso
Estou achando difícil entender a maioria dos comentários aqui
No ensino médio, não podíamos usar celular durante a aula, então não dava para colar. Isso valia para folhas de exercício ou testes rápidos e também para provas de múltipla escolha, orais e dissertativas
Mas os tópicos principais falam como se fosse preciso redesenhar todo o sistema escolar, e muita gente propõe depender de provas orais e provas supervisionadas. Não entendo exatamente que problema isso resolveria além de uma simples prova OMR em sala de aula em que o professor confere se os alunos não estão usando celular
Em muitos lugares, especialmente nos EUA, quase não há provas supervisionadas, e uma parte bem grande da nota total é composta por trabalhos da disciplina. Com a digitalização da educação avançando de forma irreversível, chegamos à situação atual
No nível universitário, também existem projetos longos demais para serem concluídos em sala, como dissertações ou relatórios finais. Esses projetos sempre foram mais vulneráveis à redação por terceiros do que ao plágio, e você se surpreenderia com o quão comum isso realmente é, até em universidades de elite. Os LLMs apenas reduziram essa barreira e tornaram isso mais comum
Isso é um problema real, e as pessoas colam de maneiras muito mais sofisticadas do que se imagina à primeira vista
O celular não é a única forma de colar e, na verdade, pode até ser mais difícil de usar escondido do que alguns métodos antigos