Detectores de IA que acusam alunos injustamente de cola — com grandes consequências
- Cerca de dois terços dos professores relatam usar regularmente ferramentas para detectar conteúdo gerado por IA. Nessa escala, mesmo uma pequena taxa de erro pode se acumular rapidamente.
O caso de Moira Olmsted
- Moira Olmsted, que havia interrompido temporariamente a faculdade no início da pandemia para começar uma família, queria muito voltar aos estudos.
- Em 2023, ela se matriculou em um curso online da Central Methodist University, mas recebeu nota zero quando uma ferramenta de detecção indicou que seu trabalho poderia ter sido gerado por IA.
- Olmsted afirmou que, por estar no espectro autista, escreve de forma mais formal, o que pode ter levado o texto a ser confundido com algo gerado por IA.
- A nota acabou sendo alterada, mas ela recebeu um aviso severo de que, se fosse apontada novamente, isso seria tratado da mesma forma que plágio.
Problemas de precisão dos detectores de escrita por IA
- Os melhores detectores de escrita por IA são bastante precisos, mas não são perfeitos.
- A Businessweek testou o GPTZero e o Copyleaks com uma amostra de 500 redações de candidatura universitária enviadas pouco antes do lançamento do ChatGPT.
- Os serviços marcaram incorretamente 1% a 2% das redações como possivelmente escritas por IA.
- Os estudantes afetados por falsos positivos tendem a ser neurodivergentes, usuários de inglês como segunda língua ou pessoas ensinadas a usar vocabulário simples e estilo mecânico.
- Às vezes, os serviços de detecção de IA podem ser enganados por ferramentas automatizadas projetadas para disfarçar textos de IA como se fossem humanos.
O caso de Ken Sahib
- Ken Sahib, estudante multilíngue que passou a maior parte da infância na Itália, disse que foi "arrasador" receber nota zero em um resumo de leitura de uma disciplina de redes na Berkeley College.
- O professor afirmou que todos os instrumentos deram o mesmo resultado e sustentou que o texto havia sido gerado por IA.
- Sahib acabou passando na disciplina, mas o episódio prejudicou sua relação com o professor.
Problemas causados pelo uso de detectores de IA
- Embora alguns educadores estejam recuando no uso de detectores de IA e tentando integrar a IA ao processo educacional, muitas universidades e escolas de ensino médio ainda utilizam essas ferramentas.
- Isso tem espalhado ansiedade e paranoia nas salas de aula diante da possibilidade de acusações falsas.
- Alunos de graduação dizem gastar muito tempo defendendo a autenticidade de seus trabalhos, o que piora a experiência de aprendizagem.
- Eles também passaram a temer o uso de serviços comuns de assistência à escrita com IA e corretores gramaticais amplamente divulgados ao público estudantil.
Startups de detecção de IA
- Detectores de escrita por IA normalmente analisam a perplexity, que mede a complexidade das palavras em um texto enviado.
- Empresas de detecção de IA enfatizam que seus serviços não devem ser tratados como juiz, júri e executor, mas sim usados como um ponto de dado para orientar e informar os professores.
- A Copyleaks está dando aos estudantes acesso ao serviço para que possam ver sua própria pontuação de IA.
- A Turnitin está expandindo seu portfólio de produtos de IA com um serviço que ajuda os alunos a mostrar o processo de construção de seus textos.
Como os estudantes estão reagindo
- Depois de ser acusada, Olmsted passou a agir de forma obsessiva para evitar outra acusação. Ela gravava a tela enquanto fazia tarefas de escrita no notebook e usava o Google Docs para rastrear alterações e criar um rastro digital.
- Nathan Mendoza, aluno do terceiro ano de engenharia química na UC San Diego, usa o GPTZero para verificar previamente seus trabalhos. Ele diz que passa a maior parte do tempo ajustando a redação para evitar ser marcado injustamente por detectores de IA.
- Outros estudantes aceleraram esse processo usando serviços de "humanização de IA", capazes de reescrever automaticamente os textos para que passem pelos detectores.
Serviços de "humanização de IA"
- Segundo o teste da Bloomberg com o Hix Bypass, uma redação escrita por humano que o GPTZero classificou incorretamente como 98,1% IA caiu para 5,3% após ser alterada por esse serviço.
Problemas com o uso de ferramentas de apoio à escrita, como Grammarly
- Os estudantes passaram a repensar o uso de ferramentas populares de apoio à escrita online, como o Grammarly.
- A Bloomberg descobriu que, ao usar o Grammarly para "melhorar" uma redação ou fazê-la "soar acadêmica", um trabalho que passava como 100% escrito por humano passava a ser marcado como 100% escrito por IA.
- Kaitlyn Abellar, da Florida SouthWestern State College, disse que removeu do computador plugins de programas como o Grammarly.
Um sistema atual que não é sustentável
- Para alguns educadores e estudantes, o sistema atual parece insustentável por causa da carga imposta aos dois lados da mesa do professor e porque a IA continuará existindo.
- Adam Lloyd, professor de inglês da University of Maryland, afirmou que "a inteligência artificial fará parte do futuro, gostemos disso ou não" e que "é um erro pensar em isolar a IA da sala de aula ou impedir que os alunos a usem".
Opinião do GN⁺
- O problema dos falsos positivos em ferramentas de detecção de IA pode afetar de forma especialmente grave estudantes neurodivergentes, aprendizes de inglês e alunos que usam estilo de escrita simples. Instituições de ensino devem levar esses grupos em consideração e interpretar com cautela os resultados desses detectores.
- A corrida armamentista entre detectores de IA e serviços de humanização de IA prejudica a confiança entre educadores e alunos e oferece pouco benefício educacional. Buscar formas de integrar a IA ao processo de ensino pode ser uma abordagem melhor no longo prazo.
- Em vez de proibir o uso de ferramentas como Grammarly para melhorar a escrita dos estudantes, vale considerar maneiras de usá-las pedagogicamente. Por exemplo, professores podem fornecer listas de ferramentas recomendadas ou orientar sobre formas adequadas de uso.
- O fato de empresas de detecção de IA, como Copyleaks e Turnitin, estarem tentando desenvolver serviços mais amigáveis para estudantes é uma mudança positiva. Ainda assim, é preferível lidar com casos suspeitos por meio de comunicação aberta com os alunos, em vez de depender excessivamente dessas ferramentas.
- Para se preparar para um futuro em que a convivência entre IA e humanos será inevitável, é importante ensinar aos estudantes o uso ético de ferramentas de IA e desenvolver sua capacidade de pensamento criativo e crítico. Para isso, serão necessárias mudanças inovadoras no currículo e nas formas de avaliação.
1 comentários
Comentários do Hacker News
Com base em 30 anos de experiência ensinando matemática no ensino superior, a cola é generalizada em provas remotas. A solução é impedir o uso de tecnologia e exigir provas presenciais, mas os alunos deixariam de se matricular nas disciplinas. Acho que o conselho de ensino superior deveria tornar isso obrigatório para todas as matérias. No entanto, apenas provas presenciais não bastam. Os alunos se acostumaram a fazer tarefas para passar, e não para aprender, e a cola está aumentando. A educação básica também precisa mudar.
Como a IA vai continuar existindo, são necessárias novas formas de avaliar o desempenho dos alunos. No passado, calculadoras eram proibidas em provas porque não podiam ser usadas, mas agora vivemos numa era em que se pode usar uma calculadora 24/7. Precisamos nos adaptar à mudança e decidir coletivamente como a sociedade deve responder.
O problema é não explicarem ao aluno por que a IA sinalizou o trabalho. O algoritmo deveria ser capaz de explicar exatamente por que sinalizou determinado trabalho. As soluções atuais baseadas em IA não conseguem fazer isso, por isso não são adequadas.
A professora de um aluno avisou que verificaria todas as redações com um software de detecção de IA, mas o próprio aviso acabou sendo identificado como gerado por IA.
Como consultor que trabalha em um grande hospital universitário, uso o ChatGPT para deixar meu inglês mais conciso e mais voltado aos negócios. Detectores de IA podem funcionar, mas não são tão úteis quanto um corretor ortográfico. IA é apenas um modelo de linguagem de grande porte e, na verdade, nem é um modelo. O professor precisa ser um bom detector de mentiras.
Se a detecção de IA não for 100% precisa, então não é apropriada para julgar o futuro de milhões de estudantes e jovens. Precisamos nos afastar da tecnologia ou do formato de redação. Os critérios de domínio sobre um tema precisam mudar.
Identificar trabalho gerado por IA pode ser fácil para humanos, mas é difícil programar isso em um computador. Ao lidar com detectores de plágio em um emprego anterior, percebi como eles podem ser facilmente enganados.
É contraditório um professor usar um detector de LLM para reprovar um aluno. O professor acusa o aluno de não entender a tarefa, mas o próprio professor também não entende a decisão da ferramenta e foge da responsabilidade.
Na escola dos meus filhos, instalaram scanners de armas com IA, mas eles identificam os notebooks Lenovo fornecidos pela escola como armas. Compram e confiam em produtos de IA, mas eles não funcionam direito.
Surpreende que as pessoas tenham passado a confiar em algoritmos. Não sabem como funcionam, não conseguem explicar, mas acreditam que simplesmente funcionam. Se alguém for considerado culpado de cola, não há nada que possa fazer. Há muitas pessoas que não assumem responsabilidade. Antes, alguém podia ser suspeito de cola, mas, se não fosse possível provar, isso não importava. Agora não é mais preciso provar nada; basta acreditar que existe um sistema.