- O AI Classifier foi lançado como uma ferramenta para identificar textos escritos por IA generativa, como o ChatGPT, mas foi descontinuado após cerca de meio ano devido à baixa precisão
- O encerramento não foi anunciado separadamente, mas apenas por meio de uma nota adicionada à postagem de blog que havia apresentado a ferramenta pela primeira vez, e o link para o classificador também não está mais acessível
- Já no lançamento, a OpenAI informou que esse classificador "não era totalmente confiável", identificando corretamente apenas 26% dos textos escritos por IA e classificando erroneamente 9% dos textos humanos como se fossem de IA
- Havia limitações como menor confiabilidade em textos com menos de 1.000 caracteres, classificação incorreta de textos humanos e queda de desempenho fora dos dados de treinamento
- A área da educação demonstrou interesse especial no tema, devido à preocupação com estudantes usando o ChatGPT para escrever redações, e é importante reconhecer as limitações e os impactos dos classificadores de texto gerado por IA
Encerramento do AI Classifier
- O AI Classifier foi discretamente descontinuado na semana passada devido a uma "baixa precisão (low rate of accuracy)"
- A explicação veio não em um novo anúncio separado, mas apenas em uma nota adicionada à postagem de blog que havia anunciado a ferramenta originalmente
- O link que levava ao classificador da OpenAI também não é mais disponibilizado
Contexto do lançamento e desempenho inicial
- Em janeiro, a OpenAI apresentou a ferramenta para detectar se um conteúdo havia sido criado por IA generativa, como o ChatGPT
- Ela foi lançada com a alegação de que poderia diferenciar textos escritos por humanos e por IA, mas mesmo na época já trazia a observação de que "não era totalmente confiável"
- Foram divulgados os resultados de avaliação em um "challenge set" de textos em inglês
- 26% dos textos escritos por IA foram corretamente identificados como "alta probabilidade de terem sido escritos por IA"
- 9% dos textos escritos por humanos foram incorretamente classificados como se tivessem sido escritos por IA
Limitações do AI Classifier
- Baixa confiabilidade em textos com menos de 1.000 caracteres
- Classificava incorretamente textos escritos por humanos como se fossem produzidos por IA
- O classificador baseado em rede neural tinha baixo desempenho em áreas fora dos dados de treinamento
Próximos passos da OpenAI
- A empresa afirma estar incorporando feedback e pesquisando técnicas mais eficazes de proveniência (provenance) para textos
- Também prometeu desenvolver e implementar mecanismos para que usuários possam identificar se conteúdos de áudio e vídeo foram gerados por IA
Educação e demanda por detecção de IA
- Desde o lançamento do ChatGPT em novembro, educadores vêm demonstrando preocupação com o uso indevido da ferramenta por estudantes para escrever redações
- Embora reconheça que a identificação de textos por IA se tornou um tema importante entre educadores, a OpenAI enfatiza que é igualmente importante entender as limitações e os impactos dos classificadores de texto gerado por IA na sala de aula
- Ferramentas de IA cada vez mais sofisticadas surgem quase diariamente, formando uma indústria artesanal (cottage industry) de detectores de IA
- A Decrypt ainda não recebeu resposta ao pedido de comentário
1 comentários
Comentários do Hacker News
Ainda bem que fizeram isso, mas obviamente deveriam ter avisado
É surpreendente haver tanta gente no ecossistema que acredita ser possível determinar se algo foi escrito por IA olhando apenas para um texto de poucas frases. Ainda mais absurdo é que pessoas em posições de autoridade realmente confiem e ajam com base no veredito de ferramentas de “escrito por IA vs escrito por humano” que, na prática, não podem garantir isso
Espero que isso sirva como mais um exemplo de que simplesmente não dá para determinar se uma string foi produzida por um LLM ou não
Esse tipo de modelo está fadado ao fracasso desde o início, a menos que seus parâmetros sejam mantidos em segredo absoluto e nunca vazem. Mesmo que sejam secretos, isso só significa que quem tem acesso pode enganá-lo e os demais não, então no fim a outra parte também terá incentivo para criar seu próprio modelo, levando a uma corrida armamentista sem fim
A verdadeira solução deveria ser a necessidade de ferramentas melhores para identificar automaticamente bom conteúdo, tenha sido ele escrito por humanos ou por IA. Se isso se tornar possível, será de grande ajuda e, mesmo que vire uma competição, será uma disputa para produzir conteúdo de maior qualidade
Um “detector” tem pouquíssima informação, e o único critério minimamente razoável é algo como estilo de escrita. O ChatGPT até tem um certo estilo, mas ele definitivamente não é o único, e, conforme melhora, por definição passa a escrever bem em uma variedade maior de estilos
Se o problema é que as pessoas a usam de forma errada, isso se parece mais com uma ferramenta que não foi projetada para o uso de que as pessoas precisam. Por exemplo, se o problema é usá-la incorretamente quando há poucas frases, bastaria incluir uma condição como um número mínimo de frases para garantir uma confiabilidade mínima
O mesmo vale para a forma de apresentar o significado. Se as pessoas não entendem estatística ou matemática, dá para mostrar o significado de forma visual, com círculos ou moedas. Tirar a opção não parece uma coisa boa, especialmente quando isso é feito com cinismo, tratando as pessoas como se não fossem dignas de tê-la
Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]
Ótimo. Se não é confiável, sua existência causa mais dano por dar uma falsa sensação de segurança
Um exemplo parecido: a pizzaria de entrega do bairro onde eu trabalhava lacrava as caixas com adesivos de segurança para impedir que os entregadores mexessem ou comessem algo. Só que, por motivos logísticos, às vezes esqueciam disso. As caixas sem adesivo começaram a ser todas devolvidas pelos clientes, preocupados se algum pepperoni teria sido roubado, e pouco depois o sistema foi encerrado
É parecido com o fato de que, se esquecessem o lacre de segurança em um frasco de aspirina, ninguém diria que, como alguém deixou de lacrar um frasco durante a produção, o melhor seria remover todos os lacres
Esta ferramenta tem incentivado um enorme número de falsas acusações no meio acadêmico. Minha esposa está no doutorado e frequentemente me conta histórias de professores acusando injustamente alunos de terem usado ChatGPT
Pelo que ouvi recentemente, alguns professores estão exigindo que os alunos entreguem a lição de casa pelo Google Docs, para verificar, pelo histórico de edições, se escreveram o texto inteiro por conta própria ou se colaram uma redação pronta e só a editaram.
Claro que um aluno esperto facilmente descobriria como fazer streaming da saída do GPT para o Google Docs. Também poderia ir “editando” aqui e ali para parecer que está revisando.
Um aluno inteligente e sem ética é praticamente indetectável, não importa o obstáculo que você coloque. Isso só barra os alunos menos espertos.
Qualquer um pode criar um agente que digite lentamente no Google Docs um texto feito pelo ChatGPT. O Google também poderia avaliar a probabilidade de um documento ter sido digitado por um humano, mas não fará isso pelo mesmo motivo que levou a OpenAI a encerrar essa ferramenta.
Alguém vai ver esta notícia ou esta thread e criar um editor ou avaliador desse tipo. Outra solução seria gravar a tela enquanto se escreve. A melhor solução — e a mais difícil para educadores — é não exigir nem avaliar aquilo que robôs conseguem fazer melhor do que a maioria dos humanos.
Mas não é muito boa. Projetos feitos em casa avaliam um conjunto diferente de habilidades, e algumas pessoas se saem melhor em um formato, enquanto outras se saem melhor no outro. Ainda assim, a realidade é a realidade.
Se houver mais de 30 alunos, é pouco provável que o professor verifique o histórico de edições de cada um.
Cheguei exatamente à mesma conclusão — “meio ano depois, a ferramenta morreu, porque não conseguia cumprir o propósito para o qual foi projetada” — ao testar detectores de imagem.
A detecção automática atual não é muito confiável. Testei o AI or Not, da Optic, que afirma ter 95% de precisão, em algumas imagens minhas. Ele marcou corretamente como geradas por IA as imagens que continham conteúdo de IA, mas também marcou como geradas por IA cerca de 50% das composições com fotos de banco de imagens que eu mesmo fiz.
Se a IA generativa não fosse um alvo em movimento, eu seria otimista de que essas ferramentas evoluiriam e se tornariam muito confiáveis. Mas a realidade não é essa, e tenho dúvidas de que isso algum dia vire uma solução confiável.
Isso vem do meu artigo sobre arte com IA: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...
Pela minha experiência, quando uma resposta do ChatGPT era classificada por ferramentas como o ZeroGPT como gerada por IA, bastava mudar um pouco o prompt e instruí-lo a não soar como algo escrito por IA para contornar a detecção com probabilidade muito alta.
Além disso, se eu pedisse para gerar a resposta no estilo de algum escritor famoso, muitas vezes ela aparecia como 100% escrita por humano na maioria dos modelos detectores de IA.
Parece que atualizações recentes mudaram bastante o tom do ChatGPT, e agora ele não aparece mais no radar dos detectores.
Ótimo. Também acho que colocar marca-d'água em saídas de IA é um beco sem saída. É melhor presumir que todo conteúdo é falso até prova em contrário.
Se você precisa de uma foto confiável, parece melhor assinar criptograficamente a imagem em nível de hardware no momento em que ela é capturada. Colocar voluntariamente marca-d'água em conteúdo de IA é completamente inútil.
Eu trabalho no setor de SEO e conversei com alguns “figurões”, que acreditavam que uma atualização de IA do Google estava sendo preparada. Do jeito que está, em um futuro próximo os resultados de busca serão completamente tomados por conteúdo de IA.
No longo prazo, acho uma jogada tola, mas atualmente existem classificadores/detectores de IA que identificam ChatGPT e outros modelos com bastante sucesso em textos longos. O Originality.ai é um exemplo representativo.
O método é bem simples: gerar uma quantidade enorme de exemplos a partir de modelos importantes, como ChatGPT, GPT-4 e LLaMA, e então criar um modelo classificador.
A fraqueza óbvia dessa estratégia é que o fine-tuning muda a saída estilística. Esse mesmo “figurão” disse que conseguiu contornar o detector da Originality.ai com seu próprio método de fine-tuning, e que isso exigiu meses de testes e milhares de dólares.
O estado atual do Google é um desastre. Todo artigo tem 100 parágrafos, e a resposta que você procura fica enterrada lá pelo meio para aumentar o tempo de permanência e a rolagem, satisfazendo o algoritmo.
Estou esperando o Google afundar todos esses sites de spam.
Muitos comentários aqui parecem achar que classificar, de forma prática, textos gerados por humanos e por IA vai se tornar impossível, porque essas tentativas podem ser neutralizadas de várias maneiras em um jogo interminável de gato e rato.
Aceitando isso, o desafio que eu prevejo é o seguinte:
Estamos apenas no comecinho da revolução da IA, e, para que os LLMs se tornem mais sofisticados e poderosos daqui para frente, eles precisarão de dados de treinamento de alta qualidade, gerados por humanos ou selecionados por humanos. A escala provavelmente será grande demais para seleção, limpeza e controle de qualidade manuais.
E não há dúvida de que, daqui para frente, todas as mídias serão bombardeadas e transformadas em spam por conteúdo gerado por IA.
Então, para treinar LLMs futuros e liberar seu potencial, como filtrar dados reais do ruído gerado por IA?
Esse problema vem me incomodando há algum tempo e, por falta de uma expressão melhor, em outra ocasião eu o chamei provisoriamente de contaminação de dados. Tenho curiosidade sobre outras perspectivas.
A única forma de impedir que a IA responda a perguntas em plataformas digitais seria criar um banco de dados de aprendizado de máquina com o estilo de digitação acumulado de cada estudante ao longo de todo o período em que frequenta uma instituição.
Boa sorte para conseguir essa aprovação. Os departamentos só conseguem acesso até mesmo a dados de notas ou demográficos depois que o grupo operacional passa por um processo de comitê de três níveis.
¯_(ツ)_/¯ Então só resta usar papel. Chegou a hora de treinar OCR de novo.
Só que quem tem mais dados reais de estilo de digitação são Google, Microsoft, Meta e todas as empresas que operam SaaS de documentos, e-mail e mensagens. Muitos estudantes provavelmente escrevem redações em lugares como Google Docs e Word, e depois enviam como anexo ou copiam e colam em uma caixa de texto.