Ferramentas de detecção de IA não conseguem confirmar se este texto foi escrito por IA [Artigo traduzido]

1. A questão: com a geração de texto por IA cada vez mais fácil, a pressão por detecção também explodiu

   • Qualquer pessoa pode produzir textos com ChatGPT e afins, mas escolas, empresas e clientes vêm confiando cegamente em detectores de IA, o que aumenta rapidamente os casos em que textos humanos são confundidos com IA (falsos positivos).
   • O texto original aponta a pressão de “distinguir textos realmente humanos em meio à enxurrada de conteúdo de IA” e enfatiza que o excesso de suspeita intimida os criadores.

2. Como funcionam as ferramentas de detecção de IA

   • A maioria analisa perplexity (imprevisibilidade) e burstiness (variação no comprimento e na complexidade das frases) para pontuar padrões típicos de IA, como estruturas repetitivas ou monótonas e tom homogêneo.
   • Ferramentas como GPTZero calculam “probabilidade de geração por IA: XX%” com base na distribuição de probabilidades por frase, mas isso é apenas uma estimativa estatística, não uma prova 100% conclusiva.

3. Limites de desempenho: a realidade vista em pesquisas e experimentos

   • Em testes de benchmark, a precisão varia bastante, ficando em torno de 60% a 90%; com IAs mais avançadas, como o GPT-4o, ou textos editados por humanos, pode cair para menos de 50%.
   • Só com tradução (passando pelo Google Translate) ou paráfrase (usando QuillBot), é frequente ver casos em que “100% IA” vira “0% IA”; em textos em coreano e em outros idiomas que não o inglês, a fragilidade é ainda maior.

4. Risco prático: o desastre causado por falsos positivos

   • Já há casos reais em que estudantes foram punidos por “má conduta” com base apenas no resultado do detector em trabalhos universitários, e clientes corporativos cancelaram contratos alegando “uso de IA”.
   • Até a posição oficial da OpenAI afirma que “não existem ferramentas confiáveis de detecção de IA”, e o texto original usa isso para alertar fortemente que “resultado de detecção ≠ prova legal”.

5. Resumo rápido das características de cada ferramenta

   • GPTZero: focada no ambiente educacional, fornece relatórios por parágrafo com análise de perplexity e burstiness. (Limitação: muitos falsos positivos em textos reescritos)
   • Originality.ai: verifica IA + plágio ao mesmo tempo, com pontuação detalhada e destaques. (Limitação: pago, e a porcentagem pode induzir confiança excessiva)
   • Crossplag: suporte multilíngue com base em ML, forte no mercado acadêmico. (Limitação: grande variação por domínio e fragilidade diante de tradução)
   • Outros (QuillBot, Grammarly AI Detector): mistura de opções gratuitas e pagas, com foco em varredura rápida. (Limitação comum: fracos contra IAs avançadas ou textos editados)

6. Dicas práticas: uma abordagem além do detector

   • Use o detector apenas como “sinal de alerta” e confirme a autoria por meio do processo de escrita (histórico de rascunhos, registro de versões no Git), metadados e entrevistas.
   • Em termos de política, o ideal é definir claramente o escopo permitido de uso de IA (por exemplo, “IA apenas para gerar ideias, texto principal escrito por humano”) e que o autor divulgue isso com transparência.

7. Estratégia de proteção para autores: acumular evidências em vez de truques

   • Em vez de recorrer a truques de “humanização” para escapar da IA (como trocar sinônimos), recomenda-se manter timestamps de digitação e logs de edição, além de variar o estilo com marcas pessoais, humor etc.
   • Do ponto de vista de leitores e avaliadores, a recomendação é não tratar uma pontuação como “93% IA” como prova absoluta, e sim adotar verificação múltipla (várias ferramentas + revisão humana).