Não é simplesmente X, é Y

• A construção de contraste negativo "It's not X, it's Y", muito usada por LLMs, é originalmente um recurso retórico útil para estabelecer contraste e reformular pressupostos existentes
• Com o uso excessivo por modelos recentes, essa construção passou a ser rotulada como má escrita, mas o valor de um recurso retórico muda conforme o conteúdo que ele carrega
• Detectores de IA e ferramentas como o Grammarly procuram esse tipo de padrão e provocam o paradoxo de fazer humanos reescreverem como humanos para que máquinas pareçam humanas
• Aponta-se o RLVR (aprendizado por reforço com recompensa verificável) como causa da disseminação dessa construção, ligado à forma como a linguagem usada pelo modelo ao chegar à resposta correta é reforçada
• Quando o próprio padrão linguístico vira alvo de avaliação, como na lei de Goodhart, a linguagem deixa de ser boa linguagem, e é preciso pensamento crítico em vez de depender do julgamento de máquinas

---

A construção de contraste negativo e a reação contra ela

• A construção de negative parallelism (paralelismo negativo) que atrai os LLMs serve para estabelecer contraste e é especialmente útil para reformular pressupostos, como em "você acha que é assim, mas na verdade é assado"
• Essa construção está disseminada nas redes sociais, especialmente no LinkedIn, e gerou reação dentro da guerra contra a produção automática de linguagem
  • uso de travessão longo, palavras como delve, quietly e genuinely, e listas de três itens são vistos com suspeita como sinais de bot
• Com o uso excessivo por modelos recentes, muita gente passou a classificá-la como escrita ruim, mas a frase de JFK, "não pergunte o que seu país pode fazer por você; pergunte o que você pode fazer por seu país", usa a mesma técnica, e ninguém a chama de escrita preguiçosa
  • um recurso retórico só será preguiçoso ou inspirador dependendo do conteúdo que transmite

O paradoxo da produção automática de linguagem e das ferramentas de detecção

• Detectores de IA dizem encontrar esses padrões para proteger contra caça às bruxas, mas, se você coloca seu texto no Grammarly, ele analisa padrões de palavras que um detector de IA marcaria e sugere revisões
  • isso equivale a dar ao Grammarly permissão para escrever no seu lugar, fazendo o texto perder ritmo e intenção
• Em uma seção, o Grammarly marcou 27 expressões para alteração
  • classificou "automated language production" como 11 vezes mais provável de ser IA e sugeriu trocar por "against mechanized language synthesis"
  • marcou "align with" como 43 vezes mais provável de ter sido gerado por IA e sugeriu que humanos usariam "corresponds"
  • pequenas sugestões se acumulam e o resultado vira um texto que você não escolheu; a máquina tentando soar humana substitui a voz humana
• Outra empresa de detecção de IA, a Pangram, recebeu $20 para verificar, antes do envio, que um artigo não havia sido gerado por IA
  • o pagamento não era para descobrir se o autor o havia escrito ou não, mas para receber a garantia de que não seria sinalizado; isso é descrito, na prática, como extorsão (extortion)
  • a Pangram categoriza autenticidade em quatro níveis de pontuação: high, very likely, somewhat likely e human

Uma cultura hostil ao raciocínio e o pós-treinamento

• O instinto de tentar entender máquinas leva a olhar os dados de treinamento, mas esses dados já não são mais "apenas a web"; a web é só matéria-prima fortemente processada
• O pós-treinamento (Post-training) otimiza o modelo para os objetivos com que foi projetado
  • RLHF (aprendizado por reforço com feedback humano): humanos classificam respostas, e o sistema passa a reforçar esse tipo de resposta
  • RLVR (aprendizado por reforço com recompensa verificável): ainda mais estranho, e suspeito de ser a causa da frequência da construção "It's not X, it's Y"
• Tratar essa linguagem como simplesmente preguiçosa atrapalha entender por que ela aparece em toda parte e leva a confundir uma estrutura poderosa para pensar com a capacidade de pensar do modelo
  • é atribuir à computação o mérito pelo que a linguagem fez

Como o RLVR funciona

• O RLVR não funciona monitorando palavras para acionar subprocessos; depois de treinado como um modelo geral, ele prevê tokens
  • prever tokens é criar uma lista de candidatos com base na distribuição matemática dos dados de treinamento e classificá-los pela probabilidade à luz das palavras anteriores
• O RLVR faz o modelo escrever, ao resolver problemas de matemática, o processo pelo qual chega à solução, reproduzindo a linguagem que usamos ao pensar em voz alta
  • quando ele chega à resposta certa, a linguagem mais usada nesse processo é reforçada no modelo final; isso é parte do que a indústria chama de reasoning (raciocínio)

• A analogia do "cachorro estranho"

  • imagine a situação em que o celular está desligado e um amigo pergunta: "Em que dia da semana foi que vimos aquele cachorro estranho?"
    • "Foi na quinta" → amigo: "Não, na quinta eu estava viajando" → "Então foi na quarta, quando estávamos indo para a festa de aniversário do amigo" → amigo: "Certo, mas a festa foi na sexta, então vimos na sexta"
  • os dois chegam, pela linguagem, à resposta correta, algo verificável por fotos; o primeiro impulso ("quinta") corresponde ao primeiro palpite em que modelos costumavam parar antes
  • diferentemente de duas pessoas com memória e experiência reais, o modelo só alonga a linguagem cada vez mais para reproduzir o padrão do raciocínio; ele não delibera por meio da linguagem, mas reencena a deliberação dentro da linguagem
• Palavras de alta entropia (high-entropy) como "suppose…", "because", "consider", "alternatively" e "wait" tendem a desencadear trechos especulativos mais longos
  • isso leva a uma linguagem que traz contraste, exceção e abstração, e passa a ser reforçada quando ajuda a chegar à resposta correta em problemas matemáticos

Por que raciocinamos

• O ponto de uma conversa como a do "cachorro estranho" não é identificar uma data no calendário, mas abrir a recordação, reconstruir a memória, saborear o contexto e aprofundar o vínculo entre amigos
• A definição de raciocínio usada nos LLMs pressupõe que o ponto central da pergunta é obter uma resposta, que essa resposta é verificável e que não há perda em encerrar tudo imediatamente
  • isso afeta a escrita na prática e, ao prototipar pensamento rapidamente com um modelo de linguagem, perde-se abertura à dúvida
  • ambiguidade, dúvida e incerteza são, em certos modos de pensar, mais importantes que uma resposta imediata
• Surge a dúvida se detectores de IA marcam textos como gerados por IA porque eles seguem padrões estruturais de raciocínio; tanto a Pangram quanto os modelos de raciocínio detectam padrões estruturais de como humanos escrevem enquanto raciocinam
  • o modelo da Pangram foi treinado com dados anteriores a 2021 e depois recebeu, no treinamento, versões geradas por IA dos mesmos textos
• Quando alguém é publicamente humilhado por parecer máquina, as pessoas passam a evitar, por medo, estruturas que internalizaram como "escrita de IA", o que sinaliza que a linguagem do raciocínio deve ser vigiada
  • no fim, isso nos afasta de estruturas que os modelos aprenderam de nós, isto é, ferramentas eficazes para argumentar, fazendo com que deixemos de lado ferramentas de pensamento crítico justamente quando mais precisamos delas

Quando a medição vira objetivo

• No Reino Unido, uma ferramenta de avaliação de redações com IA foi testada em comparação com corretores humanos
  • o sistema deu notas altas com base no tamanho do texto, amplitude de vocabulário e complexidade das frases, algo muitas vezes sem relação com padrões acadêmicos
  • essas características se parecem com traços do raciocínio por IA baseado em RLVR; isto é, LLMs dando notas a humanos com os mesmos critérios que engenheiros usam para avaliar LLMs
• A lei de Goodhart, na economia: "qualquer regularidade estatística observada tende a colapsar quando sofre pressão para fins de controle"; ou seja, quando a medição vira meta, ela deixa de ser uma boa medição
  • aplicada aos LLMs: "quando a medição da linguagem vira meta, ela deixa de ser boa linguagem"
• Avaliar padrões linguísticos em vez de conteúdo é perigoso, e tanto geração quanto detecção incentivam isso; a correção automática fica no meio desse processo
  • se você recompensa não o ato de raciocinar, mas a forma do raciocínio, essa forma se torna mais tentadora e comum; se pune a forma, corre-se o risco de punir o próprio raciocínio; por isso, não se deve delegar isso ao julgamento de máquinas e sim pensar criticamente em todos os casos

Contra o pensamento automatizado

• Não há concordância com a velha lógica de que "se você não fez nada de errado, não tem com o que se preocupar"
  • desde 2018, cita-se 99,8% de precisão para sistemas automatizados de vigilância, mas, segundo Arvind Narayanan, esse número se acumula cada vez que é usado no nível de um artigo individual
  • como resultado, até 10% dos universitários podem ser falsamente acusados; se todo texto passar por inspeção de IA, os falsos positivos ocorrerão em escala muito maior
• Esses modelos concentram poder real, e empresas prometem raciocinar em nosso lugar
  • quando alguém joga uma frase de duas linhas num interpretador de IA, publica o resultado online e diz "olha, é um plagiador", está normalizando algo perigoso
• A cultura de reescrita e autocensura sob pressão da detecção de IA é o oposto de proteger a expressão humana, e é preciso resistir à normalização da confiança na capacidade de máquinas declararem culpa
  • se escrever com IA é, no pior caso, a industrialização da mente, então a detecção de IA é, no pior caso, um sistema de vigilância sobre o pensamento

[GN⁺]

Comentários do Lobste.rs

• Se algum sistema automático rejeitar um artigo automaticamente só porque avaliou o texto como parecido com IA, isso seria um pesadelo; ainda bem que no meu trabalho não existe esse tipo de problema
  Gostei do ponto de que a linguagem de raciocínio não só faz a saída de um LLM parecer fluida e convincente, como também a faz funcionar em primeiro lugar, ou pelo menos funcionar melhor. Esse tipo de técnica também funciona bem com humanos, e é por isso que métodos como a análise dos 5 Porquês são eficazes
  Por outro lado, ainda acho que é preciso identificar textos preguiçosos e de baixa qualidade. Dá para fazer isso sem focar apenas em estrutura ou recursos de estilo. No meu caso, normalmente começo a ler um texto com boa vontade e, se depois de alguns parágrafos ainda for difícil entender o ponto central do autor, aí começo a procurar sinais típicos — e com bastante frequência acabo encontrando

• Texto interessante, mas na prática eu distinguiria entre um texto para raciocinar sobre algo e um texto finalizado escrito para comunicar depois que esse raciocínio termina
  No exemplo, durante o processo de pensar você pode dizer “foi quarta-feira, não quinta”, mas ao mandar uma mensagem para outra pessoa acabaria simplesmente escrevendo “foi quinta-feira”
  Então, em relatórios ou e-mails do meio acadêmico ou do trabalho, que são os produtos reais, provavelmente não se usaria a linguagem usada para raciocinar sobre o tema e, se estiverem bem escritos, eles não deveriam parecer texto de LLM. Rascunhos ou notas pessoais podem ser assim, mas a versão final enviada não

  • Mas e se o próprio produto formal for o processo de raciocínio? Já escrevi várias vezes documentos em que o processo de raciocínio era parte essencial, ou até a totalidade, do texto

• Sou bastante crítico em relação à IA generativa, mas acho que ela pode ser útil na redação acadêmica para pesquisadores cuja língua materna não é o inglês refinarem seus textos
  Ainda assim, é preciso ter um rascunho quase pronto e bem estruturado; se você fornecer só tópicos soltos, o resultado tende a trazer alucinações ou expressões duras e pouco naturais
  Como nos últimos anos avaliei muitos artigos fracos vindos de países como China e Índia, percebi que acabei desenvolvendo um certo viés contra expressões idiomáticas de inglês de não nativos que aparecem com frequência entre autores desses países. O triste é que alguns dos melhores artigos que já revisei também vieram desses mesmos países
  Nesse sentido, já que o inglês se tornou a língua padrão da academia, os LLMs também podem ajudar a padronizar um alto nível de linguagem e a reduzir o viés no processo de revisão

  • Não consigo aceitar de forma alguma essa lógica de que usuários não nativos de inglês possam usar LLMs para polir seus textos. Artigos precisam ser precisos e refletir exatamente a intenção do autor
    Instituições com muitos funcionários cuja língua materna não é o inglês normalmente têm consultores de redação que não apenas produzem boas frases, mas, mais importante, verificam se o que foi escrito corresponde à intenção do autor. Se isso for deixado para um LLM, o sentido pode mudar sutilmente e, por causa de erros factuais ou formulações imprecisas, o resultado pode acabar sendo pior para o autor
    Instituições que não oferecem esse tipo de apoio linguístico acabam criando um ambiente desfavorável para seus funcionários, e pesquisadores independentes muitas vezes já estão em desvantagem por outros motivos
    Até certo ponto é difícil evitar vieses inconscientes em relação a expressões típicas de não nativos, mas em revisão de artigos eu costumava dar bastante margem de boa-fé quando os problemas de linguagem eram evidentes, e deixava observações pedindo revisão dos trechos que considerei pouco claros por causa disso. Isso é algo que precisamos monitorar conscientemente
    Um uso limitado da língua pode até obscurecer ideias, metodologia e resultados em certa medida, mas os LLMs podem, como aconteceu em artigos que de fato revisei, estragar isso com informações factualmente incorretas, o que no fim exige contestação e correção, ou até leva à rejeição imediata do artigo. Como existem formas melhores de lidar com esse problema, não se deveria recomendar o uso de LLMs
    Além disso, ainda é uma questão em aberto se isso constitui plágio ou não. É um debate muito maior, e muitas vezes nem mesmo os fatos básicos estão consensualmente estabelecidos. Algumas conferências e periódicos proíbem esse tipo de auxílio de LLM por esse motivo, e essas regras também devem ser respeitadas
  • O problema maior é que agora, por causa da histeria em torno de saber se foi um LLM que escreveu ou não, as pessoas estão sendo praticamente forçadas a evitar um estilo natural de escrita
    Ironicamente, as empresas não perderam tempo em monetizar essa histeria: estão ganhando dinheiro usando LLMs para decidir se um texto foi mesmo escrito por um humano e se tornando árbitras do que é uma escrita aceitável
    O autor tem razão ao dizer que, se as pessoas pararem de olhar preguiçosamente só para o estilo e começarem a se envolver de verdade com o conteúdo, todo esse problema desaparece