Vários Cheiros de LLM
(shvbsle.in)- Escrita assistida por LLM inicialmente melhorava o vocabulário e a estrutura das frases, sem parecer texto ruim gerado por IA, mas alguns meses depois os mesmos traços começaram a se repetir por toda a internet
- Na escrita, frases de conclusão forte e sequências de frases curtas aparecem com frequência, e afirmações condensadas como “Symmetry becomes a trap.” surgem como padrão recorrente
- A estrutura “X is the Y of Z” e expressões de contraste próximas de “não apenas X, mas Y” também são apontadas como cheiros textuais reconhecíveis em textos feitos por LLM
- Em sites gerados por IA, a fonte JetBrains Mono, composições em etapas, listas com marcadores semelhantes e o ponto piscante em certos botões, cartões e badges aparecem como elementos recorrentes
- O ponto central não é se opor ao uso de LLM/IA na criação, mas observar padrões detectados repetidamente na escrita e em sites
Cheiros que aparecem repetidamente no uso de LLM
- Quando usou um LLM no fim do ano passado para lapidar um post de blog sobre matemática, o vocabulário e a estrutura das frases melhoraram, sem dar a sensação de texto ruim produzido por IA
- Cerca de 3 meses depois, a mesma estrutura de frases começou a aparecer repetidamente por toda a internet, parecendo um traço reconhecível em trabalhos assistidos por IA de forma geral
- Os exemplos na thread do HN mostram esses “cheiros de IA” recorrentes em duas áreas: escrita e sites
Padrões recorrentes vistos na escrita e em sites
-
Escrita com LLM
- Frases de conclusão forte aparecem com frequência excessiva
- “Humans trust symmetry because it feels like intelligence made visible.”
- “The Tiger fit the story. Jin-yong fit the physics.”
- “Symmetry becomes a trap.”
- Sequências de frases curtas são usadas repetidamente
- “Yet the tilt is not an accident. It is the shape of the optimum.”
- “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
- “These examples are not decorative. They form a distributed argument.”
- A estrutura de frase no formato “X is the Y of Z” aparece com frequência
- “Cringe is the visible signature of moving along a gradient you chose.”
- Expressões de contraste próximas de “não apenas X, mas Y” também se repetem
- “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”
- Frases de conclusão forte aparecem com frequência excessiva
-
Sites gerados por IA
- A fonte JetBrains Mono aparece repetidamente
- Páginas diferentes exibem a mesma composição em “step” com a mesma fonte e listas com marcadores semelhantes
- Certos botões, cartões e o ponto piscante dentro de badges também parecem elementos recorrentes em sites gerados por IA
-
Pontos de atenção
- Não se trata de se opor ao uso de LLM/IA em trabalhos criativos, mas de uma observação que reúne padrões detectados repetidamente
1 comentários
Opiniões do Hacker News
Os LLMs tendem a parecer especialmente bons quando fazem coisas que eu não consigo fazer. Se, em alguma área específica, você sente que a saída de um LLM é muito melhor do que a sua, há uma boa chance de você não ter capacidade suficiente para avaliar essa qualidade direito
Um lado diz: “A IA cria código que eu jamais conseguiria escrever, resolve de uma vez algo que me levaria dias e aumentou minha produtividade em 10x”; o outro diz: “A IA continua produzindo código péssimo, precisa ser retrabalhado, comete erros e precisa ser vigiada, e no fim só faz eu perder tempo”. Se a saída do mesmo produto parece tão diferente assim, há más notícias para o primeiro grupo
Por outro lado, quase não escrevo código e só trabalhei com isso uma vez na vida, mas quando o Claude cospe código em poucos segundos eu me sinto um super-humano prestes a virar bilionário. Aí eu lembro que o Claude nem consegue escrever um texto legível, e que eu sei escrever bem mas não sei programar, apago o código e volto a fazer algo que dá mais dinheiro
Acho que eu não diria isso há um ano. Eles ainda produzem bobagem plausível de um jeito que até especialistas têm dificuldade para perceber, então é preciso vigiá-los como um falcão, mas os dados internos estão cada vez mais inclinados para o lado do correto e útil, em vez do errado e inútil
Um livro por mês nem é uma meta alta. Nem precisa ir até Melville, Hemingway, Chaucer ou Shakespeare; basta pegar qualquer best-seller do NYT e já será muito melhor do que qualquer texto que um LLM consiga gerar
LLM prefere estilos codificados, tipo “livro didático/manual técnico”, talvez porque isso o torne mais útil para humanos. Mas escrita humana não é só produzir a frase mais elegante; às vezes um ótimo texto pode ser algo como este meme de desenho de cachorro: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...
Expressões como “honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:” e “The smoking gun:” parecem um forte cheiro de LLM
Isso vale especialmente para frases que começam com “The ___:”, para usar “load bearing” fora de contexto de arquitetura, “blast radius” sem falar de explosão de verdade, usar “smoke test” quando “sanity check” faria mais sentido, aquela estrutura de listar três itens em que o terceiro só combina os dois anteriores, chamar coisas metaforicamente de “shape”, e posts sociais que terminam com “Curious if anyone…”. Também aparece bastante em anedotas usar “Oh. Oh.” com o segundo Oh em itálico
Parte disso são termos que desenvolvedores realmente usam, mas vale questionar a frequência real, e mesmo a prosa dos modelos mais recentes ainda deixa esse tipo de rastro
load bearing, em especial, era uma expressão bem comum em conversas cotidianas de operações. Já “smoke test” eu nunca vi ser usado na vida real
Os padrões reunidos pela Wikipedia também estão bem documentados: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Tudo vira escape hatch.
try/catché escape hatch, flag de CLI é escape hatch. Não faz sentido, e acabou indo parar no meu arquivo Markdown de “palavras e frases proibidas”A uniformidade da escrita com LLM é ruim. Usar LLM para ajudar a escrever é bom, mas é melhor não colocar no texto final nem uma única palavra gerada pelo LLM, nem que seja só um ajuste de vocabulário
É útil pedir que ele critique a estrutura e o fluxo, e que encontre palavras repetidas em excesso, voz passiva e escolhas idiotas de frases-tema. Esse tipo de coisa melhora o texto de forma objetiva sem estragar o estilo
Já na web design, a uniformidade do LLM é boa. A maioria dos sites não precisa se esforçar para ser peculiar. Um bom design para um site prático é legibilidade, e nisso o LLM é melhor do que o desenvolvedor médio. Não tem problema continuar usando o mesmo posicionamento de botões e o mesmo sistema de tamanhos de fonte. Se me parece bonito, é bem provável que tenha ficado melhor do que se eu tivesse feito sozinho, e muito provável que sozinho tivesse ficado pior
O GPT-5.x é especialmente ruim nisso. Por exemplo, se você pede um dashboard, ele espalha um monte de números e pedaços de texto por todo lado, e na maioria das vezes é só a mesma coisa dita duas vezes. Claro, isso provavelmente não é um problema essencial da estrutura em si e pode acabar sendo corrigido em breve; também dá para obter um bom resultado se você preparar todo o texto primeiro e só depois pedir para montar o site
Em escrita, usar LLM ainda parece muito estranho. Talvez preencher formulários idiotas seja uma exceção. Já vi colaboradores usando LLM em documentação técnica, e quase sempre era uma bobagem limítrofe com estética de algo correto. Em escrita criativa, usar muito LLM dá a sensação de que o próprio propósito desaparece
Ainda não usei para revisar meus textos, mas fico curioso se é tão bom assim
Quando penso em alguém escrevendo algo importante para uma pessoa amada, ou sobre ela, e enfiando no meio aquelas frases açucaradas de lixo sugeridas, eu sinto vergonha alheia. É puro nonsense e um enorme sinal de que a pessoa não se importa o bastante com o público para trazer as próprias palavras
Também não dá para deixar de fora a negação por contraste
É uma estrutura retórica em que a primeira metade da frase nega uma ideia específica e a segunda afirma uma alternativa. Normalmente aparece na fórmula “não é X, é Y” ou “não é apenas X, é Y”
A Wikipedia também tem um bom material sobre padrões comuns de escrita de LLM: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Gosto especialmente da ideia de que o problema não é o padrão em si. Não adianta só corrigir o padrão; o problema é que esses padrões apontam para conteúdo escrito de qualquer jeito ou com descuido
Estruturas como “No ___, no ____. Just _____” ou o uso de “honest” ao descrever alguma abordagem também entregam muito
Isso é tão forte que estou pensando em um gancho para um subagente enfiar checagem de fatos com um “tem certeza mesmo?”. A falsa distinção de “não é X, é Y” é usada de modo parecido. Por exemplo, os autoproclamados cidadãos soberanos dizendo que “não estão dirigindo, estão se deslocando de carro”
Ele também aparece na forma positiva. Algo como “Smooth. Effortless. A perfect fit for your needs.”. Fica aparecendo o tempo todo em textos informais ou persuasivos, como se precisasse martelar o ponto
É meio triste continuar falando publicamente sobre o que entrega isso. Era bom poder identificar com bastante precisão, mas imagino que isso nunca duraria para sempre
O interessante é que não parece que o estilo de escrita dos LLMs melhorou muito nos últimos tempos
Já tinha chegado a um nível “ok” há algum tempo, mas os modelos mais novos não trouxeram melhora suficiente para serem preferidos a escritores humanos especialistas. Fico curioso se outras áreas também vão ficar assim enquanto perseguem a superinteligência
Agora eu quero ver escrita mais crua, mais humana, mesmo que tenha alguns erros de ortografia e gramática, na maioria dos textos como posts de blog e mensagens no Slack
LLM é excelente para gerar ideias, escrever código e talvez até lapidar texto, mas por favor não para escrever o texto inteiro. Nesse tipo de escrita, eu quero ouvir o que você tem a dizer, não a AI
Se você pode usar Claude no trabalho e não tem problema em mostrar seus emails, vale testar algo como “leia todos os emails que enviei e crie uma skill para redigir rascunhos de email com a minha voz”
Mesmo que você nunca use a skill de fato, ler o arquivo de skill gerado é divertido. Dá uma sensação estranha de perguntar ao Claude: “quem sou eu?”
Não fiz isso com mensagens de Slack, mas dá um pouco de medo de ler. Ainda assim, o mesmo conceito deve se aplicar
Tem algumas pessoas na empresa que usam Claude ativamente para mensagens no Slack, e fica muito óbvio porque, até um certo dia, escreviam em inglês mal compreensível ao longo de várias mensagens, e no dia seguinte passaram a mandar uma prosa perfeitamente consistente em uma única mensagem
Na prática, funciona bem até
É engraçado rolar o feed do LinkedIn hoje em dia
A minha favorita de hoje foi “Impostos não são o problema. O problema é o mindset.”
Ao ver a menção à fonte “JetBrains Mono”, achei que obviamente viriam críticas ao uso excessivo da Inter. Ainda assim, JetBrains Mono é uma fonte ótima
Se a JetBrains Mono serve para o trabalho, então tem que usar; não há necessidade de evitar só porque a IA usa muito
Fico curioso se é legalmente ok usar em qualquer site