Os “cheiros de IA” criados por LLMs

 (shvbsle.in)
11 pontos por GN⁺ 16 일 전 | 3 comentários | Compartilhar no WhatsApp
  • Escrita assistida por LLM inicialmente melhorava o vocabulário e a estrutura das frases, sem parecer texto ruim de IA, mas alguns meses depois os mesmos traços começaram a se repetir por toda a internet
  • Em textos escritos por LLMs, aparecem padrões de estilo recorrentes, como frases de efeito de uma linha em excesso, sequência de frases curtas e construções no formato "X é o Y de Z"
  • Em sites gerados por IA, também se repetem elementos de UI visualmente parecidos, como a fonte JetBrains Mono, o mesmo layout de etapas/bullets, certos designs de botões e cartões, e pontinhos piscando em badges
  • O ponto central não é se opor ao uso de LLM/IA na criação em si, mas reunir e observar padrões detectados repetidamente em textos e sites

O "cheiro de IA" na escrita com LLM

  • No fim do ano passado, ao usar um LLM para lapidar um post de blog sobre matemática, o vocabulário e a estrutura das frases melhoraram, sem dar a sensação de um texto ruim feito por IA
  • Cerca de 3 meses depois, a mesma estrutura de frases começou a aparecer repetidamente por toda a internet, parecendo um traço reconhecível em trabalhos assistidos por IA em geral
  • Além do uso excessivo de em-dash, os três padrões de estilo abaixo também aparecem com frequência

Padrões repetitivos visíveis em textos e sites

  • Frases de efeito de uma linha em excesso (Punchlines)

    • Frases curtas, fortes e declarativas aparecem em excesso
      • "Humans trust symmetry because it feels like intelligence made visible."
        "Os humanos confiam na simetria porque ela parece inteligência tornada visível."
      • "The Tiger fit the story. Jin-yong fit the physics."
        "O Tiger se encaixava na história. Jin-yong se encaixava na física."
      • "Symmetry becomes a trap."
        "A simetria vira uma armadilha."

  • Sequência de frases curtas

    • Repete-se a estrutura de listar várias frases curtas em sequência
      • "Yet the tilt is not an accident. It is the shape of the optimum."
        "Ainda assim, essa inclinação não é um acidente. É a forma do ótimo."
      • "Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony."
        "Então o AlphaEvolve chegou. Não tinha preferência por simetria. Nenhum viés estético prévio. Nenhum instinto de preservar a harmonia."
      • "These examples are not decorative. They form a distributed argument."
        "Esses exemplos não são decorativos. Eles formam um argumento distribuído."

  • Formato "X é o Y de Z"

    • Um padrão fixo de definir metaforicamente um certo conceito
      • "Cringe is the visible signature of moving along a gradient you chose."
        "Cringe é a assinatura visível de se mover ao longo de um gradiente que você escolheu."

  • Formato "não apenas X, mas Y"

    • Estrutura de frase que enfatiza por contraste
      • "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
        "soluções que não apenas satisfazem a restrição, mas também os instintos estéticos"

O "cheiro de IA" em sites gerados por IA

  • Não é só na escrita: também em designs de sites gerados por IA aparecem repetidamente padrões visuais homogeneizados

  • Fonte JetBrains Mono

    • Em muitas páginas geradas por IA, a fonte JetBrains Mono é usada em comum

  • Mesmo layout de etapas e bullets

    • Junto com essa fonte, o layout de etapas (steps) e listas com bullets se repete quase da mesma forma

  • Design de botões e cartões

    • Certos estilos de botão e designs de componentes de cartão aparecem de forma idêntica em vários sites

  • Ponto piscando em badges (Blinking Dot)

    • Dentro de componentes de badge, o ponto piscando (blinking dot) aparece repetidamente como elemento identificável de UI
  • Nota: o autor não se opõe ao uso de LLM/IA em trabalhos criativos em si; isto está mais próximo de uma observação que reúne padrões detectados repetidamente

Leituras relacionadas

3 comentários

 
devswha 13 일 전

Estou pensando em criar um projeto open source relacionado a isso. Esse tipo de texto também serve muito como referência.

https://github.com/devswha/patina
 
jessyt 15 일 전

Concordo.
Eu já tive a experiência de achar difícil ler textos escritos por IA, como quando naturalmente evitamos olhar para banners de propaganda.
 
GN⁺ 16 일 전
Opiniões do Hacker News

  • Os LLMs tendem a parecer especialmente bons quando fazem coisas que eu não consigo fazer. Se, em alguma área específica, você sente que a saída de um LLM é muito melhor do que a sua, há uma boa chance de você não ter capacidade suficiente para avaliar essa qualidade direito

    • Isso se aplica perfeitamente a programação, e também ajuda a explicar por que as avaliações sobre a qualidade de código gerado por LLM no HN são tão polarizadas
      Um lado diz: “A IA cria código que eu jamais conseguiria escrever, resolve de uma vez algo que me levaria dias e aumentou minha produtividade em 10x”; o outro diz: “A IA continua produzindo código péssimo, precisa ser retrabalhado, comete erros e precisa ser vigiada, e no fim só faz eu perder tempo”. Se a saída do mesmo produto parece tão diferente assim, há más notícias para o primeiro grupo
    • Eu ganho a vida escrevendo até certo ponto, e acho a prosa do Claude tão ruim que dá vontade de vomitar
      Por outro lado, quase não escrevo código e só trabalhei com isso uma vez na vida, mas quando o Claude cospe código em poucos segundos eu me sinto um super-humano prestes a virar bilionário. Aí eu lembro que o Claude nem consegue escrever um texto legível, e que eu sei escrever bem mas não sei programar, apago o código e volto a fazer algo que dá mais dinheiro
    • Concordo com essa possibilidade em si, mas os modelos de fronteira atuais não são totalmente inúteis nem mesmo para escrita em áreas que eu conheço bem
      Acho que eu não diria isso há um ano. Eles ainda produzem bobagem plausível de um jeito que até especialistas têm dificuldade para perceber, então é preciso vigiá-los como um falcão, mas os dados internos estão cada vez mais inclinados para o lado do correto e útil, em vez do errado e inútil
    • Sinceramente, é difícil entender como alguém pode achar que texto escrito por LLM é minimamente aceitável. Se você sente isso, precisa ler mais livros
      Um livro por mês nem é uma meta alta. Nem precisa ir até Melville, Hemingway, Chaucer ou Shakespeare; basta pegar qualquer best-seller do NYT e já será muito melhor do que qualquer texto que um LLM consiga gerar
    • Não concordo com a ideia de que LLM parece bom só em coisas que eu não sei fazer. LLM é bom em fazer você acreditar que só existe uma forma de texto bom
      LLM prefere estilos codificados, tipo “livro didático/manual técnico”, talvez porque isso o torne mais útil para humanos. Mas escrita humana não é só produzir a frase mais elegante; às vezes um ótimo texto pode ser algo como este meme de desenho de cachorro: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...

  • Expressões como “honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:” e “The smoking gun:” parecem um forte cheiro de LLM
    Isso vale especialmente para frases que começam com “The ___:”, para usar “load bearing” fora de contexto de arquitetura, “blast radius” sem falar de explosão de verdade, usar “smoke test” quando “sanity check” faria mais sentido, aquela estrutura de listar três itens em que o terceiro só combina os dois anteriores, chamar coisas metaforicamente de “shape”, e posts sociais que terminam com “Curious if anyone…”. Também aparece bastante em anedotas usar “Oh. Oh.” com o segundo Oh em itálico
    Parte disso são termos que desenvolvedores realmente usam, mas vale questionar a frequência real, e mesmo a prosa dos modelos mais recentes ainda deixa esse tipo de rastro

    • Esses idiomatismos de LLM estão sendo consumidos todos os dias, então parece inevitável que entrem no vocabulário cotidiano da próxima geração, e até da geração atual. Acho que vai ficar insuportável
    • Se a referência era a “load bearing” e “blast radius”, eu já via isso com muita frequência em discussões online antes dos LLMs, e eu mesmo usava bastante
      load bearing, em especial, era uma expressão bem comum em conversas cotidianas de operações. Já “smoke test” eu nunca vi ser usado na vida real
    • Pedi ao GPT para investigar expressões no estilo Claude 4.7: https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f...
      Os padrões reunidos pela Wikipedia também estão bem documentados: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
    • A que aparece regularmente e acho mais engraçada é belt-and-suspenders/belt-and-braces, mas nunca vi uma pessoa real usar essa expressão. Era tão irritante que tive que mandar a IA parar de usar
    • Pessoalmente, a que mais me irrita é “escape hatch”
      Tudo vira escape hatch. try/catch é escape hatch, flag de CLI é escape hatch. Não faz sentido, e acabou indo parar no meu arquivo Markdown de “palavras e frases proibidas”

  • A uniformidade da escrita com LLM é ruim. Usar LLM para ajudar a escrever é bom, mas é melhor não colocar no texto final nem uma única palavra gerada pelo LLM, nem que seja só um ajuste de vocabulário
    É útil pedir que ele critique a estrutura e o fluxo, e que encontre palavras repetidas em excesso, voz passiva e escolhas idiotas de frases-tema. Esse tipo de coisa melhora o texto de forma objetiva sem estragar o estilo
    Já na web design, a uniformidade do LLM é boa. A maioria dos sites não precisa se esforçar para ser peculiar. Um bom design para um site prático é legibilidade, e nisso o LLM é melhor do que o desenvolvedor médio. Não tem problema continuar usando o mesmo posicionamento de botões e o mesmo sistema de tamanhos de fonte. Se me parece bonito, é bem provável que tenha ficado melhor do que se eu tivesse feito sozinho, e muito provável que sozinho tivesse ficado pior

    • O que me incomoda no web design com LLM é que ele adiciona elementos inúteis por toda parte
      O GPT-5.x é especialmente ruim nisso. Por exemplo, se você pede um dashboard, ele espalha um monte de números e pedaços de texto por todo lado, e na maioria das vezes é só a mesma coisa dita duas vezes. Claro, isso provavelmente não é um problema essencial da estrutura em si e pode acabar sendo corrigido em breve; também dá para obter um bom resultado se você preparar todo o texto primeiro e só depois pedir para montar o site
    • Estou usando Claude para fazer um novo site pessoal, e é ótimo porque, se eu digo “quero um menu bonito com links para outras páginas”, ele cospe algo bom o suficiente
      Em escrita, usar LLM ainda parece muito estranho. Talvez preencher formulários idiotas seja uma exceção. Já vi colaboradores usando LLM em documentação técnica, e quase sempre era uma bobagem limítrofe com estética de algo correto. Em escrita criativa, usar muito LLM dá a sensação de que o próprio propósito desaparece
    • Seja com LLM ou com SaaS de empreendedor solo, é difícil dizer que a uniformidade é algo bom em web design
    • Eu uso LLM como buscador de analogias e dicionário avançado. Todas as palavras eu escrevo, mas recebo ajuda para melhorar meu inglês e encontrar expressões que não conheço bem
      Ainda não usei para revisar meus textos, mas fico curioso se é tão bom assim
    • Concordo totalmente. Escrevi um discurso recentemente e nem consigo imaginar o quão banal ele teria ficado se eu tivesse puxado frases de LLM como se fossem minhas
      Quando penso em alguém escrevendo algo importante para uma pessoa amada, ou sobre ela, e enfiando no meio aquelas frases açucaradas de lixo sugeridas, eu sinto vergonha alheia. É puro nonsense e um enorme sinal de que a pessoa não se importa o bastante com o público para trazer as próprias palavras

  • Também não dá para deixar de fora a negação por contraste
    É uma estrutura retórica em que a primeira metade da frase nega uma ideia específica e a segunda afirma uma alternativa. Normalmente aparece na fórmula “não é X, é Y” ou “não é apenas X, é Y”
    A Wikipedia também tem um bom material sobre padrões comuns de escrita de LLM: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

    • Como alguém cujos textos frequentemente são falsamente marcados como AI, agradeço pelo aviso no começo desse documento
      Gosto especialmente da ideia de que o problema não é o padrão em si. Não adianta só corrigir o padrão; o problema é que esses padrões apontam para conteúdo escrito de qualquer jeito ou com descuido
    • Isso está no texto principal
    • Quanto tempo até os LLMs serem treinados para evitar os padrões dessa página da wiki?

  • Estruturas como “No ___, no ____. Just _____” ou o uso de “honest” ao descrever alguma abordagem também entregam muito

    • “honest”, “straight”, “genuine”, “actual”, “real” parecem todas palavras usadas para encobrir uma afirmação fraca
      Isso é tão forte que estou pensando em um gancho para um subagente enfiar checagem de fatos com um “tem certeza mesmo?”. A falsa distinção de “não é X, é Y” é usada de modo parecido. Por exemplo, os autoproclamados cidadãos soberanos dizendo que “não estão dirigindo, estão se deslocando de carro”
    • Eu vejo esse padrão como jab, jab, thrust. Se quiser, pode chamar de “tap tap whack”
      Ele também aparece na forma positiva. Algo como “Smooth. Effortless. A perfect fit for your needs.”. Fica aparecendo o tempo todo em textos informais ou persuasivos, como se precisasse martelar o ponto
      É meio triste continuar falando publicamente sobre o que entrega isso. Era bom poder identificar com bastante precisão, mas imagino que isso nunca duraria para sempre
    • Isso já era um clichê de marketing cansativo muito antes dos LLMs, e parece que os modelos só pegaram isso dos dados de treino
    • Também não dá para esquecer de “the uncomfortable truth”

  • O interessante é que não parece que o estilo de escrita dos LLMs melhorou muito nos últimos tempos
    Já tinha chegado a um nível “ok” há algum tempo, mas os modelos mais novos não trouxeram melhora suficiente para serem preferidos a escritores humanos especialistas. Fico curioso se outras áreas também vão ficar assim enquanto perseguem a superinteligência

  • Agora eu quero ver escrita mais crua, mais humana, mesmo que tenha alguns erros de ortografia e gramática, na maioria dos textos como posts de blog e mensagens no Slack
    LLM é excelente para gerar ideias, escrever código e talvez até lapidar texto, mas por favor não para escrever o texto inteiro. Nesse tipo de escrita, eu quero ouvir o que você tem a dizer, não a AI

    • Eu colocaria assim: se você não se importa o bastante para escrever com as próprias mãos, não há motivo para ninguém querer ler

  • Se você pode usar Claude no trabalho e não tem problema em mostrar seus emails, vale testar algo como “leia todos os emails que enviei e crie uma skill para redigir rascunhos de email com a minha voz”
    Mesmo que você nunca use a skill de fato, ler o arquivo de skill gerado é divertido. Dá uma sensação estranha de perguntar ao Claude: “quem sou eu?”
    Não fiz isso com mensagens de Slack, mas dá um pouco de medo de ler. Ainda assim, o mesmo conceito deve se aplicar
    Tem algumas pessoas na empresa que usam Claude ativamente para mensagens no Slack, e fica muito óbvio porque, até um certo dia, escreviam em inglês mal compreensível ao longo de várias mensagens, e no dia seguinte passaram a mandar uma prosa perfeitamente consistente em uma única mensagem

  • É engraçado rolar o feed do LinkedIn hoje em dia
    A minha favorita de hoje foi “Impostos não são o problema. O problema é o mindset.”

    • O kool-aid estilo LinkedIn já existia muito antes dos LLMs

  • Ao ver a menção à fonte “JetBrains Mono”, achei que obviamente viriam críticas ao uso excessivo da Inter. Ainda assim, JetBrains Mono é uma fonte ótima

    • Como nas armadilhas em que partidos políticos caem, fico preocupado que isso acabe virando algo como: se o outro lado pensou nisso, então por definição é ruim
      Se a JetBrains Mono serve para o trabalho, então tem que usar; não há necessidade de evitar só porque a IA usa muito
    • Fugindo um pouco do assunto, se o nome é JetBrains Mono, então ela é propriedade intelectual da JetBrains?
      Fico curioso se é legalmente ok usar em qualquer site
    • Isso doeu um pouco em mim
    • Como é a fonte que uso todo dia, ao ver aquela lista dei uma leve estremecida. Acho que não percebi porque já estava usando mesmo