Envios gerados por LLM deveriam ser proibidos

• Há muita discussão sobre como lidar quando textos gerados por LLM são publicados no site, mas parece não haver uma política clara definindo se isso é permitido
• A posição defendida é que usuários que publiquem regularmente textos gerados por LLM devem ser banidos do site
• Surgiu a proposta de exibir na página de envio um aviso dizendo: “Textos gerados por LLM não são permitidos aqui”
• Uma política clara e esse aviso podem reduzir as discussões sobre sinalizar esse tipo de texto ou responder por comentário
• O ponto central é estabelecer um critério explícito de que envios gerados por LLM não são permitidos, simplificando a resposta da comunidade

[GN⁺]

Opiniões no Lobste.rs

• Parece aceitável que, de vez em quando, algum texto ruim passe. Se houver uma proibição explícita de conteúdo gerado por LLM, idealmente sem cláusulas de exceção para brigar nos comentários, isso reduz o lixo na página inicial e dá uma base clara para banir reincidentes

• Concordo em geral. Se a pessoa nem se deu ao trabalho de escrever, então não quero perder tempo lendo
  Dito isso, não sei como identificar perfeitamente texto gerado por LLM, e não gosto da ideia de banir uma pessoa ou uma fonte só porque o texto postado pode ter sido gerado. Já chegaram a suspeitar que eu usei LLM só porque às vezes uso em dash, mas eu já escrevia assim há mais de 25 anos

  • Falsos positivos ocasionais não me parecem um grande problema, desde que não seja uma política de tolerância zero. Pelo texto original, entendo que a ideia é deixar isso a critério da moderação e banir em resposta a um padrão de postagens ruins recorrentes
    Não dá para dizer que a política não pode existir só porque a detecção de texto ruim não é perfeita. Erros vão acontecer às vezes, mas é preciso fazer contrapressão ao lixo gerado por LLM que está cobrindo a web e expulsando o que foi escrito por gente

• Concordo
  Em geral, costuma ser bem claro quando é texto gerado por LLM, e já vi casos em que, mesmo sem isso estar dito no próprio texto, o autor mencionava em outro lugar do site que usava LLM. Isso facilita ainda mais a avaliação
  A percepção da comunidade para detectar conteúdo ruim também parece bem precisa. Não me lembro de um grande fio de comentários em que tenham acusado alguém injustamente de usar LLM quando não era o caso. Se ninguém consegue distinguir, então simplesmente não dá para distinguir
  Nos casos realmente duvidosos, tudo bem presumir boa-fé. O que causa problema normalmente são textos óbvios demais, não uma situação em que alguém esteja tentando enganar o lobsters inserindo o máximo possível de texto de LLM sem ser detectado

• Eu realmente odeio artigos gerados por LLM e queria que desaparecessem. Esses casos extremos tendem a ser claros e fáceis de identificar, e imagino que pouquíssimas pessoas se incomodariam com sua remoção
  Mas e se alguém submeter um software que aceitou parcialmente commits gerados por LLM? Ou se for algo feito inteiramente com LLM, mas acompanhado de um texto analítico documentando o processo? Estou fazendo um pouco o papel de advogado do diabo, mas é evidente que existe um espectro do que seria aceitável dentro do lobsters
  Acho difícil que uma proibição total de qualquer conteúdo que tenha tido o menor contato com LLM seja aceita. A resposta com maior chance de aceitação ampla provavelmente seria uma flag sem penalidade de karma. Seria uma forma de deixar um sinal para quem vier depois: “na minha avaliação, isto é gerado, então atenção”. Os grandes fios de comentários já cumprem esse papel na prática, e isso poderia reduzir brigas nos comentários ao mesmo tempo em que sinaliza a exposição do conteúdo

  • Os outros cenários que você citou são outra categoria e a distinção é bem clara. Se quiser tratar isso de forma diferente do caso atual, basta abrir outro tópico

• Parece razoável. Se a pessoa não dedica tempo para organizar as próprias ideias, por que eu deveria dedicar meu tempo para ler?
  Usar um chatbot como rubber duck para lapidar um argumento ou revisar a gramática me parece ok. Não acho que isso exija nenhum tipo especial de detecção; as expectativas da comunidade e a remoção dos casos óbvios já bastam

• É muito fácil olhar para um texto de que você não gostou e já gritar “texto ruim de LLM!”. E aí o que acontece? Eu quero ver textos pertinentes ao tema tanto com os quais concordo quanto com os quais discordo, e isso é saudável
  Não tenho certeza de como avaliar um texto como “ruim”. Existem exemplos claros, mas também existem casos ambíguos. É possível que um texto legítimo pareça fraco só porque o autor, por coincidência, escreve num estilo específico que LLMs costumam imitar
  Em submissões do tipo “authored by”, olhar para a falta de capricho geral do autor pode até ser justo. Se alguém publica repetidamente texto ruim de forma evidente, você marca o autor como descuidado e, se a moderação entrar em contato dizendo “pare com isso” e a pessoa continuar, aí sim pode bani-la
  Não sei se “texto descuidado” submetido por terceiros deveria contar da mesma forma. Para alguém que segue postando textos que parecem de baixa qualidade, talvez dê para ao menos esfriar temporariamente sua capacidade de postar, mesmo sem bani-lo. Mas um sistema em que todo mundo pode ser banido se não conseguir defender a procedência do texto que submeteu não parece nada agradável

  • Nem toda regra é uma ladeira escorregadia. Existem, na prática, textos obviamente ruins gerados por LLM, e isso por si só já basta para justificar moderação
    Você parece subestimar o quanto escrever esse tipo de texto ruim com LLM é antissocial. Mesmo agora, esses casos evidentes ficam por dias na página inicial porque gente empolgada com a moda da IA os envia
  • É só combater fogo com fogo e usar um detector de texto ruim de LLM

• Texto relacionado: https://lobste.rs/s/wee21u/this_is_written_by_llm_comments_should_be
  Exemplos:
  https://lobste.rs/s/ojvhq9/coding_is_thinking_why_i_still_write_code
  https://lobste.rs/s/eaxtmb/claude_for_legal_suite_plugins_for_legal
  https://lobste.rs/s/fvqkke/new_claude_code_programmatic_usage
  Concordo que texto gerado por LLM deveria poder ser filtrado ou sinalizado com flag
  O problema é que, quando um texto gerado por LLM está de fato dentro do tema, rotulá-lo como “fora do tema” pode virar um uso contraditório. Já se discutiu antes a criação de uma nova opção de flag. Ex.: https://lobste.rs/s/po97lh/new_tag_suggestion_genai_assisted
  Ainda acho que uma nova opção de flag é melhor do que abusar da flag “fora do tema”, como foi discutido em https://lobste.rs/s/rkjpob/proposal_add_ai_generated_as_flag_reason

  • Entendi o feedback. A formulação foi ruim. Deveria ser proibido
    Não me parece tão importante se isso pode ser filtrado ou sinalizado. Usuários que postam esse tipo de coisa deveriam ser removidos do site. Flags ou tags são desperdício se não levarem a ação concreta

• Talvez você esteja escolhendo só exemplos sem valor, mas em https://lobste.rs/s/hfnps5/osmand_s_faster_offline_navigation o texto gerado por LLM, embora em geral seja de qualidade lixo, ainda contém conteúdo original pertinente ao tema

  • Não. O ponto é que eu não quero ver nenhum texto gerado por LLM sendo postado, na medida do possível. Basta olhar para quem votou como spam. Se eu tivesse visto, teria sido um deles

• Agora todo tipo de travessão é ilegal

  • Não entendo por que as pessoas tratam em dash como se fosse prova conclusiva. Por exemplo, a saída HTML do Pandoc gera em dash a partir de -- em Markdown

• Preocupação: não é fácil saber com precisão perfeita se um texto foi gerado por LLM. Ainda assim, na maioria dos casos isso é evidente
  Às vezes, um texto gerado por LLM pode ser de algum modo “importante” ou “digno de atenção”. Um exemplo seria o relatório CopyFail
  Proposta: conteúdo gerado por LLM deveria ser proibido, exceto em situações excepcionais, como vulnerabilidades de segurança de grande impacto. Ao decidir se um texto foi gerado por LLM, é melhor agir com cautela e dar o benefício da dúvida nos casos limítrofes. Essas “situações excepcionais” podem ficar a critério da moderação ou, conforme a política evoluir, virar uma lista de condições definida e refinada de forma iterativa