Ask HN: Devemos adicionar um marcador para textos gerados por IA?

• Propõe adicionar apenas uma marcação, sem rebaixar a classificação de textos gerados por IA, para que usuários que não queiram lê-los possam simplesmente ignorá-los
• A questão é se o sistema de votos atual já é suficiente ou se o HN deve mudar princípios básicos que mantém há muito tempo para se adaptar à era da IA generativa

[GN⁺]

Comentários do Hacker News

• dang: O próprio HN já tem uma regra que proíbe texto gerado por IA: https://news.ycombinator.com/newsguidelines.html#generated, https://news.ycombinator.com/item?id=47340079
  O corpo dos posts ainda não tem a mesma regra, mas a comunidade em geral parece não querer esse tipo de texto ou o avaliar mal. O motivo de reunirem reações como “mostre só o prompt” em https://news.ycombinator.com/genai-pushback também é para enviar isso a usuários que perguntam por que posts de IA generativa foram denunciados
  No momento, está acontecendo uma interessante corrida armamentista em que a IA aprende com humanos ao mesmo tempo que grupos de humanos também aprendem o estilo de escrita da IA. Leitores reagem quase com alergia a um estilo de texto parecido com LLM, e nesses momentos o texto é imediatamente empurrado para uma categoria de baixo status. Não dá para saber aonde isso vai chegar à medida que IA e humanos se adaptam mutuamente
  Por outro lado, se você quiser que seu texto seja classificado como de alto status, pode escrevê-lo você mesmo. O pg já chamou isso de “writes and write-nots”: https://paulgraham.com/writes.html
  Isso não significa negar a tecnologia de LLM em si, e o HN também depende bastante dela. A questão central é como usá-la e se ela deve ser usada em textos divulgados para outros humanos: https://x.com/paulg/status/2058871512451412457
  Denúncias apenas para sinalização são, na prática, uma função de tags, algo que o HN vem recusando há muito tempo, mas sem excluir isso totalmente. Em vez disso, é mais provável que ao denunciar passe a ser exigido um motivo, com opções como suspeita de IA generativa, spam, fora do tema, agressividade etc. Só votos comuns sempre serão insuficientes: https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22upvotes%20alone%22%20by:dang
  À pergunta sobre se o HN precisa mudar na era da IA generativa, eu responderia com https://news.ycombinator.com/item?id=48887149, que é uma homenagem a https://news.ycombinator.com/item?id=3742902

  • grayclhn: É simplista demais classificar isso só como alergia ou questão de status. Já revisei centenas de documentos gerados por IA no trabalho e também gerei muitos eu mesmo, mas o maior problema é que não dá para dar feedback aprofundado
    Não dá para saber se um mal-entendido ou lacuna vem da falta de compreensão do autor, do fato de a IA não ter entendido, ou de o autor não ter revisado direito. Mesmo quando há uma ideia surpreendente, é difícil verificar se aquilo é percepção do autor, se ele conseguiria explicar melhor, ou de onde aquilo veio
    Um coautor humano pode, se editar o suficiente, refletir com precisão seu próprio ponto de vista e entendimento, mas isso raramente acontece na prática; e o fato de muitas vezes o autor, na prática, não existir e de não ser possível interagir mais profundamente com o conteúdo é um problema especialmente grave em sites de discussão
  • Springtime: Isso não é um teste de pureza, e sim o problema de o autor transferir para o leitor o ônus de verificar a exatidão. Se não fica claro se houve uso de IA e até que ponto um humano revisou, o leitor precisa investigar a veracidade de cada frase e fica ainda mais desconfiado
    Se for um texto de um especialista conhecido, dá para ler com confiança e vontade de aprender, mas as expressões batidas abusadas pela IA viram um sinal de que não se sabe quanto daquilo passou por revisão humana. No fim, isso acaba sendo empurrado para a categoria de “texto cujo valor talvez só apareça se uma pessoa analisar tudo” ou é rejeitado de imediato
  • bhaney: Se entre os motivos de denúncia entrar algo como “acho que é IA generativa”, fico na dúvida se isso significa que texto gerado por IA em si já é denunciável. Também não está claro se devemos começar a denunciar textos suspeitos desde já ou esperar até existir uma função de escolha de motivo

• IgorPartola: Se houver uma marcação de conteúdo gerado por IA, ninguém vai querer se marcar voluntariamente, porque isso faria perder credibilidade. A comunidade até pode denunciar com base em pistas e suspeitas, mas isso não é preciso e ainda dá trabalho extra
  A era dos blogs praticamente acabou, e isso não é necessariamente ruim. Mesmo antes da IA, spam de blog e blogs corporativos já tinham estragado os blogs de qualidade, então a verdadeira pergunta é o que substitui os blogs
  Se um texto de IA for preciso, interessante e indistinguível de um texto humano, importa quem o escreveu? O que se deve evitar não é a geração por IA em si, mas a baixa qualidade?

  • freehorse: Mesmo com tanto spam na internet, uma das principais razões para procurar o HN é conseguir encontrar conteúdo interessante. Como considero o conteúdo hoje gerado por máquina de baixa qualidade, quero poder escolher por conta própria se vou ler, antes de perder tempo
    Pode até chegar um futuro em que não dê para distinguir perfeitamente, mas usar um futuro incerto para dizer que não devemos fazer nada agora não é um bom argumento. O conteúdo de IA atual é bastante identificável e, se alguém o editou para não parecer IA, então pelo menos houve mais esforço humano no texto
  • asdff: Se um texto de IA for realmente excelente, não há motivo para guardar a saída longa de um modelo que logo ficará obsoleto. Basta publicar só o prompt e, daqui a 6 meses, um modelo maior e melhor poderá gerar um texto ainda melhor
  • dgellow: O importante é o fato de estar interagindo com um ser humano. Se um LLM produz conteúdo que parece humano e isso não é revelado, isso é essencialmente enganoso
    Não importa se uma pessoa digitou tudo diretamente no teclado, mas importa se o conteúdo foi moldado por um humano. O LLM não está apenas digitando; ele decide estilo, tom, voz e estrutura, e essas coisas são centrais para a comunicação entre humanos

• Retr0id: Uma parte considerável dos votantes não reconhece frases geradas por IA e, mesmo quando reconhece, não se importa ou deixa passar se a premissa for interessante o suficiente. Introduzir uma votação bidimensional de bom/ruim e IA/humano talvez reduza as metadiscussões sobre o quanto de IA foi usado no texto

  • DaiPlusPlus: O conjunto de textos interessantes o bastante para ler, mas não interessantes o bastante para escrever por conta própria, provavelmente é menor do que parece
  • andrewmutz: Não entendo por que bom/ruim por si só não seria suficiente. O que há de errado em usar IA no processo de produzir um ótimo texto?
  • ryandrake: Se o uso de IA online continuar crescendo tão rápido quanto agora, até o fim do ano a maior parte da internet e dos links do HN pode virar conteúdo ruim gerado por IA. Nesse ponto, dizer “este texto foi escrito por IA” dará tão pouca informação quanto dizer “o autor usou corretor ortográfico”

• minimaxir: Um recurso de marcar conteúdo como IA é muito mais perigoso na prática do que na teoria. Nas redes sociais, basta alguém jogar maliciosamente um “IA?” para causar confusão por falso positivo, e o autor original passa a ter que provar quem é
  Em posts de blog, também faltam meios concretos de provar autoria humana, e exigir histórico de edição seria injusto. Se o HN adotar esse recurso, é bem possível que traga mais prejuízo do que benefício

  • Aachen: Chamar isso de “malicioso” implica que a pessoa denuncia acreditando no contrário, mas é muito mais provável que a maioria esteja sinceramente enganada, achando que era texto ruim gerado por IA. Acusações sem base e de baixo custo são ruins por vários motivos, mas é difícil acreditar que as pessoas façam isso com frequência sabendo que é mentira
  • Joel_Mckay: Usuários do uBlock Origin já conseguem filtrar bastante coisa com listas de bloqueio de sites ruins de IA, o que pode economizar muito tempo ao pesquisar certas informações: https://github.com/alvi-se/ai-ublock-blacklist, https://github.com/laylavish/uBlockOrigin-HUGE-AI-Blocklist, https://github.com/Stevoisiak/Stevos-AI-Blocklist/

• shantnutiwari: Sou contra. Em quase todo post popular do HN aparecem alguns comentários dizendo “isso é LLM”, e agora isso virou uma forma de substituir “não gostei deste texto, então deve ser LLM”: https://news.ycombinator.com/item?id=48063759
  Como esses comentários sempre ganham alguns votos, isso parece karma farming preguiçoso. Se você acusar 100 textos de serem LLM, uma hora vai acertar, e depois pode se gabar desse único acerto como um astrólogo. Precisamos de alguma forma de desencorajar esse tipo de comentário de baixo esforço

• dawnerd: Como a YC investe em IA, é difícil esperar esse tipo de medida. Também há gente demais aqui que acha que é só se render e aceitar, o que pessoalmente me soa como lógica do agressor

  • dang: Leia https://news.ycombinator.com/item?id=48887149 e me diga se essa resposta continua a mesma depois de editar
  • xdennis: O HN proíbe comentários gerados por IA, então suposições conspiratórias baseadas nos investimentos da YC têm valor ainda menor

• nunez: Eu já tinha pedido essa mesma funcionalidade um mês atrás: https://news.ycombinator.com/item?id=48296731
  Se usuários suficientes denunciarem algo como conteúdo de IA, seria bom adicionar uma marcação [AI Generated] ao fim do título

• CM30: Conteúdo gerado por IA normalmente envolve menos investimento do que trabalho feito diretamente por uma pessoa, então sinalizar isso seria útil, mas não está claro como fazer direito
  Online, há muitas caças às bruxas e falsos positivos em que até obras humanas são acusadas de serem IA só porque usam travessão longo ou porque as mãos em uma imagem parecem estranhas. Se usuários muito vigilantes presumirem sempre o pior, metade do site pode acabar recebendo marcação de IA
  Se o autor se autodeclarar, perde confiança e leitores, então há um forte incentivo para mentir; e ferramentas de detecção de IA também geram muitos falsos positivos, então é difícil confiar nelas. Eu adicionaria conteúdo de IA como motivo de denúncia, mas presumiria boa-fé nas submissões em geral e esperaria que o site como um todo não ficasse excessivamente paranoico ou restritivo

• Debugreality: Existem ideias que talvez nunca viessem a público sem ajuda de IA. Recentemente publiquei como white paper uma proposta sobre democracia em que penso há décadas, e a IA ajudou a expandir as ideias, estruturar o documento e redigir o texto
  Como não sou acadêmico, é bem possível que sem IA eu nunca tivesse conseguido concluir isso; acho melhor publicar do que deixar morrer só na minha cabeça. Um documento acadêmico escrito integralmente por mim seria melhor, mas, mesmo que a maior parte tenha sido escrita por IA, passei dois dias verificando se concordava com todos os parágrafos e corrigindo problemas
  Ao julgar a qualidade, faz mais sentido olhar para o esforço humano investido do que para o simples uso de IA

  • Aachen: Usar LLM para dar estrutura é ok, mas na prática isso se parece mais com um problema de motivação para escrever um rascunho, e o LLM serve apenas como um interlocutor interessado
    Eu preferiria muito mais uma versão em que só os insights centrais fossem escritos diretamente por você, em vez de deixar o LLM escrever o corpo do texto. Não quero ficar garimpando o ponto principal em várias páginas de frases. Especialmente quando se usa LLM para “engordar” ideias, esse é o caminho mais certo para entediar as pessoas
    Transformar um insight em um documento prolixo só é necessário na etapa de formalização legal. Basta comparar “diga como você usa os dados” com as cláusulas relevantes do GDPR

• lazyasciiart: Que tal usar uma marcação no título como [1997]? É um tipo de conteúdo que pode interessar ou não ao leitor, mas saber a origem pode mudar a forma como ele o recebe

  • sph: É uma das melhores soluções. Bastaria adicionar [AI] ao fim do título, mas como a IA tem usos legítimos, talvez [SLOP] fosse mais apropriado

• teo_zero: Assim como há gente que não suporta texto gerado por IA, também há gente que não suporta erros gramaticais. Se surgir uma marcação AI generated, então também vai haver quem queira uma marcação lousy with mistakes

• DevKoala: Só importa se o texto é útil, baseado em fatos e sem viés. Não me importo com a forma como foi escrito

• thinkingemote: Uma boa parte do que quero no HN é sobre LLMs, e muito disso também é escrito com LLM. É horrível de ler e quase nunca há joias inspiradoras, então, se for relacionado, eu só passo os olhos; o valor real geralmente está nos comentários.
  Se fosse fácil detectar o estilo de escrita de LLM, também valeria a pena revisar artigos de pesquisadores e fundadores de IA da era anterior aos LLMs de consumo. O estilo deles é surpreendentemente parecido com a prosa atual de LLM

• rddbs: Mais do que esconder textos escritos por IA, eu queria esconder o próprio conteúdo sobre IA. Já estou cansado porque parece que a maior parte do conteúdo do HN agora é sobre IA. Queria saber se existe algo como uma extensão de navegador que ajude a recuperar o equilíbrio

  • insin: Na extensão de HN que fiz, ofereço um filtro básico de palavras-chave e domínios de IA como um toggle separado dos filtros pessoais. Só falta adicionar nomes de modelos mais recentes: https://soitis.dev/comments-owl-for-hacker-news
  • dijksterhuis: Já surgiram clones do HN com filtros por regex e ferramentas que usam IA para detectar texto de IA, mas nada disso é perfeito, já que até threads como esta acabam sendo filtradas junto
    Eu mesmo, como primeira etapa, escondo todos os posts sobre IA da página inicial e, como segunda, procuro os posts interessantes que sobraram. Infelizmente, hoje em dia há muitos dias em que não sobra nada

• mattas: A esta altura, talvez fizesse mais sentido adicionar uma marcação de not AI

• ramon156: Fiz uma extensão pessoal que bloqueia do meu feed as pessoas que postam principalmente conteúdo gerado por IA. Para mim funciona bem, mas não sei se isso funcionaria no serviço como um todo
  Talvez já baste fornecer uma tag para que as pessoas decidam por conta própria. Extensões relacionadas ao YouTube como DeArrow e SponsorBlock implementam bem esse modelo de participação coletiva

  • arjie: Se você publicou a lista de bloqueio, eu gostaria de recebê-la

• cloudpilot: Criei um app com ajuda de IA, mas escrevi a mensagem eu mesmo, e mesmo assim fui denunciado

• jaredcwhite: Acredito fortemente que texto gerado por IA simplesmente não deveria aparecer. Mas, fora os sinais óbvios de LLM, é difícil provar, e também não é fácil exigir provas de autoria humana real
  Cada vez mais, acabo preferindo comunidades em que vale a premissa de que, se algo está sendo compartilhado legitimamente, então foi escrito por um humano

  • ldoughty: Se um humano escreveu o rascunho e depois usou IA para melhorar ou revisar, isso deve contar como gerado por IA? E como distinguir os dois casos? Se não for permitido nenhum tipo de ajuda de IA, isso também pode discriminar pessoas que não se sentem confortáveis escrevendo em inglês imperfeito
    Concordo com o princípio, mas é difícil implementá-lo de forma justa e há um grande risco de discriminação. Há até o paradoxo de que corrigir erros de digitação e deixar rastros de edição pode fazer o texto parecer mais humano
  • stackghost: É difícil encontrar comunidades em que valha a premissa de que compartilhamentos legítimos são escritos por humanos

• shahzaibmushtaq: A IA não é superior à inteligência humana (HI), nem poderá ser no futuro. Revelar se o próprio trabalho foi gerado por IA e em que proporção ela foi usada é responsabilidade do autor e do redator

• KingOfCoders: Um texto ou é ótimo ou não é. Não me importo se foi escrito por um humano, uma IA ou um gato

  • pillmillipedes: Fico curioso para ver exemplos de ótimos textos escritos por uma IA ou por um gato

• amelius: Seria bom se o Unicode adicionasse uma área de código reservada só para ferramentas de IA, embora equivalente aos caracteres Latin-1. Isso permitiria deixar uma espécie de bit de marcação fixo em conteúdo gerado por IA
  Mesmo hoje, algo parecido já seria possível se empresas de IA fossem obrigadas a usar um caractere especial de espaço em branco no lugar do ASCII 0x20; isso também ajudaria a evitar o problema de retreinar em cima dos próprios dados gerados

• nickandbro: Em posts de texto puro, não sei nem se iriam contar o número de travessões longos, nem como isso seria realmente imposto. Até detectores de IA feitos especificamente para isso erram demais

• warshinder: Primeiro eu olho os comentários. Sempre tem alguém avisando se é texto de IA, se não vale a pena ler ou se nem está carregando
  No HN do começo, isso também ajudava o autor da submissão a evitar pico de acessos, e, quando havia paywall, alguém colocava uma versão arquivada nos comentários

• CqtGLRGcukpy: Um texto que alguém considere gerado por IA pode, na verdade, não ser, e detectores de IA não são confiáveis o suficiente para afirmar isso com certeza

  • esjeon: Chamar um texto escrito por um humano de gerado por IA é um insulto grave. Uma função de marcação de IA pode causar mais dano à comunidade do que simplesmente deixar o conteúdo gerado permanecer
  • bakugo: Em caso de dúvida, deve-se decidir a favor do autor, mas na maioria das vezes não é tão difícil distinguir. Modelos atuais especializados em código, se não forem instruídos com cuidado, escrevem de um jeito peculiar e imediatamente reconhecível, e nesse sentido isso até ajuda a não desperdiçar tempo lendo texto de IA
    Um bom exemplo é o post raso e promocional que está em 1º lugar na página inicial agora: https://news.ycombinator.com/item?id=48884853

• aryehof: Tenho medo de que se torne fácil desqualificar ou silenciar alguém apenas insinuando que o ponto de vista de uma pessoa foi gerado por IA

• rdataguy: Nem sempre é fácil saber se algo foi gerado por IA, e esse recurso também pode ser abusado. Ainda assim, se a sabedoria coletiva conseguir identificar uma quantidade suficiente, pode ser útil

• itsgrimetime: Não sou contra marcar textos de IA, mas gostaria que o conteúdo em si fosse discutido com mais profundidade, independentemente de como foi escrito. Ultimamente, parece ter aumentado a tendência de rejeitar ou criticar algo de imediato apenas pela forma como foi escrito, em vez de pelo que está dizendo

• Xotic007: Se surgir uma marcação de IA, isso só dará aos criadores um alvo claro de detecção a evitar. No fim, o estilo escancaradamente de IA vai diminuir, mas não será difícil driblar a detecção, então o esforço de produção quase não vai aumentar

• deevus: Um post Show HN que escrevi eu mesmo foi pego pela moderação automática. Sinceramente, isso mexeu com minha sensibilidade à rejeição, e desde então não tenho mais postado no HN

• edoceo: Será que não bastaria adicionar uma função de downvote para submissões?

  • jagged-chisel: Já existe flag
  • JimsonYang: O HN só permite downvote de forma limitada a membros com muita atividade ao longo do tempo. Provavelmente foi desenhado assim para incentivar discussões positivas

• Esophagus4: Um conceito útil como referência é https://en.wikipedia.org/wiki/Evil_bit

• atomicthumbs: recomendar que alguém leia um texto escrito por máquina é uma atitude que não respeita o tempo da outra pessoa. Se o autor não se importou o suficiente para escrever por conta própria, então não há motivo para outra pessoa ler, então o valor é zero

• mleroy: em vez de rastrear e denunciar conteúdo de IA, bastaria que o autor marcasse voluntariamente que é conteúdo original. Poderiam ser adicionadas tags como [Handmade], [Craft-Article], [Artisan-Thinking] no link

• jeremyjh: posts enviados não podem receber downvote, e há muita gente que não tem resistência a ler textos que ninguém escreveu diretamente, então só a votação normal não basta
  pode haver um esforço considerável em etapas além da escrita, então não dá para concluir automaticamente que algo escrito por IA não tem valor. Ainda assim, tendo a apoiar algum tipo de desvantagem para estabelecer uma norma que respeite a comunicação humana genuína
  uso bastante IA para várias finalidades e leio conteúdo gerado com frequência, mas a voz típica de IA fica cada vez mais irritante quanto mais você aprende a percebê-la. Há uma grande diferença entre uma resposta ao meu prompt e ler um texto sobre o qual não sei nada do prompt, do número de revisões nem se houve revisão humana
  em geral, num texto humano o autor investe pelo menos 5 vezes mais esforço do que o leitor, mas num texto de IA não dá para saber se o leitor está gastando mais tempo do que o autor, então isso vira uma distração difícil de suportar

  • visarga: quando aparecem pistas típicas de IA, isso também me incomoda, mas se a pessoa digitou diretamente 10 vezes mais conteúdo do que o texto final e só mudou a forma de expressão, fica ambíguo chamar isso de conteúdo gerado por IA. Não uso IA em comentários; só quando organizo o formato de textos longos para publicar no blog

• nyellin: se for introduzida uma marcação para indicar IA, os comentários de todo texto vão virar discussão sobre se foi escrito por IA e em que medida. É melhor deixar que seja avaliado pelo próprio conteúdo

• lukasbm: ninguém gosta de ler saída de chatbot sem filtragem, mas também é impossível detectar isso com certeza