1 pontos por GN⁺ 20 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Um post pessoal de blog que organizava a correspondência entre Nix flakes e o Guix foi apagado depois de levantar suspeitas de uso de LLM
  • O post começou por curiosidade e, embora não fosse suficiente, envolveu muita pesquisa e era um trabalho do qual a pessoa se orgulhava a ponto de compartilhar com amigos
  • Depois de ser compartilhado em chats do Matrix, o post foi parar na primeira página do lobste.rs, e um toot do fundador do Guix, Ludovic Courtès, recebeu 12 boosts
  • Uma mudança de JavaScript aplicada no último momento quebrou o site no celular e impediu que leitores lessem o texto; o problema foi corrigido assim que foi percebido, mas a frustração já tinha surgido
  • No começo da análise de Andrew Tropin surgiu a suspeita de que o texto teria sido escrito por LLM, e mais do que a crítica técnica, foi o fato de o próprio texto parecer falso que levou à remoção do post

Contexto da remoção do post

  • O post “nix flakes and their guix equivalents” foi removido, e a pessoa não quer que isso seja interpretado como “foi pego usando LLM”
  • O texto foi escrito por curiosidade, na tentativa de entender melhor alguma coisa, e embora reconheça que a pesquisa não tenha sido suficiente, houve muito trabalho de investigação
  • O post foi compartilhado com amigos porque parecia interessante para quem escreveu, e havia a impressão de que os amigos também poderiam achá-lo interessante
  • Pouco antes de dormir, o post foi enviado para alguns chats do Matrix, e depois foi visto na primeira página do lobste.rs
    • Nunca se imaginou que um post antigo do blog chamaria a atenção de mais do que três pessoas interessadas
    • O fundador do Guix, Ludovic Courtès, publicou um toot, e esse toot recebeu 12 boosts

Críticas e decisão de apagar

  • Uma mudança de JavaScript feita no último instante estragou o site no celular, então as pessoas não conseguiam ler o post
    • O problema foi corrigido assim que foi descoberto, mas a essa altura as pessoas já estavam frustradas
    • Quem escreveu considera que não pode culpá-las por essa frustração
  • No dia seguinte, depois do trabalho, um amigo compartilhou o link da análise do post feita por Andrew Tropin
    • Andrew Tropin era visto como alguém que faz um trabalho respeitável
    • A análise foi aberta com expectativa, mas no terceiro parágrafo surgiu a suspeita de que o texto poderia ter sido escrito com LLM
  • Não há ressentimento em relação à crítica técnica em si, e críticas de alguém tão conhecedor quanto Andrew são bem-vindas
    • O que realmente abalou não foram os apontamentos técnicos, e sim a suspeita de que as frases não tinham sido escritas pela própria pessoa
    • Mais do que os pontos técnicos ou as correções, o que mais pesou foi ter sido tratado primeiro como algo falso
  • Neste momento não é possível responder aos apontamentos técnicos de Andrew
    • Emocionalmente, a pessoa está abalada demais para processar adequadamente essas críticas
    • Reconhece-se que a crítica pode ser válida e correta, mas agora não há disposição para responder
  • Também houve muito esforço investido na infraestrutura do site
    • Foi criado o ox-atom para o feed e o neocities.el para se comunicar com o Neocities
    • O CSS e o JavaScript foram escritos manualmente; há um gato no padrão de fundo e pequenos brilhos nos cabeçalhos de seção
    • O postamble inclui ~ meow ~
  • A suspeita de que o texto — a parte mais importante do blog — soava como algo saído de uma “Markov chain mais polida” foi devastadora
  • Não houve uso de LLM, mas não é possível provar a negativa, e a pessoa está cansada demais até para tentar, então o post foi retirado

1 comentários

 
Opiniões no Lobste.rs
  • Sinceramente, acho que isso é resultado tanto dos comentários recorrentes de “parece texto escrito por LLM” aparecendo por toda parte quanto do hábito de colocar a tag vibecoding em tudo por motivos muito triviais
    Basta uma pessoa levantar suspeita e quase não há como se defender e provar que você não usou LLM; se o blog tiver textos ou opiniões sobre LLM, a situação fica ainda pior. A estrutura é de ser tratado como spam até prova em contrário

    • Sou bastante contra IA generativa, mas estou ficando cansado dessa suspeita constante de LLM
      Já tenho uma certa idade, então não sou exatamente alguém bom em identificar os indícios de que tanto falam, mas também acho difícil acreditar que as pessoas que atacam todo texto consigam distinguir isso tão bem quanto imaginam. LLMs imitam um certo estilo de escrita que humanos já usavam há muito tempo em textos de marketing e negócios antes mesmo da IA, e muita gente pode ter absorvido esse estilo inconscientemente
      No caso de código, quero saber se foi escrito por IA por causa da confiabilidade; em imagens, normalmente dá para perceber, e também quero saber por uma questão de verificação da realidade. Mas texto dá para passar os olhos e julgar com relativa facilidade a relação sinal-ruído e a qualidade, então há menos motivo para reagir de forma tão imediata
    • É exatamente por isso que tenho ficado cada vez mais relutante em postar neste site textos meus que antes recebiam boas reações
      Já fui acusado uma vez de ter escrito um texto com LLM, e não era o caso. Como meus textos recentes são sobre IA, cresce a chance de presumirem que foram escritos por IA e de tratarem também os textos seguintes como contaminados
      Dá para dizer “é só uma tag”, mas é mais do que isso. Parece que se rompeu o respeito de uma comunidade que eu antes sentia como equilibrada, e, vendo a quantidade de votos positivos nesta thread, acho que não sou o único a sentir isso
    • Um amigo me enviou este texto antes de eu vê-lo no lobste.rs, e, na primeira leitura, tive o impulso de descartá-lo como lixo de LLM
      Ainda assim, decidi ler até o fim e formular críticas mais concretas; no final, escrevi algo como “parece que o autor ainda não internalizou bem por que flakes são necessários, mas tudo bem”. Depois disso, a discussão continuou sobre o que flakes fazem e por quê
      Olhando para trás, fico feliz por não ter deixado um comentário preguiçoso de suspeita de spam. Se tivesse feito isso, eu não teria absorvido mais conteúdo interessante, e a conversa que veio depois também teria sido bloqueada
      Pessoalmente, tento reduzir o peso que dou às ferramentas que alguém pode ter usado na pesquisa. Se for spam evidente e, na prática, um ataque de negação de serviço contra a atenção das pessoas, tanto faz se foi humano ou LLM: pode ser ignorado. Mas, se for um texto que não bate muito bem com o meu modelo mental, prefiro gastar meu tempo tentando extrair críticas mais construtivas em vez de focar no uso da ferramenta
      O impulso crescente de rotular algo como lixo de LLM revela mais nossa reação à mudança social do que o autor que talvez tenhamos interpretado errado
    • O problema é que todo mundo quer recuperar um indicador substituto barato de “este texto provavelmente não vai ser ruim”
      Só que esse indicador não vai voltar e, pelo menos até o dinheiro sair da bolha da IA, certamente será difícil
      Antes, os textos eram “bons”, “ruins”, “verdadeiros” ou “falsos”, e, ao ler, havia indícios rápidos e claros. Agora, por causa da existência de LLMs, surgiu uma terceira categoria negativa: “não está obviamente errado, mas é insosso e desperdiça meu tempo”, e separar isso exige esforço demais. É uma forma reforçada pelo calor da computação e pelo capital de risco da frase de Wolfgang Pauli: “nem sequer está errado”
      Pior ainda é que fica difícil acreditar se quem grita “isso é LLM” é mesmo humano. É tartaruga em cima de tartaruga, sem fim
    • Se você acha que LLM não é algo ruim, então não entendo por que isso seria um problema. Se acha que é ruim, então deve conseguir enxergar o colapso da confiança e os danos causados ao trazer outputs de LLM para espaços humanos
      Não era isso que eu queria que acontecesse, mas este é o futuro que corremos para construir
      Nós quebramos isso, e não dá para consertar só com boa vontade. O mundo agora vai piorar para sempre, e, para reverter isso nem que seja um pouco, será preciso criar espaços onde entusiastas de LLM não apareçam
      Há pessoas que chegaram com um taco de beisebol e destruíram o espaço. O dano já foi feito, e não dá para voltar exatamente ao que era antes. Então, francamente, é ofensivo dizer “o clima fica desconfortável porque as pessoas tentam ver se estou segurando um taco de beisebol”. Na maioria das vezes, quem reclama realmente está segurando um taco de beisebol
      Claro que isso prejudica as pessoas. É óbvio. O que você acha que significa eu ser fortemente contra IA generativa? Não existe forma de usá-la sem causar dano
  • Não entendo por que este texto está sendo denunciado
    Suspeitas erradas sobre uso de LLM realmente existem e, como se vê no texto, têm impacto real na saúde mental do autor e na motivação para escrever. É um tema que vale plenamente ser discutido

  • O autor do post de blog que motivou a remoção acrescentou uma frase interessante
    Disse que lamenta que suas suspeitas tenham ferido os sentimentos do outro autor e que, na verdade, não se importava tanto se aquele texto tinha sido escrito manualmente ou não. Também reconheceu que não se importou o suficiente com o ser humano por trás do texto e que, embora goste de estilo, arte e artesanato, isso estava fora de foco naquele momento
    Disse ainda que teve uma experiência parecida quando um texto seu sobre a época em que viveu na floresta foi compartilhado no HN e, poucas horas depois, passou a ser suspeito de ter sido gerado por IA, de estar sob efeito de drogas, e foi denunciado; por isso, sabe como isso é desagradável e desanimador. Também afirmou saber o quanto uma revisão de artigo que desvaloriza seu trabalho já na primeira frase pode destruir a motivação
    Acrescentou que sempre fica triste quando acaba ferindo sentimentos e desmotivando alguém injustamente, e sempre fica feliz quando uma suposição pessimista estava errada

    • É realmente estranho e um pouco desagradável que não haja uma única palavra de “desculpa” aqui
      Olhando apenas para essas frases, há empatia de quem já passou por algo parecido e sabe que isso machuca muito, além de reflexão sobre ter julgado superficialmente a pessoa por trás do texto e feito algo ruim. Mas então ele não dá o último passo, que seria o mais natural para corrigir a situação
      Quanto ao site em si, antes de sair eu também enfrentei um erro no celular, o que foi bem irritante, mas, mais do que isso, era evidente que ali havia muito esforço envolvido. Guix é realmente um sistema muito legal, mas, como costuma acontecer com o projeto GNU em geral, é meio caótico, e encontrar boa documentação é quase como ganhar na loteria. Por isso, textos que explicam os conceitos em termos que mais pessoas consigam entender ajudam enormemente todos os usuários atuais e futuros
  • Como alguém com a pele bem grossa e que não liga muito para o que uns fulanos da internet pensam do que eu escrevo, ser suspeito de ter escrito com LLM quando na verdade não foi o caso acabou sendo uma das experiências mais desmotivadoras e frustrantes que já tive
    Talvez seja hora de parar

    • Dá para fazer uma reestruturação cognitiva
      Quando insinuam que eu usei um LLM, em vez de pensar “fui profundamente insultado por ser comparado a um chatbot”, penso “ah, essas pessoas não têm sensibilidade linguística suficiente para distinguir um texto bom de um ruim”
  • É uma pena que o texto tenha saído do ar. Achei que era um texto útil e cuidadoso como comparação entre Guix e Nix, e ainda mais por ter provocado outro texto tentando corrigir erros
    Para o leitor, os dois têm valor, e sem o primeiro texto o segundo provavelmente nem existiria
    É lamentável que tenha havido suspeitas de uso de LLM. Achei o texto bem escrito. Do ponto de vista dos críticos, algumas partes talvez tenham parecido “confiantemente erradas”, e isso é comum em “pesquisa” estilo LLM. Mas isso também é comum em não especialistas tentando descobrir quais “fatos” ainda valem ao vasculhar materiais barrocos da internet
    Estar errado na internet tem muito valor. Na prática, com frequência isso leva alguém a escrever uma refutação
    Espero que @coopi continue escrevendo

  • Agora estou até relutante em editar meus textos
    Quanto mais parecer um rascunho, algo próximo do balbucio inicial de um lunático, menos serei suspeito de ter escrito com LLM

    • Parece que você apontou na direção certa. Se eu começar a ver a boa escrita como um antipadrão, talvez meu bloqueio de escrita acabe
  • Acho que avaliações do tipo “isso foi escrito por IA” vão virar o equivalente moderno de “essa imagem parece falsa, dá para ver pelos pixels, eu já vi umas montagens”

  • Essa situação é triste. Sempre existe o medo de que um post de blog sofra reação negativa, e por isso já acho impressionante quando alguém publica algo ou envia seu conteúdo para um agregador
    Tem muita gente aqui para aprender, mas ao mesmo tempo também há muitos especialistas prontos para dissecar um texto em pedaços
    Eu costumo passar um texto finalizado por vários LLMs várias vezes e pedir: “como membro do $orangesite e do lobste.rs, comente este texto”. Isso ajuda a receber as críticas de antemão e a ganhar confiança no que vou publicar, mas muita coisa morre nesse filtro

  • Mesmo tentando ser o mais generoso possível, isso não faz sentido para mim

    1. Não entendo por que ele não enviou um e-mail primeiro para tropin. Ele pode tirar o texto do ar e publicar um aviso de remoção, mas, se não explicar o motivo, poderia evitar criar publicamente uma suspeita desnecessária de má conduta. tropin também não demonstrou a mesma cortesia, mas esse jeito meio de “vingança”, ainda que não intencional, não é saudável
      Hoje em dia, consigo até simpatizar com tropin no sentido de que esse tipo de suspeita, mesmo não sendo aceitável sem evidência, é ao menos compreensível. Na verdade, ele também disse que não se importava muito com o fato em si, “tenha sido escrito com LLM ou não”
    2. Também não entendo por que o texto foi apagado. A suspeita continua, o texto não oferece prova de inocência, e ele próprio diz isso. Ele poderia simplesmente não apagar e escrever sobre como se sentiu nessa situação. Se o objetivo era evitar assédio, não vejo como escrever outro texto público sobre o assunto ajudaria
    3. Quando você publica algo na internet, quase sempre vem alguma crítica injusta junto. Se você não consegue lidar com crítica injusta, talvez seja melhor evitar a escrita pública em geral, para o seu próprio bem
    • Dizer “se você não consegue lidar com crítica injusta, evite a escrita pública” é, na prática, culpar a vítima
      Não é muito diferente de dizer: “se você não aguenta que outras pessoas digam coisas cruéis, então sua perspectiva não merece ser ouvida”. Por que silenciar quem não fez nada de errado, em vez de dizer para quem está sendo cruel parar?
      Eu sei que não dá para controlar a internet inteira, mas pelo menos no lobste.rs não daria para parar com essa mania de jogar suspeitas sem fundamento em todo texto?
  • Uma coisa sobre a qual penso há muito tempo, em relação ao meu blog e à minha escrita, é “por que eu escrevo?”
    Escrevo só para mim, ou para leitores? Quem são esses leitores? Quem eu quero que leia, o que espero que tirem disso e por que isso me importa, ou seja, o que eu ganho com isso? Fico pensando continuamente nessas coisas
    Sendo sincero, no meu caso atenção, reconhecimento e ego também entram nisso. Tenho algo a dizer, e o fato de alguém escutar me dá alguma coisa. Também existe o prazer do próprio processo de escrever e um desejo estético de fixar com precisão algum sentimento em linguagem
    Ao mesmo tempo, também sinto uma dissonância. Quando algo que escrevi recebe atenção, muitos dos comentários que aparecem não são o que eu queria. Envolver-se com o texto de alguém de forma séria e generosa é muito difícil mesmo quando há essa intenção, e a maioria de quem comenta online nem sequer tem essa intenção. Ainda assim, continuo publicando também no lobste.rs e no HN e olhando as visualizações
    Como absurdista, acho que acabo aceitando essa contradição. Os desejos que sinto são impulsos evolutivos de buscar reconhecimento, reciprocidade e relação numa comunidade física real, mas que acabam sendo disparados por engano contra essa forma abstrata e parecida com comunidade que é o ato de blogar na internet
    Então, quando vejo gente tentando avaliar se coopi está sendo racional, isso me faz pensar nisso: na premissa de que, se você publicou algo na internet, deveria estar preparado para certas reações; na premissa de que haveria algum tipo de homogeneidade em por que as pessoas escrevem, por que compartilham publicamente e como deveriam reagir. Quase nada em escrever para 1 bilhão de anônimos como leitores é racional desde o começo