PhysicsForums e a teoria da internet morta

 (hallofdreams.org)
1 pontos por GN⁺ 2025-01-26 | 1 comentários | Compartilhar no WhatsApp
  • No arquivo antigo da comunidade científica PhysicsForums, criada em 2001, foram encontrados indícios de textos gerados por LLM inseridos com datas retroativas e atribuídos a nomes de usuários já existentes
  • Ao comparar a relação monotonicamente crescente entre IDs de postagens e horários de publicação, foi possível identificar um padrão de inserção retroativa; após excluir exceções legítimas, como a fusão com o MathHelpBoards, cerca de 115.000 postagens são estimadas como tendo sido escritas por LLM
  • O caso mais representativo, da conta ravenprp, tinha apenas 74 postagens no registro do Wayback Machine em 2019, mas agora aparece com 2.891; as 2.817 postagens adicionadas se espalham desde antes da criação da conta até depois do último login
  • As postagens geradas por LLM são estimadas em cerca de 1,6% de todas as postagens e aproximadamente 3% do total de palavras, mas, incluindo FAQ e resumos, a proporção de conteúdo escrito por humanos em todo o site cai para 66%
  • Greg Bernhardt respondeu que recursos de IA e testes com contas experimentais não atingiram os padrões de qualidade, mas atribuir textos a identidades de usuários existentes sem consentimento prejudica a confiança da comunidade e a integridade do arquivo

O valor de arquivo de um antigo fórum científico

  • O PhysicsForums é uma comunidade científica iniciada em 2001 por Greg Bernhardt, com forte caráter de fórum voltado a fornecer dicas para tarefas de física
  • O site cresceu de forma relativamente constante até 2012, mas depois a atenção migrou para sites centralizados como o StackExchange, e em 2025 restou apenas uma comunidade pequena
  • Diferentemente de muitos fóruns antigos da web, o PhysicsForums manteve as URLs de 2003 a 2025 e não apagou postagens antigas nem fechou o site, permanecendo como uma cápsula do tempo da internet do início dos anos 2000

Sinais estranhos revelados na conta ravenprp

  • A conta ravenprp atualmente parece ter escrito 2.891 postagens em sete meses, de setembro de 2006 a abril de 2007
    • Isso dá mais de 13 posts por dia em média, e o conteúdo assume várias identidades, como docente universitário, estudante de engenharia mecânica, recrutador de planta química, engenheiro estrutural, biólogo, físico médico, químico e engenheiro aeroespacial
    • Algumas postagens aparecem como escritas desde três anos antes da criação da conta até um ano depois do último login
    • Há até um post fazendo piada com “um modelo de linguagem desenvolvido pela OpenAI”, embora isso tenha ocorrido sete anos antes da fundação da OpenAI
  • No registro do Wayback Machine de 2019, essa conta tinha 74 postagens, mas agora aparece com 2.891
    • Em algum momento depois disso, postagens parecem ter sido inseridas diretamente no banco de dados, e as informações do perfil, como data de cadastro ou último login, aparentemente não foram atualizadas para refletir isso
  • Observando apenas as 74 postagens originais, ravenprp se parece mais com um estudante de engenharia elétrica que perguntava sobre livros de MATLAB, tratava de problemas com temporizadores IC 555 e compartilhava links sobre a equação de Bernoulli
  • Os pensamentos e textos dessas 74 postagens realmente escritas por uma pessoa acabam quase soterrados pelas 2.817 postagens adicionadas à mesma conta

O padrão de inserção retroativa revelado pelos IDs das postagens

  • As postagens e threads do PhysicsForums possuem IDs numéricos sequenciais
    • Em condições normais, um ID de postagem maior deveria corresponder a um horário de publicação mais recente
    • Podem existir exceções, como exclusão, restauração, divisão de threads ou problemas de banco de dados, mas o fluxo geral deveria ser monotonicamente crescente
  • Em 30.000 postagens coletadas aleatoriamente, essa regra se mantém na maior parte dos períodos
  • Uma das grandes exceções é a fusão com o MathHelpBoards em 2022
    • Um arquivo de cerca de 150.000 postagens foi integrado mantendo as datas originais
  • Excluindo a fusão com o MathHelpBoards e casos que parecem próximos do momento real de escrita, estima-se que cerca de 115.000 postagens tenham sido escritas por LLM e atribuídas a contas humanas
  • Os usuários afetados somam pelo menos 110 pessoas, com base em uma amostra representativa
    • Isso inclui autores de comentários iniciais, usuários de uma única participação, leitores de longa data e até o fundador e administrador Greg Bernhardt
    • Em cada conta, passam a existir opiniões atribuídas que não se sabe se o usuário real autorizou

Problemas de qualidade causados por FAQ e resumos gerados por LLM

  • Em uma thread de 2007 sobre a HP 50g Graphing Calculator, respostas e FAQ aparentemente geradas por LLM não aumentam o valor da informação original
  • A resposta escrita por LLM nessa thread acerta apenas um fato — a existência do “HP 50g Connectivity Kit” — e o restante não aparece no manual da HP 50g nem em outras fontes reais
  • O FAQ menciona funções “GET” e “PUT”, mas essas funções e “HP 50g Spreadsheet” não aparecem no manual, e os resultados de busca também não mostram isso fora dessa thread
  • Na contagem de palavras dessa thread, a parte escrita por LLM representa 92%
    • Summary: 99 palavras, não humano
    • Springo: 38 palavras, humano
    • Phys.org: 34 palavras, não humano
    • Shinny_head: 11 palavras, humano
    • Ravenprp: 164 palavras, não humano
    • FAQ: 260 palavras, não humano
  • Considerando o site inteiro, as postagens de LLM inseridas retroativamente são estimadas em cerca de 1,6% do total de postagens e aproximadamente 3% do total de palavras
  • Incluindo FAQ e resumos gerados por LLM, calcula-se que a proporção de palavras escritas por humanos em todo o PhysicsForums seja de 66%

Escritos por IA descobertos pela comunidade e mudanças ocultas

  • Usuários do PhysicsForums perceberam em novembro de 2024 uma anomalia na conta Azntoon, que parecia ter postado em uma thread de 2022 mesmo após o último login registrado em 2012
    • Na época, a discussão terminou com a hipótese de problema de banco de dados
    • Depois disso, a data do último login de Azntoon foi alterada para dezembro de 2022
  • Usuários do fórum discutem desde 2022 políticas para respostas geradas pelo ChatGPT
    • Vanadium 50 reclamou que as “barely-lucid posts” do ChatGPT geram muito trabalho e podem ser vistas como um ataque de DoS
    • Greg Bernhardt afirmou que o Stack Overflow parecia estar tentando proibir isso e que o PhysicsForums deveria ao menos identificar claramente conteúdo do ChatGPT como citação
  • Em 1º de abril de 2023, houve uma brincadeira de Dia da Mentira em que o nome de exibição foi alterado para ChatGPT, mas isso não foi entendido como se as postagens tivessem sido realmente escritas pelo ChatGPT
  • Usuários afetados pelo conteúdo de LLM foram escondidos do autocomplete de busca, e os links de perfil nas postagens também foram removidos
    • Isso tornou mais difícil clicar no perfil e verificar sinais estranhos, como a data do último login
  • Durante a redação do texto, a comunidade também descobriu problemas com o FAQ, e foi aberta a discussão low-quality FAQ discussion
    • O FAQ aparentemente não era visível para usuários logados
    • O FAQ foi removido, mas os resumos gerados por LLM no topo de threads fechadas permaneceram

A resposta de Greg Bernhardt e a explicação sobre os testes

  • Greg Bernhardt respondeu a perguntas sobre o uso de LLM no PhysicsForums dizendo que vários testes com IA estão em andamento para aumentar o valor da comunidade
  • Em um formulário de feedback de 2024, muitos membros disseram não querer recursos de IA, e ele respondeu que esses recursos seriam muito melhorados ou removidos
  • Ele afirmou que no ano anterior havia testado respostas de IA com contas experimentais, mas elas não atingiram o padrão de qualidade
  • Em perguntas adicionais, respondeu que imaginou um bot para fornecer respostas de alta qualidade em threads sem resposta por mais de um ano, mas a tentativa fracassou
  • Também disse que está considerando formas de limpar todas as threads sem resposta, porque elas acabam poluindo o fórum

Identidade de conta e integridade do arquivo

  • Preencher contas de usuários existentes com textos gerados por LLM abala a expectativa, em comunidades online, de que a identidade da conta pertence ao usuário
  • Mesmo contas relativamente anônimas têm conexão com a identidade real da pessoa por meio do que ela escreveu com aquele nome e do tempo que investiu
  • Quando se rompe o contrato social de interagir principalmente com humanos, diminui o valor da interação humana que comunidades online oferecem
  • Conteúdo antigo da web já é difícil de encontrar por causa de servidores desaparecidos e sites fechados, e, se dados gerados por IA com datas do passado se misturam a isso, a investigação de arquivos da internet fica ainda mais difícil
  • Operar um fórum envolve pressões como custo de servidor, manutenção de banco de dados, bots, DDoS, anúncios e competição por cliques, mas, se para sobreviver a comunidade compromete sua identidade central e a confiança dos usuários, a base do site enfraquece

Leituras relacionadas

1 comentários

 
GN⁺ 2025-01-26
Opiniões no Hacker News

  • O que sinto cada vez mais em relação ao conteúdo gerado por LLMs é que ninguém quer isso
    Se eu quiser conversar com uma IA, posso falar diretamente com uma IA. Leio blogs ou fóruns de discussão porque quero ver textos escritos por humanos, não textos genéricos de LLM copiados e colados sob o nome de uma pessoa
    Hoje em dia gasto bastante tempo e energia evitando conteúdo de LLM na web. Se estou lendo um texto e vejo aquele estilo ChatGPT tipo “As we dive into the ever-evolving realm of...”, volto imediatamente; em buscas de imagem, coloco vários filtros de exclusão como -AI, -Midjourney, -StableDiffusion. Em algumas buscas, até limito os resultados a antes de 2022
    Se o Google adicionasse um filtro global de “remover conteúdo gerado” que funcionasse direito, eu ativaria e provavelmente nunca mais desligaria. Também houve um estudo mostrando que usuários rejeitam imediatamente conteúdo que parece ter sido feito por IA, independentemente da qualidade, e por isso editores têm incentivo para lavar como humano textos de IA, fazendo-os parecer escritos por pessoas. Foi a primeira vez que vi métodos como manipular timestamps e sequestrar contas antigas

    • Concordo totalmente. Até agora, felizmente, tenho visto esse tipo de texto ser rebaixado por votos nas redes sociais, mas é surpreendente que haja gente que ache produtivo colar respostas do ChatGPT
      No Reddit, já vi posts do tipo “não sei bem, mas o ChatGPT diz isto”, e pior ainda, gente postando texto copiado do ChatGPT como se fosse próprio. O engraçado é que dá para perceber porque o estilo parece texto escrito por alguém de RH
    • O problema do modelo de “oferecer saída de LLM como serviço” é que, mesmo no melhor caso daqueles posts em formato de lista estilo ChatGPT que bagunçam meu feed, se eu precisasse do resultado de um LLM, eu simplesmente perguntaria diretamente a um LLM
      Talvez tenha algum valor para quem não tem acesso a um bom modelo, mas ninguém prefere o formato de uma página estática de dez parágrafos para responder mal a uma única pergunta. Uma interface real de chatbot pode apresentar as informações de uma forma adequada para mim, enquanto esses textos genéricos em formato de lista são apenas o mínimo denominador comum para o público mais amplo possível
      Outro problema é que reformular informações não cria informação nova. Quando procuro que tipo de óleo colocar no carro ou uma receita de muffin de mirtilo, preciso de evidências reais, como saber se o fabricante recomendou um óleo de determinada especificação ou se alguém realmente assou a receita e verificou o resultado. Regurgitar texto de outras fontes, em geral, não acrescenta nada à minha vida
    • Lembro da época em que, por volta do lançamento do ChatGPT 3, os comentários do Hacker News ficaram cheios de posts dizendo “sobre este assunto, o ChatGPT diz isto”
    • Eu também penso assim, e gosto dos LLMs em si. É divertido e interessante conversar com eles e escrever usando-os, mas todo mundo sabe que a confiabilidade é baixa
      Quando um texto me parece gerado por LLM, interpreto isso como sinal de que o autor não sabe mais do que eu, e não tenho como acreditar que aquela informação esteja correta
    • Uma boa comparação é com o vendedor em uma loja. Ninguém quer falar com o vendedor. Mesmo clientes leigos geralmente sabem mais sobre os produtos da loja do que o vendedor, então ele quase nunca ajuda
      Muitos clientes detestam vendedores, e alguns saem da loja ou nem entram por causa deles, fazendo a loja perder vendas. Ainda assim, essa prática continuou. Com IA, é melhor esperar o pior. Nem senso ético, nem julgamento de negócio, nem racionalidade vão impedir as empresas de empurrar IA para dentro de tudo. Parece que irritar os clientes é considerado mais importante

  • A tendência de que, por volta do início dos anos 2010, o Google começou gradualmente a deixar de colocar posts de fóruns tradicionais e blogs no topo dos resultados de busca, independentemente da qualidade, se não fossem sites “grandes”, também bate com a minha experiência com meu blog
    Por outro lado, é impressionante que de 2003 a 2025 eles não tenham mudado a URL, não tenham apagado posts antigos e o site também não tenha desaparecido. Os favoritos do meu blog de 2008 ainda funcionam
    O CMS já deixou de existir e tudo virou site estático, mas há organizações demais que, ao “renovar” sua presença na web, nem fazem esse nível de organização

  • É triste que isso tenha acontecido com o PhysicsForums. Foi um dos primeiros sites que eu usava bastante 15 anos atrás, quando tinha paixão por física, e depois quando comecei minha carreira
    Eu principalmente lia e às vezes também contribuía, e ainda me lembro dos membros que eu achava que um dia eu seria tão inteligente e saberia tanto quanto eles. No fluxo de migração para as redes sociais depois da Primavera Árabe, à medida que a era em que fóruns eram o centro das discussões foi passando, o clima começou a mudar
    Desde por volta de 2018, eu não visitava a não ser quando chegava por uma busca no Google e, depois, no Kagi, mas o arquivo ainda é útil para responder perguntas. Acho difícil concordar com a avaliação do texto de que ninguém se importa só porque os links não são compartilhados no Twitter

  • O texto enterrou demais o ponto principal. Quase no fim da história, o dono do site confirma que ele mesmo adicionou comentários de IA com datas retroativas. Talvez isso já fosse óbvio

    • A investigação sobre o que aconteceu nesse site específico é mais como uma ferramenta para mostrar uma questão muito mais ampla sobre conteúdo na internet, identidade e LLMs
    • Não consegui encontrar. Será que era para semear posts e tentar ativar o site?

  • Ao criar uma conta em uma comunidade online, existe um contrato social de que você vai principalmente interagir com pessoas. Haverá contas promocionais, bots e anunciantes, mas o acordo entre os usuários e o provedor da comunidade é que o provedor tenta nos defender dessas coisas, e nós oferecemos participação e conteúdo
    Por isso, o experimento da Meta com usuários gerados por IA é ridículo e repulsivo. Se você pode interagir com algo que finge ser humano, e o resultado é, na melhor das hipóteses, um lixo morno, o valor da interação humana pela internet desaparece
    Isso é uma catástrofe. Não vejo um futuro em que textos artificiais sem valor não acabem sobrecarregando todas as partes da internet e tornando-a inutilizável. A era do conteúdo gerado por usuários talvez já tenha acabado

    • Existem soluções. Uma delas é um sistema de confiança socializada. No Nostr, eu sei que a Lyn Alden que eu sigo é a pessoa real não apenas porque ela diz ser, mas porque muitas outras pessoas também a seguem
      Também existem contas-bot de impersonação, mas dá para bloqueá-las facilmente olhando o número de seguidores. Quando eu sei qual é a chave pública que a Lyn usa, posso ter confiança de que os posts publicados sob ela são dela
      Ela até poderia postar besteiras de LLM, mas as pessoas perceberiam rápido e deixariam de segui-la. A parte importante é que, a menos que eu queira, não há um algoritmo decidindo o que aparece no meu feed, então é difícil conteúdo aleatório de LLM entrar nele
      Outra opção são provas de identidade de conhecimento zero, que provam que alguém é humano sem expor informações pessoais, ou sem depender de um servidor central fazendo login por você: https://zksync.mirror.xyz/kWRhD81C7il4YWGrkDplfhIZcmViisRe3l...
    • No mínimo, o conteúdo aberto e público gerado por usuários parece estar chegando ao fim
      Ouvi dizer que há servidores do Discord que não dão acesso a todos os canais a menos que você tenha encontrado um administrador pessoalmente, alguém do grupo ateste por você, ou você seja “verificado” por chamada de vídeo
      Esse é o futuro. Precisamos de algo com uma estrutura como a do Discord, mas com mecanismos parecidos com páginas web — isto é, um espaço onde seja possível manter não só mensagens, mas também coleções de documentos — e acessível pelo navegador
      Só que, dependendo do modo de descoberta, essa nova “internet” deixará de ser um meio fácil de escapar de uma realidade ou lugar específicos. Um grande motor do uso da internet nos anos 90 e 2000 era a curiosidade de explorar novidades que não se encontravam na comunidade local, e o antigo Google confiável era uma peça central disso
      Para pessoas realmente antissociais, é uma mudança ruim, mas esse tipo talvez até prospere em um ambiente cheio de IA. Se possíveis hubs de entrada dessa nova internet humana de grupo para grupo mantiverem lobbies abertos, talvez dê para ter o melhor dos dois mundos
    • Fóruns apenas por convite, ou fóruns que façam algum tipo de verificação de identidade real, podem ser a resposta. Google e Facebook estão em boa posição para oferecer serviços de identidade online real a outros sites, o que torna ainda mais engraçado o fato de o Facebook estar criando bots ele mesmo
      No fim, talvez caminhemos para autenticação de identidade online emitida por bancos ou governos
    • Ironicamente, no Facebook eu só sou amigo de pessoas que conheço de verdade, então a maior parte do que vejo no feed foi postado por elas
    • O desfecho honesto parece ser que plataformas que permitem ou incentivam conteúdo de IA começarão a se parecer com videogames. Se todo mundo na escola é uma celebridade de mídia de IA, então ninguém é famoso
      Com certeza haverá mercado para um jogo de se tornar uma celebridade influenciadora instantânea, mas ele será muito menor que o mercado de redes sociais

  • Não entendi exatamente o problema de “backdating” ou sequestro de contas. Como isso foi feito exatamente? Li o texto e fiquei com a sensação de ter perdido alguma coisa

    • Na última seção, o administrador do PhysicsForums diz que está experimentando respostas geradas por LLM, então parece que o responsável é o dono do site
      Segundo a resposta de Greg Bernhardt, há vários testes de IA em andamento para agregar valor à comunidade, e muitos membros não querem recursos de IA. No ano passado eles experimentaram respostas de IA em contas de teste, mas elas não atenderam aos padrões de qualidade, e ele pediu que avisassem caso encontrassem contas de teste que passaram despercebidas
      Não faço ideia de por que contas humanas antigas foram reaproveitadas como “contas de teste” de IA
    • Provavelmente foi obra do dono do site. Seja uma nova administração, seja a equipe original ficando desesperada ou gananciosa, dá no mesmo
    • Quem opera o site ou o banco de dados simplesmente insere linhas com datas falsas sob nomes de contas existentes, provavelmente abandonadas
    • Eu tive a mesma dúvida. Foi difícil ler o texto até o fim. A descoberta em si é interessante, mas o texto não foi bem escrito, e foi difícil acompanhar o raciocínio do autor. As citações intercaladas no meio foram especialmente confusas

  • Gosto da hipótese de que originalmente eram contas reais
    Do ponto de vista de quem administra um fórum ou um blog com uma seção de comentários ativa, como você se sentiria se os usuários viessem, olhassem em volta e não dissessem nada por uma semana? No começo você cria tópicos com seu próprio nome e escreve respostas úteis, mas no fim acaba parecendo um idiota falando sozinho
    Se for um fórum com bom tráfego e muitos anúncios com cara de spam, com certeza imagino a tentação quando os visitantes vão embora por não haver posts novos
    Antigamente, em um fórum meio estagnado, criei duas contas com nomes parecidos usando o mesmo IP e discuti comigo mesmo. No começo achei que o operador ou outros usuários perceberiam, mas logo aprendi que acontecem coisas estranhas demais para que qualquer comportamento seja considerado estranho

    • Eu preferiria postar sozinho a ter a experiência atual, em que uma quantidade esmagadora de outros autores são spambots. Já passei por isso em dois fóruns

  • A ideia — ou a realidade — de que o dono de um site possa sequestrar as contas das pessoas para criar textos aleatórios de falsa autoria, talvez visando receita de publicidade, é revoltante e desanimadoramente deprimente
    Questões de confiança e atribuição sempre existiram na web, mas, por vários motivos, agora parecem muito piores. Não sei quão pior precisa ficar para que aconteça uma grande virada
    Também não sei bem qual seria a solução. Registrar o próprio nome ou handle como marca e, mesmo sem muito dinheiro, ao menos ameaçar processar? Todo mundo deveria assinar seus textos com chave privada usando uma infraestrutura de chave pública, e todos deveriam gastar CPU verificando assinaturas para detectar impersonação? Deveríamos capturar expectativas coletivas implícitas e formalizá-las dentro do arcabouço fragmentado dos sistemas jurídicos do mundo? Por exemplo, criar um “negócio” pequeno, mas plausível, que venda aconselhamento e opiniões sob aquele nome, e então alegar que o impostor prejudicou a marca

    • Impersonação, isto é, fazer parecer que alguém disse algo que na verdade não disse, deveria ser tratada como algo semelhante à difamação
      A forma como essas respostas são redigidas também é bem desconfortável. Mesmo tendo um diploma de engenharia, quando respondo de forma brincalhona online quase nunca digo “como engenheiro”. Isso porque, para responder com essa qualificação ética, seria preciso fazer uma análise suficiente. Mas o bot parece não ter esse pudor
      A pessoa chamada ravenprp era estudante de engenharia alguns anos atrás. Talvez pese menos por não comentar com nome real, mas, pela natureza do conteúdo desse site, pode facilmente surgir uma situação em que alguém que de fato trabalha em uma área e tem reputação profissional seja impersonado “como engenheiro”
      O site ainda tem o registro histórico de perguntas e respostas dessa pessoa ao longo de sua formação, o que pode induzir as pessoas de forma muito convincente a acreditar que um engenheiro de verdade está respondendo às perguntas. Sei que a noção de reputação profissional individual se enfraqueceu bastante no mundo moderno supercorporativizado, mas, quanto mais penso nisso, mais acho que isso é realmente péssimo e, na prática, chega perto de ser perigoso
    • É triste. Para evitar problemas estranhos, venho colocando um aviso de copyright no rodapé do meu currículo
      Sempre me perguntei se as pessoas poderiam anexar algum tipo de marca criptográfica aos próprios textos para vinculá-los a algum arquivo. Eu pensava principalmente em fazer backup de avaliações do Yelp para que não fossem derrubadas, mas não sei se isso também funcionaria para impedir textos que alguém não escreveu
    • Não deveríamos criar um protocolo que nos permita controlar o conteúdo que criamos, enquanto fóruns ou lugares como o Facebook sejam apenas mecanismos de descoberta e facilitadores de interação, e não os guardiões de toda comunicação? A capacidade de chegar independentemente à fonte da informação está se tornando cada vez mais importante
    • Com amigos próximos, troco chaves públicas pessoalmente. Uma solução em larga escala seria muito orwelliana. Para se conectar ao ISP, seria necessário um documento de identidade nacional em forma de smart card, e talvez até autenticação biométrica
    • Não assinem seus textos!

  • O fórum ShackNews https://www.shacknews.com/chatty era parecido. Se você voltar no tempo, dá para encontrar posts sobre os acontecimentos do 11 de Setembro enquanto eles se desenrolavam

    • A Ars Technica começou acrescentando a ideia nova de cobrir notícias de tecnologia em um fórum de telecomunicações. O fórum ainda existe, mas a camaradagem inicial já não é a mesma

  • Pelo que parece, americanos e talvez europeus gostam de todo tipo de fórum especializado, como o PhysicsForum. Em contraste, os chineses parecem preferir lugares centralizados
    Por exemplo, o Zhihu (zhihu.com) era um clone do Quora, mas hoje se tornou o maior site para encontrar discussões profundas em praticamente todas as áreas: matemática, aprendizado de máquina, história, física, engenharia, ciência em geral etc. Inúmeros pesquisadores, especialistas e entusiastas compartilham insights ali
    Já a qualidade do Quora parece ter piorado ano após ano, e a maioria dos especialistas está espalhada por todo tipo de fórum especializado. Fico curioso sobre por que surgiu essa diferença