- Texto aborda o colapso da confiança na internet com foco no caso em que, ao pesquisar o relançamento para Sega Genesis no Japão, ‘Phantasy Star Fukkokuban’, foi encontrado um artigo falso gerado por IA sobre algo que não existe de fato
- Um site exibido no topo dos resultados de busca publicou um texto com conteúdos totalmente diferentes da realidade, como melhorias gráficas e efeitos climáticos, e depois se revelou uma ficção produzida por um grande modelo de linguagem (LLM)
- O autor também confirmou diretamente o fenômeno de alucinação (hallucination) causado por falta de dados de treinamento ao pedir ao ChatGPT que descrevesse o mesmo jogo, recebendo plataforma e conteúdo incorretos
- Esse tipo de conteúdo gerado automaticamente está entrando em massa em sites de anúncios voltados a SEO, reforçando uma estrutura que espalha informações falsas porém plausíveis sem verificação
- Como resultado, a base de conhecimento compartilhada da internet está sendo danificada, e a conclusão é que informações confiáveis acabam dependendo de sites com reputação estabelecida antes da era dos LLMs
Caso Phantasy Star Fukkokuban
- ‘Phantasy Star Fukkokuban’ para Sega Genesis, lançado no Japão em 1994, é uma reedição que contém o jogo original de Master System como ele era
- Em alguns consoles Genesis, jogos de Master System não podem ser executados, então esse cartucho também não funciona
- Ao tentar confirmar a data de lançamento desse jogo, o autor encontrou, no topo dos resultados de busca, um site com informações falsas
- O site em questão, ‘Press Start Gaming’, mencionava melhorias gráficas, efeitos climáticos e ciclo de dia e noite, mas nada disso existe no jogo real
- Embora a primeira frase do artigo fosse “Game data not found”, em seguida vinha uma descrição plausível gerada por IA
O problema das alucinações em grandes modelos de linguagem
- LLMs funcionam com base na previsão do próximo token e, em temas raros que não estão nos dados de treinamento, criam ficções plausíveis
- Ao combinar a série ‘Phantasy Star’ com o significado da palavra ‘Fukkokuban’ (edição relançada), o modelo imaginou uma versão remake que não existe
- Quando o autor pediu ao ChatGPT uma descrição do mesmo jogo, recebeu uma resposta que o identificava erroneamente como uma compilação para Sega Saturn
- Na prática, parece ter havido confusão com outro jogo chamado ‘Phantasy Star Collection’
- De forma semelhante, também existe na web em japonês uma descrição fictícia gerada por IA sobre outro jogo raro abordado pelo autor, ‘Mahjong Daireikai’
O colapso da confiança na internet
- O site ‘Press Start Gaming’ é presumivelmente uma plataforma de conteúdo automatizado voltada à receita com anúncios
- Na parte inferior do site aparece a frase “©2025 Cloud Gears Media”, mas a relação com uma empresa real é incerta
- Esses sites priorizam aparecer nas buscas (SEO) acima da transmissão fiel dos fatos
- Com a adoção de LLMs, o custo de produzir desinformação despencou, e conteúdo não verificado se espalha em massa
- Antes, mesmo redatores mal pagos faziam ao menos uma checagem mínima dos fatos; agora a IA gera ficção completa
- O autor afirma que “agora é difícil confiar em sites novos” e comenta que passou a depender apenas de veículos que construíram reputação antes da IA
Danos ao ecossistema informacional na era da IA
- O autor avalia que o “conhecimento compartilhado (common)” da internet já foi danificado a um ponto sem retorno
- Até fontes confiáveis correm o risco de serem contaminadas por conteúdo de IA
- Como exemplo, cita o caso em que a Ars Technica publicou um artigo com citação gerada por IA e depois fez correção e retratação
- Se os LLMs passarem a integrar mais dados, a precisão pode melhorar algum dia, mas o dano atual já está em curso
- O autor diz que “este texto é apenas um rant” e enfatiza a sensação concreta de perda de confiança na internet
Conclusão
- O ecossistema de conteúdo centrado em IA e SEO prioriza a eficiência de produção acima da veracidade da informação
- Como resultado, textos gerados automaticamente sem checagem de fatos aparecem no topo das buscas e prejudicam a base do aprendizado e da investigação dos usuários
- O autor encerra declarando que “não dá mais para confiar na internet”, sugerindo a urgência de restaurar a confiança no conhecimento digital
1 comentários
Comentários no Hacker News
Estou construindo uma rede mesh na minha cidade com alguns amigos
A internet aberta já vinha em declínio há muito tempo, mas os LLMs estão acelerando seu fim
Já aceitei que a internet dos anos 90 até o começo dos anos 2000 morreu
Daqui para frente, acho que a alternativa são redes locais em que se possa confiar
É triste ter que recuar para espaços exclusivos por causa de gente obcecada só em ganhar dinheiro
O ponto central não é a rede, mas a qualidade do conteúdo
Basta criar um fórum para o qual só sejam convidadas pessoas confiáveis
Boa sorte na tentativa
No momento estou refinando um tocador de MP3 baseado em rede; ainda está bem no começo, mas estou otimista
Link do projeto
Acho que uma possível razão para haver muito mais desinformação online hoje em dia do que antes pode ser os mercados de previsão (prediction markets)
É uma estrutura que distorce a própria percepção das pessoas para que alguém possa apostar dinheiro
Depois do caso do supercondutor LK99 em 2023, esse fenômeno parece ter aumentado muito
Mercados de previsão permitem negociar informação com dinheiro, mas não são grandes o bastante para sustentar a disseminação de desinformação deliberada
Acho que a principal causa são mais os políticos, influenciadores e a desinformação de engajamento voltada a receita publicitária
O problema é o colapso da confiança na internet
Antes era uma questão de cair ocasionalmente em informação errada, mas agora há uma enxurrada de conteúdo reproduzido por bots
A proporção de humanos para bots está quase chegando a zero
No fim, foi como se tivéssemos incendiado a web
Agora parece que até quem estava no controle já não entende mais o que está acontecendo
Então é possível que os modelos atuais acabem sendo, ironicamente, a versão menos enviesada que vamos ter
Pensei muito em como proteger o HN, mas no fim parece que não há resposta além de um sistema baseado em convites
Hoje em dia é emocionalmente exaustivo, porque às vezes já nem dá para saber se um comentário foi escrito por uma pessoa
O clima é de tratar IA quase como religião, e há uma mistura de contas-bot com comentários filtrados por IA
O Fediverse, como o Mastodon, ainda parece saudável, mas um dia aquilo também vai ser contaminado
A relação sinal-ruído (SNR) da internet está no nível mais baixo da história
Acho que a única solução são assinaturas digitais verificadas como humanas
Por meio de sistemas como o eIDAS, deveria ser possível provar que você é humano sem abrir mão do anonimato
Link para a discussão relacionada
O anonimato deve ser preservado, mas é preciso uma estrutura que impeça ataques Sybil
Fiquei chocado enquanto procurava vídeos sobre o Intel i7-4790T
A maioria dos vídeos recentes era conteúdo “slop”, com narração de roteiros gerados por LLM
O produto nunca nem foi vendido no varejo, mas canais do YouTube publicam dezenas de vídeos por dia para ganhar dinheiro com links de afiliado da Amazon
Vídeo de exemplo 1 / Vídeo de exemplo 2
Agora que o custo de produzir conteúdo falso ficou praticamente zero, precisamos de um mecanismo de confiança escalável
Pessoalmente, a estrutura de Web of Trust me parece atraente
Algumas pessoas vão acabar excluídas, mas isso é inevitável
Estou construindo um arquivador auxiliar baseado no protocolo Gemini
Vou registrar apenas a web permitida por robots.txt
Dá para formar uma rede de confiança não só entre pessoas, mas também entre sites
Pode começar com comunidades locais ou grupos de hobby e ir se expandindo aos poucos
Recentemente, enquanto procurava informações sobre o novo Hollow Knight, vi vários sites falsos de guias feitos por LLM
Como o jogo foi lançado há apenas seis meses, ainda não existe muita informação real, então parece algo voltado a receita publicitária
Fico me perguntando se criar conteúdo falso compensa financeiramente até mesmo em um tema de nicho como esse
É a teoria da assimetria das bobagens funcionando na prática
Sites com SEO ruim tendem a ser mais confiáveis
Acho que o futuro da internet vai para comunidades baseadas em convite
Fico curioso se veremos a próxima geração de fóruns ou se vamos voltar à época do phpBB
Só vai sobreviver conteúdo que não vire alvo de jogos ou spam
Tem um clima parecido com o do HN, mas funciona com uma estrutura só por convite