SlopStop: sistema comunitário do Kagi Search para detectar conteúdo gerado por IA

• Para limpar a web poluída por spam gerado por IA e fazendas de conteúdo, o Kagi Search introduziu o sistema de detecção com participação da comunidade “SlopStop”
• O SlopStop exibe, nos resultados de busca, uma “pontuação de AI slop” em tempo real para textos, imagens e vídeos gerados por IA, e permite que os próprios usuários denunciem conteúdo de baixa qualidade
• Com rebaixamento automático no nível de domínio e recursos de filtragem de mídia gerada por IA, a plataforma reforça a exposição de informações mais confiáveis
• O SlopStop se integra ao projeto “Small Web” para priorizar criadores humanos e conteúdo autêntico
• Com isso, a Kagi pretende construir o maior conjunto de dados de AI slop do mundo e usá-lo futuramente em tecnologias de defesa contra alucinações e desinformação de IA

---

Definição de AI Slop e a resposta da Kagi

• AI slop se refere a conteúdo de IA enganoso ou de baixo valor criado com o objetivo de manipular rankings de busca ou ganhar atenção
  • Exemplos incluem avaliações falsas, falsa autoridade, informações incorretas e fazendas de conteúdo focadas em monetização
• A Kagi não rejeita a IA em si, mas afirma que conteúdo de IA que substitui a percepção e a conexão humanas é prejudicial
• A filosofia da Kagi é uma “experiência de busca em que os humanos mantêm o controle”, e a empresa já vinha rebaixando páginas de baixa qualidade centradas em anúncios e rastreadores
• O SlopStop expande os filtros de imagem existentes para detectar conteúdo gerado por IA em toda a busca, incluindo vídeos, artigos e domínios

Como o SlopStop funciona

• Foi adicionada aos resultados de busca a função de exibição da pontuação de AI slop, permitindo que o usuário verifique imediatamente a confiabilidade do conteúdo
• Os usuários podem denunciar conteúdo de baixa qualidade em resultados da web, imagens e vídeos por meio da função “denunciar como conteúdo gerado por IA”
  • A Kagi valida essas denúncias com sinais próprios e então rebaixa automaticamente domínios com alta proporção de conteúdo de IA
  • No caso de domínios mistos, apenas páginas individuais recebem a marcação de conteúdo gerado por IA
• Imagens e vídeos gerados por IA são rotulados e automaticamente rebaixados assim que confirmados, e os usuários podem escolher um filtro para bloquear completamente mídia de IA
• O CEO Vlad afirmou que o “AI slop é uma ameaça existencial para uma internet centrada no ser humano, e o SlopStop é o primeiro passo para eliminá-lo”

A combinação de SlopStop e Small Web

• Embora o avanço da IA seja rápido, SlopStop e Small Web juntos têm como meta restaurar um ecossistema web centrado no ser humano
• O Small Web constrói uma lista branca de criadores humanos verificados para priorizar conteúdo autêntico
• Quanto mais o SlopStop filtra conteúdo de IA, maior fica a visibilidade de conteúdo criativo e humano
• Os dois sistemas funcionam como uma defesa em duas camadas para proteger a internet contra comercialização excessiva e poluição artificial

Construção e uso do conjunto de dados de AI Slop

• O SlopStop é uma etapa de reforço da confiabilidade em todo o ecossistema Kagi e combina denúncias da comunidade com tecnologia interna de detecção para construir o maior conjunto de dados de domínios de AI slop do mundo
• Esse conjunto de dados será usado no desenvolvimento de tecnologias de detecção para prevenir alucinações, alegações falsas e desinformação de IA
• A Kagi cita uma pesquisa da NewsGuard ao afirmar que 30% a 41% de outros chatbots geram respostas falsas
• O banco de dados será divulgado no futuro, e usuários interessados podem se cadastrar para receber atualizações

Participação dos usuários e proteção da qualidade

• A Kagi está promovendo o desenvolvimento de uma solução final automatizada por meio da operação do SlopStop baseada em crowdsourcing
• Os usuários podem participar clicando no ícone de escudo ao lado do resultado de busca → selecionando “denunciar como conteúdo gerado por IA”
• Todas as denúncias são verificadas pela equipe de revisão da Kagi antes de serem refletidas, contribuindo para a melhoria da qualidade da busca
• A Kagi oferece documentação técnica e fórum do SlopStop para explicar o funcionamento e fornecer canais de feedback
• A Kagi destaca que “a participação de todos os usuários cria uma experiência de busca mais confiável”

[GN⁺]

Comentários do Hacker News

• Isso é realmente interessante. Seria bom se o HN também se inspirasse nisso e adicionasse uma flag parecida
  • Pedi acesso ao banco de dados ao @freediver. Em breve isso deve ser integrado ao hcker.news
    Gosto da abordagem centrada na comunidade da Kagi. A lista Small Web pública é realmente útil.
    Aplicar o filtro smallweb no HN deixa a página inicial bem mais fresca
  • Concordo
• O HN também precisa disso. Seria bom ter um refúgio seguro contra esse tipo de conteúdo que parece spam avançado
  • A solução é simples. Basta exigir verificação humana para todo comentário. Por exemplo, mandar uma gota de sangue por comentário
• No documento, eles diferenciam slop de imagem, vídeo e “página da web”, então fiquei pensando se haveria uma forma de filtrar agressivamente só o slop de páginas da web
  Às vezes há textos com insights de verdade, mas com uma imagem de cabeçalho feita por IA. Se o corpo do texto for autêntico, eu não gostaria de filtrar esse tipo de artigo. Fico curioso se essa distinção do documento permite esse nível de filtragem mais fina
• Gostaria que alguma pessoa inteligente pesquisasse uma teoria minha. Talvez a chave da detecção seja aprender a diferença de entropia entre conteúdo escrito por humanos e por LLMs
  Por exemplo, algo como o “teste do Will Smith comendo espaguete”: se você comparar a entropia de uma cena real com a de uma cena gerada, parece que a diferença fica clara. No fim, “parecer real” significa corresponder ao nível de entropia que esperamos
  • Não acho que slop de IA possa resolver slop de IA. Publicidade e a economia da atenção já tinham virado slop, e a IA só deixou isso mais evidente.
    É fácil para a IA aumentar artificialmente a entropia. No fim, isso vira uma guerra de informação, e as pessoas serão as vítimas
  • Na verdade, esse é o princípio básico dos “detectores de IA”. São modelos treinados para classificar conteúdo humano vs. conteúdo gerado por LLM, mas como todo mundo sabe, a precisão é péssima
  • Esse tipo de tentativa já existe. Em imagens, funciona por causa dos artefatos de modelos de difusão, mas em texto não dá muito certo.
    Texto tem densidade de informação alta demais, e modelos tipo GPT são treinados justamente para minimizar a entropia que você mencionou
  • Pode funcionar para distinguir foto real de foto gerada por IA, mas em texto não acho que a entropia seja tão importante assim.
    Além disso, a IA também pode perfeitamente ser treinada para enganar essa detecção
  • Achei que o “teste do Will Smith comendo espaguete” fosse piada, mas fui pesquisar e ele realmente existiu. Impressionante
• A internet não morreu, mas começou a cheirar estranho
• Sou assinante pago do Kagi há 1 ano. Foi de longe o gasto mais valioso que fiz.
  Recentemente usei a busca do Google e foi realmente horrível.
  Eu quero uma internet silenciosa — um lugar onde você faz uma pergunta e recebe uma resposta, sem intenção oculta nem anúncios, só respostas sinceras
• Acho que a abordagem escalável no fim é fazer a IA identificar IA. Claro, com revisão humana obrigatória
  A maioria das pessoas provavelmente não consegue distinguir texto de IA que saia da “voz padrão” do prompt
  • A próxima geração de modelos vai evoluir excluindo do conjunto de treino as amostras classificadas como IA.
    Esse ciclo vai continuar, e é parecido com a estrutura de uma GAN (Generative Adversarial Network)
  • Colocar IA para pegar IA é parecido com a fantasia do problema de alinhamento de que “a IA boa vence a IA ruim”. Pode até ser possível, mas depende de suposições demais
  • Se a IA pudesse detectar IA com confiabilidade, isso já estaria resolvido. O problema central é a falta de confiabilidade
  • Se você trabalhar o prompt com cuidado, dá para gerar texto difícil de detectar.
    Mas a web real continua cheia de slop de IA.
    Eu costumo procurar informação em que a veracidade importa, então mais importante do que detectar IA é a confiabilidade da fonte.
    No fim, o essencial é quem escreveu colocando seu nome ou sua reputação em jogo
• Parece que o mundo atual está dividido em dois universos. Um é o universo que empurra conteúdo gerado goela abaixo, e o outro é o universo que rejeita isso completamente
  Não entendo por que alguns CEOs insistem tanto nisso. As pessoas odeiam conteúdo artificial, e mesmo assim eles continuam obcecados
  • No YouTube existe um enorme público que gosta de conteúdo gerado por IA.
    Por exemplo, este vídeo e este vídeo foram feitos com roteiro escrito por GPT, ilustrações por IA e voz por IA.
    No Reddit também, textos escritos por GPT chegam ao topo, e as pessoas elogiam dizendo que são “belas metáforas”.
    No fim, muita gente gosta de conteúdo de IA sem perceber
  • A insistência dos CEOs vem principalmente da pressão dos conselhos e de Wall Street. Na prática, são pessoas que nunca nem usaram LLM reagindo a sinais de mercado
  • É um caso clássico de falácia do custo afundado somada à obsessão por crescimento. Mais do que lógica, quem manda é a moda e a ansiedade dos investidores
  • A Kagi também não excluiu completamente os LLMs. Ela de fato usa LLMs em resumos de notícias
    Como dá para ver nesta issue relacionada, é difícil excluir totalmente por causa da eficiência econômica
  • Se criadores precisam divulgar o uso de IA, então eu deveria ter o direito de filtrar isso.
    Hoje em dia está difícil demais encontrar conteúdo autêntico.
    O problema não é tanto o conteúdo de IA em si, mas o ambiente em que criadores caprichosos acabam soterrados
• A situação atual parece uma partida em que a IA joga xadrez contra si mesma.
  A detecção fica mais sofisticada, e a IA mais ardilosa. É um duelo sem fim de detecção contra evasão
• “A guerra do slop começou”
  Apoio toda tentativa de conter a avalanche de slop de IA nos resultados de busca.
  Parece a volta do antigo spam de SEO, só que com outra embalagem
  • Desta vez é muito pior. O spam de SEO antigo era fácil de identificar a olho nu, mas agora está cheio de lixo aparentemente perfeito.
    O motivo de outros buscadores gostarem disso é que conseguem reforçar seu papel de porta de entrada sem precisar criar conteúdo por conta própria
  • Ironicamente, o grupo que mais odeia conteúdo de IA é o setor de SEO.
    Isso porque os resumos por IA estão substituindo o conteúdo caça-clique deles.
    Talvez eles até estejam por trás desse movimento de filtragem