- Benn Jordan vinha recebendo repetidamente pedidos, por meio de algumas mensagens e marcações recentes, para esclarecer sua posição sobre Israel
- Isso aconteceu apesar de ele já ter declarado publicamente de forma consistente que é contra o genocídio e apoia a criação de um Estado palestino, mas mesmo assim mensagens estranhas continuaram chegando
- Ao verificar, descobriu que o Google AI Overview estava criando e divulgando em nome de Benn Jordan uma elaborate story (história elaborada, porém falsa) que não correspondia aos fatos
- Conteúdo resumido pelo Google AI Overview sobre Benn Jordan
O músico eletrônico e youtuber de ciência Benn Jordan teria se envolvido recentemente no conflito Israel-Palestina, provocando grande controvérsia e debate online, e teria publicado um vídeo no YouTube intitulado "I Was Wrong About Israel: What I Learned on the Ground", no qual compartilha sua experiência de viagem a Israel e entrevista moradores de kibutzes próximos à fronteira com Gaza. O vídeo mostraria entrevistas com moradores desses kibutzes para compreender o conflito diretamente no local, e, após sua publicação, teria desencadeado debates e comentários em várias redes sociais.
- Conteúdo resumido pelo Google AI Overview sobre Benn Jordan
- Porém, Benn Jordan nunca foi a Israel. Ele também nunca publicou esse vídeo; o AI Overview o confundiu com Ryan McBeth, uma pessoa que publica vídeos militares
- Como resultado desse conteúdo gerado por IA, espalharam-se mal-entendidos que contradizem sua posição real, o que acabou impondo aos usuários pressão social e percepção pública equivocadas
- Benn Jordan está discutindo com um advogado se é possível entrar com um processo
4 comentários
A baixa confiabilidade do AI Overview já é bem conhecida, mas isso aqui é um pouco grave.
Isso daria processo, hein....?
Uau, essa história é chocante demais.
É terrível imaginar o que poderia acontecer comigo também se eu acabasse numa situação dessas por causa de um tema específico.
Comentários do Hacker News
Acho que este é um caso emblemático de quanto as alucinações de IA e a falta de precisão podem afetar nossas vidas daqui para frente. Dá medo ver um tema tão sutil e importante ser tratado só em nível de manchete, especialmente se o público não entende direito como essa ferramenta funciona. Antes, mesmo um humano pelo menos dava uma passada de olho na informação; com IA, nem isso dá para esperar.
Já vi várias vezes pessoas copiarem e colarem resultados de conversas com IA ou respostas em issues do GitHub, e-mails etc. E sinto que cada vez mais gente tende a confiar sem senso crítico no que esses modelos produzem. O mesmo vale para os “resumos” que aparecem no topo dos resultados do Google. Quase todo resumo que li tinha pelo menos um erro grave; se fosse sobre um assunto que eu não conhecesse bem, eu poderia simplesmente acreditar. No geral, “confie, mas verifique” está ficando cada vez mais importante, mas na prática acho que agora até a confiança precisa ser limitada.
A lógica de que coletar em massa conteúdo protegido por direitos autorais para criar modelos de IA seria uma obra transformativa é usada como base de justificativa. Se essa alegação estiver correta, então acho que empresas como o Google devem responder por esses resultados. Se é uma obra transformativa, não dá para jogar a responsabilidade em outra pessoa. Não se deveria permitir que essas empresas ficassem com o melhor dos dois lados. Tenho curiosidade para ver como essa discussão vai evoluir.
Acho que o melhor é parar de julgar as pessoas com base na posição delas sobre Israel e Hamas, e tudo bem simplesmente não conviver com quem age assim. Não me importo muito se alguém representar minha opinião de forma errada. Para fazer isso, eu teria que largar lugares com muita discussão política como Bluesky ou HN, mas até opiniões legítimas já estão sendo transmitidas de forma extremamente enviesada e incorreta, e a IA está no nível de cara ou coroa. Se alguém quiser me convencer de que entende bem esse tema, estou disposto a ouvir, mas não acho que seja necessário fazer isso aqui.
Acho que o Google deve ser responsabilizado por esse tipo de resultado. Como é a entidade que publica e hospeda esse conteúdo, deveria responder por todo conteúdo difamatório.
Essa história provavelmente vai crescer o suficiente para encobrir o caso do vídeo falso, e então a IA vai acabar resumindo automaticamente essa polêmica do vídeo falso com base nos principais resultados de busca.
Pesquisei por "benn jordan isreal", e o primeiro resultado foi um vídeo de outro criador, com exatamente o mesmo título e a mesma data. No vídeo não há menção a "benn", e "jordan" aparece só um pouco como país. Parece que só isso já bastou para o Google alucinar alguma relação, o que é muito preocupante.
https://www.youtube.com/watch?v=qgUzVZiint0
Acho que é quase certo que foi isso que realmente aconteceu. A resposta de IA do Google não é mágica; ela só resume resultados de busca. Neste caso, ela puxou um vídeo em que “Israel” e “Jordan” aparecem juntos e entregou um conteúdo com posição completamente oposta. Como a interface esconde muito contexto, é difícil descobrir onde exatamente deu errado. No modo IA, ele executa várias buscas, agrega snippets de mais de 100 sites e depois gera um resumo.
O ponto interessante nessa discussão é que ela faz surgir a dúvida se resultados de busca sobre temas gerais são comumente usados como base para treinamento de LLMs ou para recuperação de informação.
Você pode se surpreender ainda mais se souber como a tradução por IA realmente funciona. É um processo de torcer vários idiomas em algo parecido com inglês americano.
As pessoas geralmente pesquisam no Google coisas com as quais não estão familiarizadas, e o que o AI Overview gera parece plausível para quem não entende do assunto. Mas na prática erra muito. Não só em casos sérios como este; já houve também o caso em que recomendou passar cola na pizza. Se você pesquisar no Google alguns temas que conhece bem e conferir o resumo geral, vai perceber que ele erra com bastante frequência. Na minha experiência, só cerca de 1 em cada 5 não tinha um erro grande. Existe a frase “o plural de dado não é anedota”, mas ele erra com tanta frequência que eu instalei uma extensão para bloquear isso.
Eu percebi que ele é relativamente preciso quando trabalha sobre conteúdo já estático e bem organizado, como Wikipédia ou blogs. Em compensação, com informação dinâmica — especialmente de redes sociais — ele tende a errar ao conectar relações. No geral, as pessoas estão esperando demais do AI Overview. O Google AI Overview não é superior, nem de longe, à busca na web de Claude, Grok ou ChatGPT. Na verdade, fica atrás em vários aspectos. Acho que foi uma função enfiada à força porque o monopólio da exploração de informação está sendo ameaçado por OpenAI e outros.
Sinto que o fato de a precisão do AI Overview ter melhorado em relação ao passado torna isso ainda mais problemático. Antes, ele errava com frequência suficiente e de forma suficientemente óbvia para ser fácil ignorar. Agora ele acerta com bastante frequência e sempre soa plausível, o que cria ainda mais a tentação de depender dele.
Vou parafrasear a melhor explicação que já vi sobre desinformação de IA “plausível”: resumos de IA são meio parecidos com aqueles podcasts genéricos ou videoessayists do YouTube quando abordam um tema técnico ou de nicho — a aparência e a confiança são tão polidas que quase parecem verdade, mas, se você for especialista no assunto, percebe que tudo o que sabe está errado ou, no mínimo, mal feito. Esse excesso de confiança ainda amplifica o “sinal de precisão” para o público geral, que não tem conhecimento adequado. E como a maioria de nós não tem conhecimento profundo sobre 90% dos temas, isso vira um problema sério.
Em um caso de alucinação de IA, apareceu a informação de que em 18 de agosto de 2025 Benn Jordan publicou um vídeo com impressões de sua viagem a Israel. Mas esse é exatamente o mesmo título de um vídeo recente de Ryan McBeth.
https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
É assustador como ele simplesmente liga a fonte do vídeo à pessoa errada.
A princípio achei que a IA tinha se confundido porque existiriam duas pessoas chamadas Benn Jordan, mas na verdade quem publicou esse vídeo foi Ryan McBeth. Fico curioso sobre como esse tipo de engano acontece.
Pode ser que o modelo usado pelo Google na página de busca seja menos inteligente por questão de redução de custos. Fico em dúvida se essa é uma boa estratégia num produto principal como a busca. Acho que seria melhor simplesmente tirar a IA da busca.
Provavelmente há algum trecho no vídeo em que aparece a palavra “Jordan”, e como é um país perto de Israel, isso deve ter criado uma associação errada.
Pelo que descobri, o vídeo do Ryan aparece acima do vídeo do Benn nas buscas do YouTube. Acho que a IA simplesmente tratou o resultado da busca do YouTube como fato sem nem conferir o nome do canal.
Isso não é culpa do Google. Há um aviso claro em texto 6pt no rodapé da tela: “As respostas de IA podem conter erros. Saiba mais”.
Isso é, sim, culpa do Google, porque está gerando e distribuindo diretamente conteúdo difamatório. Se alguém pesquisasse meu nome e a primeira linha dissesse que eu sou um criminoso sexual em determinada cidade, gostaria que pensasse em como isso pareceria. Não é uma citação do que outra pessoa disse; é simplesmente uma alucinação sem base alguma. Quase ninguém acharia que uma advertência minúscula dizendo que pode estar errado torna isso aceitável.
Foi dito que o aviso tem fonte 6pt, mas ao inspecionar o elemento vi que na verdade é 12px (9pt). Para referência, o texto normal do corpo (tirando os cabeçalhos) é 18px. É pequeno demais para chamar atenção, mas não chega a ser totalmente invisível.
Algumas semanas atrás, um pequeno empresário aqui da minha região descobriu que a IA do Google estava dizendo aos usuários, por engano, que sua empresa era uma fraude, por causa de informações de outra empresa sem relação, mas com nome parecido. Acabamos transformando em serviço principal justamente evitar que a IA destrua a reputação dos nossos clientes.
Sobre “As respostas de IA podem conter erros”, acho que talvez seja melhor as pessoas aprenderem a filtrar automaticamente os resumos de IA da mesma forma que ignoram anúncios.
https://news.ycombinator.com/item?id=44142113
A menos que a lei intervenha e faça um exemplo disso, em algum momento a IA vai acabar causando uma tragédia realmente grande.
Pergunto com base em quê a lei deveria intervir. Em geral, estar errado não é algo punível. Difamação exige intenção, e aqui isso claramente não foi intencional. A maioria das IAs também tem avisos sobre erros e alucinações. Em alguns países, como a França, a pessoa tem o direito de pedir correção, e pelo artigo parece que o Gemini já reconheceu e corrigiu esse erro. Se tornar alucinação de IA ilegal, os próprios LLMs podem acabar se tornando ilegais. Em vez disso, obrigar mecanismos de denúncia de informação falsa e filtros parece tecnicamente viável.
Eu gostaria de perguntar o que exatamente significa “fazer um exemplo disso”. Também concordo com limpar a contaminação causada por IA, mas sou contra uma sociedade centrada em processos judiciais. Acho que medidas legais, na prática, podem ser rapidamente abusadas.
Abordando do ponto de vista técnico, há uma pesquisa mostrando como resumos podem falhar quando se baseiam em resultados de snippets curtos do Google.
O Google precisa sustentar AI summaries em algo como 200 mil a 500 mil consultas por segundo. Usar um modelo bom o bastante para evitar alucinações sairia caro demais, então no fim usam um modelo rápido, barato e mais fraco. Além disso, fornecer resumos reduz a taxa de cliques em anúncios. Considerando tudo isso, acho que adotar esse formato de resumo foi uma decisão muito ruim do Google.
https://maxirwin.com/articles/interleaving-rag/