Respostas de IA podem incluir erros

• O Resumo por IA da busca do Google inventou especificações plausíveis para um inexistente IBM PS/2 Model 280, e a resposta continuava mudando mesmo com a mesma consulta
• As respostas erradas descreviam o Model 280 como um sistema 286 baseado em ISA, misturando detalhes como lançamento em 1987, 1MB de RAM, 640KB de RAM, VGA e unidade de 1,44MB
• Algumas respostas diziam que o sistema 286 podia ser expandido para 128MB de RAM, mas o limite estrutural do 286 é 16MB, revelando contradições dentro da própria resposta
• Ao repetir a mesma consulta várias vezes, também aparecia a resposta correta de que “o Model 280 não é um modelo específico da série PS/2”, mas isso ocorria em apenas cerca de 10% dos casos
• Como resumos de busca com IA podem parecer mais convincentes para não especialistas quanto mais detalhes trazem, fica difícil tratar com leveza o aviso “AI responses may include mistakes”

---

O caso do inexistente PS/2 Model 280

• Ao procurar um sistema IBM PS/2 Server por volta de 1992, o nome do modelo foi digitado no Google, mas a máquina realmente procurada era um sistema com vários processadores 486 e Microchannel (MCA)
• O resumo por IA dos resultados de busca já começou dando uma resposta fora do alvo
  • Descreveu o PS/2 Model 280 como se fosse um sistema baseado em 286
  • E como se fosse baseado em ISA, não em Microchannel
• Mesmo repetindo a mesma consulta, só mudava a redação da resposta; o Model 280 continuava sendo descrito como um sistema 286 baseado em ISA

Especificações falsas que mudam a cada repetição

• O resumo por IA apresentava especificações diferentes cada vez que a consulta era repetida
  • Uma resposta dizia que o Model 280 tinha 1MB de RAM e podia ser expandido até 6MB
  • Outra dizia que a RAM básica era de 640KB
  • E repetia que ele vinha com unidade de 1,44MB e gráficos VGA
• Em outra tentativa, o Model 280 foi apresentado como um sistema 286 expansível até 128MB de RAM
  • Como o 286 tem um limite estrutural de 16MB, essa explicação não faz sentido tecnicamente
• O resumo por IA também afirmava que o Model 280 foi um avanço importante na linha de computadores pessoais da IBM e ajudou a consolidar o PS/2 como uma plataforma popular e confiável

Erro central: o Model 280 nunca existiu

• O maior problema é que o próprio modelo PS/2 Model 280 nunca existiu
• Mesmo com um número de modelo incorreto, a IA do Google gerou uma explicação que à primeira vista parecia plausível
• Como essas respostas trazem muitos detalhes e frases naturais, conteúdo falso pode facilmente parecer informação confiável

A resposta certa aparece só de vez em quando

• Se a mesma consulta for repetida vezes suficientes, a resposta correta até aparece
  • “O Model 280 não era um modelo específico da série PS/2”
  • Ou seja, a própria consulta continha um erro
• Mas, nas consultas repetidas, a resposta correta apareceu em apenas cerca de 10% dos casos, enquanto na maioria das tentativas a IA inventava o conteúdo
• Respostas alucinatórias não são apenas inúteis; a resposta errada pode parecer mais “real” do que a certa

Quando os resumos de busca com IA se tornam perigosos

• Um especialista pode perceber as inconsistências da resposta com relativa rapidez
  • Por exemplo, ao verificar a List of IBM PS/2 Models na Wikipedia, dá para confirmar que o Model 280 não existe
• Já os não especialistas têm grande chance de recorrer ao resumo de busca com IA e, ao mesmo tempo, uma grande chance de serem enganados por uma resposta errada
• É difícil confiar em um assistente de pesquisa que dá uma resposta diferente a cada vez e só acerta de vez em quando
• A frase do Google, “AI responses may include mistakes”, não é apenas um aviso genérico: resumos gerados por IA podem ser informações completamente falsas e sem relação com a realidade

[ndrgrd]

Acho que é melhor pedir ao LLM apenas para resumir. O processo de encontrar a fonte dos dados e verificá-la é indispensável.

[GN⁺]

Comentários do Hacker News

• O Gemini na Busca do Google inventa arbitrariamente coisas que parecem apoiar a consulta, sem se importar com contexto ou precisão. Está mais para confabulação completa, e, se você testar por conta própria, é absurdo
  Dá para usar como apoio de memória quando você já sabe o resultado que procura, mas, se não souber, é impossível confiar
  A saída do Google Veo também, olhando de perto, é cheia de falhas do mesmo jeito, e não parece haver nenhum vestígio de raciocínio envolvido na saída
  Erros ridículos do Veo: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
  Casos em que o Tesla FSD se comportou de forma estranha: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

  • Isso é mais incompreensível para mim do que qualquer outra tecnologia. O Google está mudando de direção apostando seu negócio principal em uma tecnologia seriamente defeituosa
    Como Ben Evans também diz, a promessa de que “vai melhorar” tem limite e, no fim, é uma promessa vazia
    Ontem, o AI Overview, ao procurar um evento memorial que aconteceria em uma casa de shows de Berlim, inventou por completo um álbum inexistente de um músico italiano já falecido
    Basicamente pegou o nome da casa de shows e afirmou que era uma das obras mais importantes do artista
    Engraçado foi que, quando colei essa resposta no ChatGPT, ele criticou o erro do AI Overview com um sarcasmo mordaz, e eu acabei rindo
  • De repente esse nível de qualidade é considerado normal e aceitável? Parece que ninguém reclama direito
    Antigamente isso nunca passaria, mas hoje o clima é de “tá mais ou menos bom”
    Não entendo por que deveríamos aceitar resultados falsos ou imprecisos
  • Uso uBlock para esconder as respostas do Gemini na busca. Porque até uma olhada rápida já pode contaminar minhas suposições sobre o que estou procurando
    Higiene informacional já era importante antes, mas daqui para frente parece que vai se tornar uma habilidade realmente essencial
  • Eu tinha uma dúvida sobre um carro e fiz uma busca no Google por [ano] [fabricante] [modelo] [função]. É o tipo de busca que o Google antigo provavelmente teria resolvido perfeitamente, mas agora 90% da página era lixo de IA sobre modelo errado, ano errado e até fabricante errado
    Havia um único vídeo do YouTube mais ou menos útil, mas só no fim da página encontrei uma resposta do velho estilo de busca do Google em um fórum de carros totalmente diferente. Obrigado, CamaroZ28.com
  • Há pouco tempo procurei uma dica para a sala do cassino no jogo Blue Prince, e o resultado de IA do Google ficou listando jogos disponíveis em um Blue Prince Casino nas proximidades
    Eu sei que, na realidade, ali perto só há uma prisão, um Costco, algumas casas rurais e um grande nada
    É impressionante ver a busca sendo preenchida no topo com lixo completamente falso e fabricado
    Isso também retorna informações ruins com frequência em temas como legislação trabalhista e em outras buscas
    Seria engraçado se as pessoas não dependessem disso de verdade

• Esse fenômeno é realmente frustrante. Eu entendo, ou pelo menos conheço, a natureza probabilística e as limitações dos LLMs, mas, quando aponto que minha esposa ou amigos estão usando LLMs de forma errada em tarefas para as quais eles não servem e não são confiáveis, eles só fazem um gesto de desdém e me tratam como um cético de IA
  Ainda pedem para LLMs fazerem contas e, por exemplo, dividir a conta, e chegam a tratar resultados de consulta de dados como 100% confiáveis e precisos

  • Ah, claro. Usar uma solução de alta tecnologia para um problema de baixa tecnologia. Vamos usar uma máquina de palavras para um problema numérico!
  • O complicado no uso cotidiano é que eles produzem resultados “mais ou menos certos” com frequência suficiente para que as pessoas comecem a criar hábitos em torno disso
  • É bem engraçado usar para cálculos simples. Não sei se fazem ele usar Python, mas... eu só sonho que sim
  • Usar LLMs ou a plataforma como um todo é um pouco parecido com fumar em um espaço fechado com outras pessoas por perto. É uma inconveniência para os outros
  • Eu não faço isso, mas, na verdade, dividir a conta talvez seja razoavelmente ok na maior parte do tempo. Imagino que os principais chatbots hoje já consigam acertar esse nível de tarefa
    O ponto principal é que, como um chatbot consegue lidar com uma ampla gama de tarefas, por que haveria motivo para trocar de contexto e abrir um app completamente diferente por causa disso?
    Acho que isso vai acontecer com mais frequência em outros casos de uso também, e, no fim, a usabilidade vence tudo

• Avisos de isenção simples como “As respostas da IA podem conter erros” ou frases como “O ChatGPT pode cometer erros. Verifique informações importantes”, no rodapé do ChatGPT, agora são claramente insuficientes
  Na verdade, já faz anos que saem notícias sobre prejuízos causados por alucinações de LLMs em áreas específicas, e mesmo assim as pessoas continuam sendo afetadas; portanto, se os provedores não conseguem corrigir completamente as alucinações, precisam educar os usuários de forma muito mais ativa sobre a possibilidade de erros
  Isso é necessário, mesmo que aumente o atrito

  • Isso não faz muito sentido. Ou se impõe responsabilidade legal aos provedores de LLMs pelo output do modelo, ou se mantém modelos como os de hoje
    O atrito já existe. Empresas de IA e provedores de nuvem já operam “modelos censurados”, e mais censura vem sendo adicionada em cada camada
    O que seria um atrito maior aqui? Mostrar mais pop-ups?
    Se escolherem a primeira opção, isso equivale, na prática, a matar o negócio de hospedagem de modelos
    As empresas ainda poderiam desenvolver modelos, usá-los internamente e oferecê-los a funcionários, mas as APIs públicas desapareceriam
    As empresas usariam ou licenciariam modelos umas das outras por meio de contratos juridicamente vinculantes, mas o público em geral ficaria sem acesso, a menos que existissem mecanismos para mitigar o risco legal
    Daqui a alguns anos, se a postura amolecer, algumas empresas podem começar a forçar os limites, automatizando processos de aprovação jurídica ou abrindo inscrições
  • Lembro de como a Apple Maps era duramente criticada sempre que dava direções erradas
    Quando o Google Maps levava pessoas para lugares errados, como bairros estranhos, isso também virava notícia e exigia resposta de crise de PR
    Agora basta colocar um aviso desses e pronto
    A tolerância da opinião pública que essas tecnologias recebem é desproporcional e desanimadora
  • Dizer que os usuários precisam ser educados de forma mais ativa sobre a possibilidade de erros pode ser um caso em que “aprender na prática é o melhor professor”
    Parece bem difícil criar um aviso de isenção mais eficaz do que levar uma ferroada uma vez
  • Os provedores de LLM não podem fazer isso. Toda a premissa desse boom é a substituição do trabalho intelectual humano
    Como o CEO da Anthropic falou recentemente sobre desemprego em massa, eles já vêm falando assim repetidamente
    Não vejo como dar destaque à possibilidade de erros pode coexistir com a promessa de substituir trabalho humano
  • O aviso de isenção deveria ficar no topo, em letras vermelhas e em negrito

• Modelos de linguagem não são projetados para saber algo, e sim para dizer algo. É por isso que são chamados de modelos de linguagem, não de modelos de conhecimento
  Dadas palavras já geradas, eles continuam adicionando a próxima palavra com base em quão comum aquela sequência é
  A razão de a resposta mudar toda vez é que um gerador pseudoaleatório influencia a escolha da próxima palavra
  O modelo olha para a distribuição de probabilidade das palavras seguintes mais prováveis, e se a configuração temperature for 0, não há influência aleatória, então sempre é escolhida a próxima palavra mais provável, ou seja, o top-1 MLE
  Em GUIs, isso na prática não pode ser definido como 0, porque isso produz um output que nós classificaríamos como “muito entediante”
  Portanto, o modelo não sabe nada sobre IBM, PS/2, 80286 e 80486, CPU, 280 ou sobre o próprio modelo específico
  Uma das respostas parece insinuar que o modelo 280 não existe; fico curioso se isso foi gerado por outro processo, por aprendizado por reforço a partir de feedback do usuário, ou se foi apenas um resultado afortunado da mesma escolha aleatória da próxima palavra

  • Não necessariamente. Eu uso modelos locais com temperature 0, e funciona bem
    Acho que a razão de UIs em nuvem não permitirem temperature 0 é que o modelo às vezes entra em repetição infinita de tokens, e, se o público visse isso, a imersão poderia ser quebrada
  • Isso está correto. Mas o motivo para ir ao Google não é “conversar”, e sim aprender algo que, na aparência, é baseado em conhecimento
    O Google parece estar cometendo o erro de trocar fornecimento de conhecimento por fornecimento de palavras
    Ainda assim, do ponto de vista do negócio real, que é receita publicitária, talvez não haja diferença

• No site de busca do Google, o aviso fraco “As respostas da IA podem conter erros” fica em letras pequenas e ainda escondido atrás do botão Show more
  Quando a OpenAI lançou o ChatGPT, eu precisei explicar a professores que não eram da computação que isso não era a IA do jeito que as pessoas imaginam, e que por enquanto estava mais próximo de uma travessura computacional que parece IA
  Mas aí ficou claro que essa travessura é excelente para colar em tarefas
  Se você não se importar muito com qualidade ou direitos autorais, também serve bem como trapaça em vários outros tipos de trabalho

  • Não entendo muito bem essa visão de “travessura que parece IA”. Mesmo que não seja “algo que sabe escrever código”, mas “algo que parece saber escrever código”, se no fim ele realmente consegue escrever código, então é algo que consegue escrever código
    Ficar discutindo o que ele faz internamente, como num debate do tipo “nenhum verdadeiro escocês”, não faz sentido
    Porque nós também não sabemos o que o cérebro humano faz internamente
  • É uma ferramenta de memória aumentada/recuperação de informação com interface flexível de entrada e saída

• O Gemini parece ter sido ajustado para responder às perguntas que as pessoas normalmente fazem, mas se você insere consultas de busca mais tradicionais, ele solta besteiras fabricadas
  Já vi muita gente tratando o AI Overview como se fosse um oráculo
  Acho que é assim que pessoas “comuns”, que não usam LLMs diretamente, interagem com IA
  Não parece ser algo dividido por faixa etária, como confiança em notícias; a confiança na saída de IA parece atravessar a maioria dos grupos demográficos
  A espécie humana parece gostar de respostas de computador confiantes sem fundamento

  • O Google está numa situação especialmente ruim aqui
    Por mais de 10 anos, aquele lugar na página de busca tinha uma UI de “conteúdo extraído da página”, e isso fazia sentido
    Economizava um clique e, se você confiasse no site original e tivesse alguma confiança na tecnologia de extração de trechos do Google, não havia muito motivo para desconfiar
    Por exemplo, se você pesquisasse uma pergunta médica simples e aparecesse um trecho da Mayo Clinic, isso bastava, porque você confia na Mayo Clinic
    Às vezes eu até copiava o trecho do Google e depois entrava na página para procurar com ctrl-f
    O Google era bastante bom em escolher fontes respeitáveis, e os trechos sempre pareciam encontrados de forma a não distorcer o contexto da página, o que foi suficiente para construir confiança
    Com o tempo, esse sistema piorou em sua capacidade de escolher fontes confiáveis, provavelmente porque foi explorado por SEO
    E agora esse espaço foi substituído pelo AI Overview
    Não sou contra IA em si, mas IA é fundamentalmente diferente de “mostrar em milissegundos trechos relevantes e verificáveis vindos de fontes confiáveis”
  • Meu gerente é alguém que usa LLMs diretamente, e os usa para confirmar as próprias suposições
    Se não obtém essa confirmação na primeira tentativa, reformula a pergunta até sair a resposta que quer
  • Nós gostamos de respostas confiantes sem fundamento. Sejam de computador ou não
  • Já faz um tempo que percebi que não dá mais para dizer algo às pessoas e esperar que elas aprendam com uma busca na web, como antes
    Porque tudo virou resíduo de spam de SEO não confiável e enganoso
    Só de pensar no quanto isso pode piorar com AI Overview já me dá arrepios
    Será que estamos entrando numa era em que alguém pesquisa “como funciona uma impressora” e recebe a explicação de que ela é feita com um sistema de roldanas e cordas, e as pessoas acreditam nisso cegamente?
    A escala dos erros que vi ao longo de dezenas de buscas em áreas que conheço era exatamente desse nível, e todo mundo provavelmente também já viu capturas de tela de respostas muito mais absurdas ou abertamente perigosas

• “Respostas de IA podem conter erros” é a frase única mais importante que dá vontade de gritar em todo o debate sobre IA
  Junto com o impacto energético e climático, isso também deveria estar no centro das discussões sobre ética e segurança em IA
  Se essa febre continuar sem controle, essas serão justamente as duas coisas que mais vão nos prejudicar

  • O problema não é que os erros “podem acontecer”, e sim que vão acontecer com certeza
    Mas as pessoas não percebem isso e tratam a IA como um oráculo onipotente
    No fim das contas, é um modelo estatístico, então a probabilidade de um macaco produzir as obras de Shakespeare também não é zero

• Então o Google errou de forma fundamental na busca. Parece que ele já não liga mais para a precisão dos resultados e se interessa principalmente em fornecer respostas rápidas e um bloco de links patrocinados logo abaixo

  • O problema é que, dessas 10 “respostas rápidas”, 6 estão sutilmente erradas, 2 estão gravemente erradas e 1 é abertamente perigosa
    Já vi capturas de tela com conteúdo capaz de matar alguém ou de colocá-lo em problemas legais
  • É a continuação da ideia do Eric Schmidt de que “mais resultados é melhor do que nenhum resultado”
    Agora isso parece ter evoluído para “é melhor produzir alucinações do que dar uma resposta negativa”

• IA é como aquela pessoa que consegue falar sobre qualquer assunto com uma confiança enorme. Por isso, não vejo bem por que confiar nela mais do que numa conversa de bar

  • Acho que é uma questão psicológica. A maioria das pessoas usa sinais visuais de linguagem corporal para julgar se o outro está inseguro sobre a resposta
    A IA não tem sinais que indiquem falta de confiança e, por causa da experiência de que algoritmos tradicionais sempre dão a resposta correta, as pessoas confiam muito na saída da máquina
    A proporção de gente que olha isso de forma crítica deve ser mínima
  • Ainda não houve nenhuma empresa de “IA” com coragem de dar ao próprio produto o nome Cliff Clavin
    Em vários sentidos, seria preciso coragem mesmo. Até porque haveria o risco de levar um processo do John Ratzenberger
  • Você realmente não entende por que as pessoas confiam nisso? Pode ser porque empresas com missões como “organizar a informação do mundo” estão promovendo isso como IA, e porque isso vem de empresas que passaram décadas tentando fornecer informações precisas às perguntas dos usuários

• Tive uma experiência há alguns dias com ChatGPT e código Python
  Eu queria modificar a classe de logger do Gunicorn para filtrar certos caminhos de URL
  Como isso ficaria no caminho quente de código executado em toda requisição, eu criei 3 soluções e disse que queria ver qual era a mais rápida
  Comparei uma lista+loop usando startswith, uma regex compilada e um startswith recebendo uma tupla de caminhos
  O ChatGPT gerou o código de benchmark e os resultados, e disse que a solução com regex era a melhor e mais rápida na biblioteca padrão do Python
  Como não acreditei, rodei o benchmark eu mesmo e a versão com tupla foi mais de 5 vezes mais rápida do que a regex
  Quando eu disse que o resultado era diferente, ele respondeu quase literalmente algo como “ah, verdade, obrigado pela correção. A versão com tupla realmente é a mais rápida!”
  Ele me poupou alguns minutos de escrever o código de benchmark, mas eu quase não confio na saída quando se trata de algo sobre o qual eu não tenha 100% de certeza