Google luta para remover manualmente respostas estranhas de IA na Busca

• As redes sociais estão agitadas com exemplos do novo produto AI Overview do Google dizendo coisas estranhas
  • Como mandar usuários passarem cola na pizza ou sugerir que comam pedras
• Por causa desse lançamento confuso, o Google está correndo para desativar manualmente o AI Overview em certas buscas
  • Com vários memes sendo publicados, usuários estão vendo essas respostas sumirem logo depois de serem postadas nas redes sociais

AI Overview do Google

• O Google vem testando o AI Overview há 1 ano
  • Lançado em beta em maio de 2023 como Search Generative Experience
  • O CEO Sundar Pichai mencionou que o sistema processou mais de 1 bilhão de consultas nesse período
• Pichai também afirmou que o custo de fornecer respostas de IA caiu 80%
  • Isso foi alcançado por meio de avanços em hardware, engenharia e tecnologia
  • Porém, é possível que essas otimizações tenham sido feitas cedo demais, antes de a tecnologia estar pronta

Problemas de qualidade da IA

• Um fundador de startup de IA comentou que o Google agora é conhecido por produzir resultados de baixa qualidade
• O Google afirma que o produto AI Overview fornece principalmente "informações de alta qualidade"
  • A porta-voz do Google, Meghann Farnsworth, confirmou por e-mail que a empresa está tomando medidas rápidas para remover o AI Overview de algumas consultas
  • Ela também disse que está desenvolvendo melhorias amplas no sistema com base nesses exemplos

Opinião de especialistas em IA

• Gary Marcus, professor emérito de neurociência da Universidade de Nova York, comentou que muitas empresas de IA estão vendendo o sonho de que a tecnologia vai de 80% a 100%
  • Os primeiros 80% são relativamente simples, pois consistem em aproximar grandes quantidades de dados humanos
  • Os 20% finais são uma tarefa muito difícil
  • Na prática, isso pode exigir inteligência artificial geral (AGI)

Situação competitiva do Google

• O Bing adotou IA antes do Google
  • A OpenAI está desenvolvendo seu próprio mecanismo de busca
  • Novas startups de busca com IA já alcançaram valor de mercado de US$ 1 bilhão
  • As gerações mais jovens querem a melhor experiência e estão migrando para o TikTok
• O Google sente a pressão competitiva, e isso está levando a lançamentos confusos de IA
  • Em 2022, a Meta lançou um sistema de IA chamado Galactica, mas o retirou pouco depois por problemas como recomendar que pessoas comessem vidro

Planos do Google para o AI Overview

• O Google tem grandes planos para o AI Overview.
  • O recurso atual é apenas uma parte do que a empresa anunciou na semana passada.
  • Raciocínio em múltiplas etapas para consultas complexas, páginas de resultados organizadas por IA e busca por vídeo no Google Lens
• Porém, neste momento, a reputação da empresa depende de acertar o básico, e a situação não parece boa

Gary Marcus - "[Esses modelos] fundamentalmente não conseguem fazer um sanity check do próprio trabalho, e isso é o que vai travar este setor"

Opinião do GN⁺

• Problema de confiabilidade da IA: sistemas de IA têm uma limitação estrutural que os impede de verificar o próprio trabalho. Isso traz o risco de fornecer informações incorretas aos usuários.
• Pressão competitiva: o Google está sentindo a pressão dos concorrentes, e isso pode estar afetando a qualidade dos lançamentos de produto.
• Desafio técnico: o caminho da tecnologia de IA de 80% para 100% é extremamente difícil. Isso mostra bem os limites e os desafios da IA.
• Experiência do usuário: as gerações mais jovens querem a melhor experiência possível, e essa é uma área em que o Google precisa continuar melhorando.
• Outras alternativas: para usuários considerando mecanismos de busca com IA, Bing e novas startups de busca com IA também podem ser boas alternativas.

[hhcrux]

"Menciona que muitas empresas de IA estão vendendo o sonho de que a tecnologia vai de 80% a 100%"
Essa parte é algo em que eu também penso sempre. Também é a base da minha ideia de que, mesmo que o mundo da IA chegue, o trabalho das pessoas não vai desaparecer.

[GN⁺]

Opinião do Hacker News

Resumo dos comentários do Hacker News

• Abordagem manual do Google para remover sugestões de busca

  • Isso faz lembrar casos do passado em que o Google tentava ajustar o próprio algoritmo em vez de mexer manualmente nos resultados de busca.
  • Durante os testes do Froogle em 2002, ao pesquisar por "running shoes", apareceu entre os primeiros resultados uma estátua de duende de jardim.
  • Um engenheiro comprou o produto em questão e resolveu o problema. Assim, o resultado correto passou a ser retornado sem alterar o algoritmo.

• Problemas de precisão da IA

  • Os 80% iniciais de precisão são relativamente fáceis de alcançar, mas os 20% finais são muito difíceis.
  • Atingir 100% de precisão é um objetivo que nem humanos conseguem alcançar.
  • O objetivo é reduzir respostas obviamente absurdas.
  • LLMs (grandes modelos de linguagem) geram bons textos, mas remover respostas obviamente absurdas nem sempre é algo positivo.

• Problemas de qualidade na busca do Google

  • Há controvérsia sobre o fato de o Google ter perdido a direção por causa da guerra da IA.
  • Atualmente, os resultados de busca do Google estão cheios de spam, clickbait e propaganda.
  • Argumenta-se que os resultados de busca deveriam ao menos refletir verdades amplamente reconhecidas.
  • É importante identificar trolling evidente, clickbait e conteúdo malicioso.

• Diferença entre mecanismo de busca e mecanismo de perguntas

  • Um mecanismo de busca é uma ferramenta para pesquisar a internet, não para fazer perguntas.
  • Perguntar algo por meio de IA é uma tarefa diferente de pesquisar na internet.

• Problemas na integração de IA do Google

  • Sempre que o Google integra IA, os mesmos problemas voltam a aparecer.
  • Quando surgem problemas, executivos de alto escalão anunciam que vão resolvê-los, mas a mesma situação se repete.

• Problemas de dataset do Google

  • Causa espanto que o Google, após 25 anos refinando resultados de busca, ainda não tenha um bom dataset.
  • Talvez seja necessário usar CDs de enciclopédias antigas para criar dados de treinamento.

• Geração e teste de consultas estranhas com LLM

  • Houve decepção pelo fato de o Google não ter usado LLM para gerar e testar consultas estranhas.
  • Há muitos benefícios possíveis em fazer um lançamento mais limpo.
  • A corrida atual da IA talvez seja uma corrida para o fundo do poço.

• Problemas das versões iniciais da IA

  • A IA atual é pior do que a busca tradicional em todos os aspectos.
  • Os dedos nas imagens geradas por IA são impressionantes.

• Problemas de alucinação dos LLM

  • As pessoas acham que LLM só alucina de vez em quando, mas na prática isso acontece com mais frequência.

• A ironia de remover manualmente resultados de IA

  • É irônico remover manualmente resultados incorretos gerados por IA.