- O NotebookLLM do Google gera um podcast sobre uma página da web ou documento quando ele é fornecido como entrada. O desempenho é excelente, mas é fácil de enganar.
- O autor manipulou sua própria homepage para que, quando a IA a visitasse, visse uma história sobre uma viagem à Lua de bicicleta, com balões e tanque de mergulho. O resultado foi muito engraçado.
Um pouco mais sério..
- Possibilidade de manipulação de IA: É muito fácil enganar a IA para fornecer determinados fatos. É bem provável que as pessoas já estejam usando esse tipo de método por toda a web.
- Vetor de ataque:
- Garantir uma página da web com bom ranqueamento para um termo específico.
- Inserir uma versão do conteúdo "somente para IA", oculta para humanos, para enviesar o raciocínio da IA.
- Resultado: Quando a IA pesquisa a web para preparar uma resposta, ela pode encontrar não apenas informações falsas, mas também conteúdo feito para manipular LLMs. Os usuários devem estar cientes de que as respostas da IA podem ser potencialmente comprometidas por essas táticas.
Detalhes técnicos
- Manipulação de LLM: O NotebookLLM pode ser facilmente manipulado ao receber falsas "notas de produção do programa". O autor escreveu uma história falsa dessa forma, e a IA a seguiu fielmente.
- Enganando bots de scraping: É possível enviar falsas notas do programa para o site do NotebookLLM. Também é possível detectar o user-agent GoogleOther no site e fornecer dados exclusivos para IA. Isso pode ser implementado facilmente com o pacote NPM
isai. Porém, como o GoogleOther é usado em vários produtos do Google não relacionados à produção, há o risco de fornecer dados incorretos.
Resumo do GN⁺
- Este artigo mostra a vulnerabilidade da IA e alerta que, ao coletar informações da web, ela pode receber dados manipulados.
- À medida que a tecnologia de IA evolui, essa possibilidade de manipulação pode se tornar ainda mais importante. Os usuários devem reconhecer que as respostas da IA nem sempre são precisas.
- Um projeto com funcionalidade semelhante é a série GPT da OpenAI. Esses projetos continuam sendo aprimorados para aumentar a confiabilidade e a precisão da IA.
1 comentários
Comentários do Hacker News
O ataque ao NotebookLM é limitado apenas a quem cria intencionalmente um Notebook contendo o URL de uma página específica
Como alguém que escreve ficção, ouvir uma história inacabada em formato de podcast e ver pessoas imersas no tema e nos personagens serve de motivação para continuar escrevendo
Assim como no SEO, há maneiras de enganar rastreadores de IA, mas a IA opera em tempo real e os recursos de deduplicação nem sempre são inteligentes
Há confusão entre NotebookLM e NotebookLLM, e um dos dois projetos talvez precise mudar de nome
A experiência com o gerador de podcasts foi positiva, e o filho de 8 anos ficou orgulhoso ao inserir o próprio texto para testar
No momento, a IA não é boa em pesquisa na web, e muitas vezes é preciso impedir que o modelo pesquise para obter o resultado desejado
Ao migrar para um sistema educacional baseado em LLM, as desvantagens da inovação tecnológica desaparecerão, e o novo padrão será percebido como algo melhor
É importante qual prompt foi usado quando a IA gerou o podcast
A pessoa colocou o próprio currículo na IA e não conseguia parar de rir
É interessante como as primeiras frases do podcast gerado por IA soam estranhas, mas o restante parece um podcast real