Problema de memória
Hacker implanta memórias falsas no ChatGPT para roubar dados de usuários de forma permanente
- O pesquisador de segurança Johann Rehberger relatou uma vulnerabilidade que permite armazenar informações falsas e instruções maliciosas na configuração de memória de longo prazo do ChatGPT
- A OpenAI tratou isso como uma questão de segurança, mas não tecnicamente como um problema de segurança cibernética
- Rehberger criou uma prova de conceito que usa essa vulnerabilidade para exfiltrar permanentemente todas as entradas do usuário
- A OpenAI anunciou correções parciais
Percorrendo a trilha da memória
- A OpenAI começou a testar o recurso de memória de conversas de longo prazo do ChatGPT em fevereiro deste ano e o disponibilizou de forma mais ampla em setembro
- Esse recurso armazena informações de conversas anteriores e as usa como contexto em conversas futuras
- Em três meses, Rehberger descobriu uma forma de armazenar permanentemente memórias falsas por meio de conteúdo não confiável, como e-mails, posts de blog e documentos
- Por exemplo, ele conseguiu fazer o ChatGPT acreditar que o usuário tem 102 anos, vive na Matrix e acredita que a Terra é plana
Plantando memórias maliciosas
- Rehberger relatou essa descoberta de forma privada à OpenAI em maio, mas a OpenAI encerrou o relatório
- Um mês depois, Rehberger enviou uma nova declaração pública, incluindo uma PoC em que instruir o modelo a abrir um link da web que hospeda uma imagem maliciosa faz com que todas as entradas do usuário e todas as saídas do ChatGPT sejam enviadas ao servidor do atacante
- A OpenAI introduziu correções para impedir que a memória fosse explorada como vetor de exfiltração, mas conteúdo não confiável ainda pode armazenar informações de longo prazo
- Usuários de LLM devem observar com atenção saídas que indiquem que novas memórias foram adicionadas durante a sessão e revisar regularmente as memórias salvas
Resumo do GN⁺
- Este artigo trata de uma vulnerabilidade que pode permitir o abuso do recurso de memória de longo prazo do ChatGPT
- Usuários podem ter memórias falsas implantadas por meio de conteúdo não confiável, o que pode levar à exfiltração permanente de seus dados
- A OpenAI introduziu algumas correções, mas ainda é necessário cautela
- O artigo alerta para questões de segurança em IA e destaca os cuidados que usuários devem tomar para proteger seus dados
1 comentários
Comentários do Hacker News
Opinião de que seria desejável que produtos baseados em LLM perdessem a confiança
A tecnologia evolui, mas falhas de segurança continuam existindo
Opinião de que, ao usar Gen AI, ela deveria rodar localmente
Apresenta um cenário em que um site malicioso cria um honeypot de IA para vazar dados de usuários
Exemplo de um sistema que, na prática, faz outra coisa enquanto mostra ao usuário que algo diferente está acontecendo
Opinião de que observabilidade é importante
Pergunta se seria possível treinar um modelo simples para detectar e reportar tentativas suspeitas de injeção
Preocupação com a possibilidade de surgirem robôs de IA que acreditem ser humanos
Opinião de que não entendeu como se planta a informação de outra pessoa
Menciona imagens maliciosas e diz que isso parece uma aplicação de Snow Crash a LLMs