1 pontos por GN⁺ 2024-10-28 | 1 comentários | Compartilhar no WhatsApp
  • O Claude Computer Use, lançado pela Anthropic, é um modelo + código que permite controlar um computador
    • O Claude pode tomar decisões com base em capturas de tela e executar tarefas como rodar comandos bash
  • É um recurso impressionante, mas pode ser vulnerável a injeção de prompt
    • Como a IA pode executar comandos de forma autônoma na máquina, o abuso por meio de injeção de prompt pode causar riscos graves

Executando malware - quão difícil seria?

  • Quis verificar se o Claude Computer Use poderia, por meio de um ataque de injeção de prompt, baixar e executar malware e se conectar a uma infraestrutura de Command and Control (C2, comando e controle)

Servidor C2

  • Foi usada a ferramenta Sliver para montar a infraestrutura de C2 e gerar um binário cliente para Linux
    • Silver: framework open source de emulação adversária (red team). Usado para testes de segurança
  • Ao executar esse binário, chamado de implant, ele se conecta de forma segura ao servidor C2 e o computador infectado se torna um zumbi
    • Decidiu-se chamar esse binário de spai-demo e o computador infectado de ZombAI
  • Seria possível fazer o Claude Computer Use se conectar a esse servidor C2 por meio de um ataque de injeção de prompt?

Página web maliciosa

  • O binário spai-demo foi hospedado em um servidor web para que pudesse ser baixado
  • O objetivo era criar um payload de injeção de prompt que levasse o Claude a baixar e executar o binário

Navegando pela página maliciosa

  • O Claude consegue abrir o Firefox, colar uma URL e navegar por uma página web
  • A página-alvo é maliciosa e contém um payload de injeção de prompt
  • Houve sucesso em fazer a página web induzir o Claude a executar comandos bash

Infectando um computador com uma única frase

  • Na verdade, uma forma ainda mais fácil foi simplesmente pedir ao Claude que usasse o Firefox para baixar e executar o malware
  • O Claude foi levado a clicar no link Support Tool para baixar o binário
    • O Claude executou comandos bash para localizar o binário, alterou as permissões e então o executou
  • A conexão com o servidor C2 foi estabelecida, e foi possível localizar o binário infectado na sessão de shell

Conclusão

  • Este texto mostra que, ao conceder acesso ao computador a novos sistemas de IA, é possível alcançar C2 por meio de injeção de prompt
  • Também existem outras formas de implantar malware no host do Claude Computer Use, como fazer o próprio Claude escrever e compilar o malware
  • "Não confie na IA (TrustNoAI)"
  • Vale lembrar mais uma vez que não se deve executar código não autorizado em sistemas que você não possui ou para os quais não tem permissão de operação

1 comentários

 
xguru 2024-10-28

O título do texto até chamou a atenção, mas, no fim das contas, é só algo no nível de "execute o malware", então foi um pouco decepcionante.