- IA agêntica integrada no nível do sistema operacional é apontada como um risco central por registrar toda a atividade digital pessoal e poder ficar exposta a malware
- Meredith Whittaker e Udbhav Tiwari, do Signal, apresentaram no 39º Chaos Communication Congress que esse tipo de IA é vulnerável em segurança, confiabilidade e vigilância
- O recurso Recall da Microsoft captura periodicamente toda a tela do usuário e a transforma em um banco de dados, e essas informações podem ficar expostas a malware ou ataques de prompt injection
- Whittaker apresentou números para mostrar que agentes de IA, por serem sistemas probabilísticos, perdem precisão rapidamente à medida que o número de etapas aumenta, e têm baixa confiabilidade para executar tarefas complexas
- Os dois pedem interrupção da implantação indiscriminada, opt-out por padrão e mais transparência, alertando que, caso contrário, a perda de confiança dos consumidores pode colocar toda a indústria de IA em risco
Riscos de segurança e vigilância da IA agêntica
- Quando a IA agêntica é integrada no nível do sistema operacional, toda a vida digital pessoal pode ser armazenada em um banco de dados, aumentando a possibilidade de acesso por malware
- Esse banco de dados pode incluir comportamento do usuário, textos, tempo de uso de apps e atividades em foco
- Em alguns casos, ela pode ser ativada automaticamente sem consentimento, aumentando a preocupação com violação de privacidade
- Executivos do Signal apontam que essa estrutura provoca ao mesmo tempo instabilidade de segurança e risco de vigilância
O caso do Microsoft Recall
- A Microsoft está introduzindo IA agêntica no Windows 11 por meio do recurso Recall
- O Recall captura a tela a cada poucos segundos, realiza OCR e análise semântica e acumula toda a atividade do usuário em um banco de dados
- Os dados incluem linha do tempo de ações, texto original, tempo de foco por app e classificação por tópicos
- Tiwari apontou que essa abordagem não consegue impedir ataques de malware e ataques ocultos de prompt injection
- Essas vulnerabilidades podem contornar a criptografia de ponta a ponta (E2EE)
- O Signal adicionou um recurso para bloquear gravação de tela dentro do próprio app, mas avaliou que isso não é uma solução fundamental
Problemas de confiabilidade da IA agêntica
- Whittaker explicou que a IA agêntica é um sistema probabilístico, e que sua precisão cai drasticamente conforme aumenta o número de etapas
- Se cada etapa tiver 95% de precisão, a taxa de sucesso de uma tarefa com 10 etapas será de cerca de 59,9%, e com 30 etapas, de cerca de 21,4%
- Em um cenário mais realista, com 90% de precisão por etapa, a taxa de sucesso de uma tarefa com 30 etapas desaba para 4,2%
- Ela mencionou que até mesmo os melhores modelos de agentes atuais apresentam taxa de falha de 70%
- Por isso, destacou que a tecnologia ainda tem confiabilidade muito baixa para assumir tarefas complexas de automação
Medidas para melhorar privacidade e segurança
- Whittaker afirmou que, por enquanto, não há como garantir completamente privacidade, segurança e controle, sendo possível apenas uma resposta temporária (
triage)
- Ainda assim, ela propôs medidas para mitigar os riscos
- Interromper a implantação indiscriminada de IA agêntica e restringir o acesso de malware a bancos de dados em texto claro
- Definir opt-out como padrão, deixando o opt-in explícito apenas para desenvolvedores
- Garantir transparência sobre o funcionamento dos sistemas de IA e o processamento de dados, com projeto que permita auditoria em nível detalhado
- Sem essas medidas, a perda de confiança dos consumidores pode colocar em risco a própria era da IA agêntica
Alerta para toda a indústria
- Executivos do Signal alertam que a IA agêntica está avançando em meio a investimento excessivo e supervalorização, mas que,
se os problemas de segurança, confiabilidade e vigilância não forem resolvidos, toda a indústria poderá enfrentar uma crise
- Eles enfatizam que as empresas devem priorizar proteção ao usuário e transparência acima da inovação tecnológica
1 comentários
Comentários do Hacker News
Isso não é um problema de IA, e sim de sistema operacional
A IA é muito menos confiável do que software escrito e revisado por humanos, então ela está apenas expondo falhas dos sistemas existentes
Nem UNIX nem Microsoft implementaram isolamento de processos de forma adequada, e mesmo quando havia bons modelos de segurança, isso não ajudava a vender computadores ou sistemas operacionais
Existem bons exemplos como Plan 9, SEL4, Fuschia e Helios, mas o problema é a falta de critério de quem decide
Deveria ser vergonhoso não entender sandboxing e modelos modernos de segurança
Ao distribuir software em um ambiente fortemente protegido, por padrão ele pode não conseguir se comunicar com nada e nem executar porque o sistema de arquivos é imutável
Se incluir certificados TLS e configuração de CA, a distribuição vira um pesadelo
Para implementar com segurança algo como o Recall, seria necessário um controle de permissões muito granular, mas na prática isso provavelmente seria tão incômodo quanto o UAC
Fazer a IA agir como assistente pessoal e, ao mesmo tempo, ser segura e confiável é um desafio muito difícil
Como a maioria foi projetada antes da internet, refazer tudo agora é quase impossível por causa de compatibilidade e custo
Contêineres e VMs, no fim, são apenas soluções remendadas em cima de sistemas antigos
Seja em navegador, cliente de e-mail ou processador de texto, ela se comporta de forma imprevisível
No fim, o problema fundamental é a escolha de integrar um LLM impossível de proteger
O isolamento completo é caro demais em termos de recursos e complexidade, e isso também explica por que sistemas como o Qubes não se popularizaram
Seria preciso redesenhar interfaces com uma superfície de ataque intrinsecamente menor, mas isso significaria mudar todo o ecossistema
Faz sentido que o Signal coloque segurança e privacidade em primeiro lugar
Já na TI corporativa, o papel é gerenciar riscos
São funções totalmente diferentes, e o padrão absoluto de segurança do Signal combina com a missão deles
Fico curioso sobre qual seria a abordagem mais sensata para um administrador de TI controlar o risco dentro da organização
Lembro de ter visto em 2009, na Microsoft Research, um projeto que parece ser um precursor do Recall
O nome era PersonalVibe, e ele registrava o comportamento do usuário em um banco de dados local sem enviar nada para fora
Link do projeto
O apelo do ‘Agentic AI’ no ambiente corporativo é grande, mas previsibilidade é um valor ainda mais importante
Se funciona direito em 90% dos casos e nos outros 10% causa vazamento de dados ou alucinações, então isso não é um agente, e sim um fator de risco
Neste momento, human-in-the-loop ainda é indispensável
As empresas gerenciam o risco interno, mas empurram o risco externo com termos de uso ou EULAs
A maioria das pessoas clica achando que “confia no fornecedor” ou que “a empresa vai bloquear isso”
Executivos são tentados a empurrar o risco da IA para o futuro em troca de resultado de curto prazo
Um recurso como o Recall é uma ideia absurda
Anthropic e ChatGPT também estão tentando absorver para seus modelos todos os dados de trabalho do usuário
O que precisamos agora é de privacidade verificável na etapa de inferência
Se meus dados forem enviados, eles precisam ser protegidos de uma forma obrigatoriamente verificável
As pessoas estão entregando todos os seus dados para empresas que nem conhecem
Se funcionasse só quando eu quisesse e como um app portátil, sem integração com o sistema operacional, talvez fosse aceitável
Poderia ser útil para registrar o histórico do trabalho enquanto se resolve um problema
Um ambiente que não saia para a rede externa é a única resposta
É difícil esperar esse mesmo nível de privacidade gastando só algumas centenas de dólares como indivíduo
Empresas de IA já vêm fazendo coleta de dados quase ilegal há anos, e o governo não demonstra interesse
O avanço tecnológico está parecendo uma “corrida para o fundo”
Parece que 30 anos de pesquisa em segurança viraram nada
Navegadores com IA passaram a lidar com cookies e tokens de autenticação, e a superfície de ataque ficou infinitamente maior
A ideia de “dar acesso total a um sistema cujo funcionamento nem entendemos” é loucura
A IA pode sugerir ações, mas a decisão sempre deveria ser executada só após confirmação do usuário
Por exemplo, ao detectar um pedido de cancelamento de assinatura, perguntar “A IA entendeu assim, está correto?”
O problema é que humanos têm a tendência psicológica de achar que um sistema com 90% de acerto tem 100%
Por exemplo, transformar um pedido em linguagem natural como “artigos sobre Foo, excluindo Bar” em uma consulta de busca estruturada para o usuário aprovar
Claro, um conjunto de dados malicioso ainda traria riscos, mas isso é muito melhor do que integrar LLMs de forma indiscriminada
Fico pensando se rodar a IA em uma conta de usuário isolada,
usando firewall com whitelist e sistema de arquivos overlay,
impediria comportamentos indesejados
O que precisamos é de um modelo de zero trust no nível da interação
A IA deve conseguir realizar tarefas sem ver diretamente dados sensíveis
Combinado com enclaves de segurança em hardware, isso poderia resolver o problema de privacidade na raiz
É exatamente a matéria que eu tinha pedido ontem
Link relacionado