Microsoft está espionando usuários de suas ferramentas de IA
(schneier.com)- A Microsoft anunciou que identificou hackers da China, Rússia e Irã usando suas ferramentas de IA para aumentar suas capacidades de invasão
- A Microsoft e a OpenAI rastrearam o uso de LLMs por agentes vinculados a Estados como Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon e Salmon Typhoon
- Schneier avalia que o motivo pelo qual Microsoft ou OpenAI puderam saber disso foi o monitoramento de sessões de chatbot
- É possível que os termos de serviço incluam esse direito de observação, e outros serviços de IA também possam rastrear padrões de uso semelhantes
- Usuários de ferramentas de IA devem avaliar sua sensibilidade de segurança partindo do princípio de que entradas e sessões podem ser observadas pelo provedor do serviço
O anúncio da Microsoft e o uso de ferramentas de IA
- A Microsoft anunciou que hackers da China, Rússia e Irã tentaram melhorar suas capacidades de invasão usando suas ferramentas de IA
- Pelo contexto, a ferramenta de IA em questão é presumivelmente uma ferramenta de programação
Grupos de ataque rastreados em conjunto com a OpenAI
- A Microsoft compartilhou a inteligência de ameaças detectada em cooperação com a OpenAI
- Segundo o relatório, grupos rastreados como agentes vinculados a Estados reforçaram operações cibernéticas com LLMs
- Forest Blizzard
- Emerald Sleet
- Crimson Sandstorm
- Charcoal Typhoon
- Salmon Typhoon
Interpretação sobre o monitoramento de sessões de chatbot
- Schneier considera que a única forma de Microsoft ou OpenAI saberem do uso de IA por esses atacantes é olhando para as sessões do chatbot
- É possível que os termos de serviço incluam essa permissão
- Além da Microsoft e da OpenAI, outras empresas de IA também podem monitorar padrões de uso, e este anúncio é tratado como um caso que confirma essa possibilidade
Explicação adicional sobre o termo “spying”
- Na edição de 22 de fevereiro, foi adicionada uma explicação sobre o uso da palavra “spying”
1 comentários
Opiniões no Hacker News
Para chamar isso de espionagem, é preciso reler os termos da API da OpenAI. Se alguém se diz “hacker” e ainda assim continua usando essa API, a responsabilidade é mais da própria pessoa
A OpenAI diz que pode armazenar com segurança entradas e saídas da API por até 30 dias para fornecer o serviço e detectar abusos, e que depois de 30 dias elas são removidas dos sistemas, a menos que haja obrigação legal de retenção. Para casos de uso qualificados, também é possível solicitar retenção zero (ZDR)
Fonte: https://openai.com/enterprise-privacy
Por exemplo, a política do Google Docs, em https://support.google.com/docs/answer/10381817?hl=en, diz que “o Google respeita sua privacidade e só acessa seu conteúdo privado com sua permissão ou quando exigido por lei”
É razoável esperar o mesmo nível de provedores de APIs de LLM, e não é bom que eles atualmente monitorem usuários em larga escala
Isso vale especialmente para a área de serviços de machine learning/IA, e é difícil dizer que esses termos fujam do senso comum
É engraçado reformularem como “a Microsoft espiona usuários de ferramentas de IA”. Na prática, a história é que a Microsoft descobriu que governos hostis de Estados autoritários estavam usando ferramentas de IA para atividades ilegais; esse tipo de rastreamento está explicitado nos termos, e o usuário precisa clicar em “concordo”
O próximo título vai ser algo como “Grandes emissoras de TV espionam jogadores de futebol durante partidas da Champions League”
Um título provocativo também é justificável, e o fato de algo ser comum não quer dizer que deva ser aceito. É bem-vindo que se amplie a percepção de que esses termos unilaterais permitem comportamentos hostis ao usuário
Mas o fato de uma frase como “a Microsoft espiona X” agora ser aceita como uma proposição autoevidente é que parece notícia. Ou seja, dizer “o espião espiona X” passa a significar “Microsoft = espião”, e isso passa a ser lido assim não só neste contexto, mas em todos os contextos
Daí em diante, fatores como termos de uso, legalidade, ilegalidade, hostilidade e amistosidade acabam virando secundários
O Google Bard, ou melhor, Gemini, deixa isso muito claro na página inicial
“Para melhorar as tecnologias que impulsionam os Apps Gemini, suas conversas são processadas por revisores humanos. Não insira nada que você não queira que seja revisado ou usado.”
Ele diz que até uma conversa contribui para melhorar os serviços do Google, incluindo os modelos de machine learning que impulsionam o Gemini, e que, nesse processo, revisores treinados precisam processar as conversas. Explica também que conteúdos do Google Workspace, como Gmail ou Drive, não são revisados nem usados para melhorar o Gemini, e que, para impedir que conversas futuras sejam revisadas ou usadas para melhorar modelos de machine learning, é possível desativar a Atividade dos Apps Gemini
Aqui isso parece só meio claro
Dá para encurtar para “a Microsoft espiona usuários”
Se você usa produtos Microsoft modernos, está enviando muitos dados, e é isso
Exato. Eles dizem com bastante clareza que monitoram abusos, e o prazo é de 30 dias
Não sei por que isso seria surpreendente
Em comparação, a Nvidia envia para seus servidores todos os valores de barras de título e todos os cliques, e mesmo se você recusar, isso é classificado como “necessário” e enviado. É possivelmente o spyware mais invasivo instalado hoje
Se você conversa com ferramentas de IA por vários canais sociais, como Facebook, Twitter, Instagram, mensagens de texto etc., deve presumir que esses chats estão sendo lidos ativamente não só por funcionários dessas empresas, mas também por seus profissionais de marketing e parceiros externos
Claro que eles devem estar vinculados por contratos, mas o que as pessoas perguntam a chatbots inclui informações de saúde, informações sexuais e coisas extremamente privadas que alguém só contaria a um terapeuta. E, ainda assim, isso também pode ser lido por um estagiário de marketing de 22 anos, está em texto puro sem criptografia, pode ser copiado/colado e pode ser vinculado ao nome/ID do usuário
Não confio nem um pouco na Microsoft, mas, assim como quando ouvi que OpenAI, Google e outras fazem esse tipo de coisa, isso não me surpreende
Isso não significa que seja justificável. Acho que já passou da hora de todos mudarem sua postura de privacidade para permitir leitura de conversas de chat somente quando o usuário der uma autorização explícita e revogável
Quem usa esse tipo de ferramenta está praticamente se oferecendo para que todos os seus dados sejam sugados. Se isso preocupa você, a única forma realmente aceitável é usar IA executada localmente
IA é construída em cima de dados. Quanto mais se monitora, mais dados se obtém para treinar IA; quanto mais se treina, melhor e mais valiosa ela fica; mais pessoas passam a usá-la e voltam a fornecer dados, criando uma estrutura cíclica
É um material fácil para induzir indignação
Todas essas plataformas estão raspando entradas para treinar o próximo modelo. Então por que não seria óbvio que elas também fariam detecção de abuso?