2 pontos por GN⁺ 2025-01-19 | 1 comentários | Compartilhar no WhatsApp
  • À medida que assistentes e agentes de IA entram no centro de dados pessoais como mensagens, fotos e chamadas, as garantias de privacidade preservadas pela criptografia de ponta a ponta começam a sofrer nova pressão
  • A criptografia de ponta a ponta impede que o servidor veja o texto em claro durante a transmissão, mas não impede o uso dos dados depois que o dispositivo receptor ou o usuário os envia para um servidor de processamento de IA
  • Quanto mais difícil for executar modelos de IA poderosos no celular, mais recursos como resumo de mensagens, detecção de chamadas golpistas e redação assistida tendem a depender de processamento fora do dispositivo
  • O Private Cloud Compute da Apple tenta reduzir os riscos da inferência em nuvem com hardware confiável, Secure Boot, assinatura de código, logs de transparência e uma arquitetura sem estado persistente, mas isso não é uma garantia criptográfica matemática
  • Quando agentes de IA de propósito geral puderem ler e responder com base em dados pessoais, a questão central deixará de ser se a execução é local e passará a ser quem pode acessar o agente

A IA está reabrindo o debate sobre criptografia de ponta a ponta

  • O estudo How to think about end-to-end encryption and AI, de pesquisadores da NYU e Cornell, enfrenta diretamente as questões no ponto de encontro entre IA e criptografia de ponta a ponta
  • Sistemas de assistente de IA como a proteção contra chamadas golpistas do Google e o Apple Intelligence querem entrar em todo o celular, especialmente nas mensagens pessoais
  • O debate europeu sobre “varredura obrigatória de conteúdo” pode exigir que sistemas de machine learning escaneiem quase todas as mensagens privadas, mostrando de forma ainda mais direta o impacto da IA sobre a privacidade
  • Embora partam de pontos diferentes, as duas correntes convergem para o mesmo conflito
    • Recursos de IA querem processar dados pessoais
    • A criptografia de ponta a ponta quer impedir que o servidor veja esses dados
    • O processamento de IA mais poderoso pode exigir recursos de servidor

O problema que a criptografia de ponta a ponta resolveu originalmente

  • Antes de 2011, muitos dispositivos conectados à nuvem enviavam dados em texto puro, expondo dados pessoais a hackers, intimações civis, mandados governamentais e ao uso comercial pelas plataformas
  • A menos que fossem usuários avançados usando ferramentas como PGP ou OTR, era difícil para pessoas comuns evitar esses riscos
  • Por volta de 2011, apps de mensagens como Signal, Apple iMessage e WhatsApp começaram a adotar criptografia de ponta a ponta por padrão
    • Eles mudaram a forma de gerenciamento de chaves para que o servidor não pudesse ver o conteúdo das mensagens em texto puro
  • Depois disso, empresas de sistemas operacionais móveis como Google, Samsung e Apple passaram a criptografar os dados armazenados localmente; o Google introduziu criptografia de ponta a ponta por padrão nos backups do celular, e a Apple começou a seguir o mesmo caminho
  • O ponto em comum desses projetos era que quase não havia necessidade de processar os dados criptografados no servidor

As opções entre processamento no servidor e no dispositivo

  • A criptografia de ponta a ponta esconde o conteúdo do servidor, mas dificulta que o servidor faça cálculos sobre esses dados
  • Em backups na nuvem ou mensagens pessoais, essa limitação é relativamente aceitável porque os dados interessam principalmente ao cliente
  • Em recursos que exigem processamento de dados, como reconhecimento de texto em fotos, normalmente surgem duas opções
    • Enviar o texto em claro ao servidor, reabrindo as vulnerabilidades que a criptografia de ponta a ponta buscava reduzir
    • Limitar-se ao processamento que pode ser feito no dispositivo
  • A segunda opção fica presa à capacidade computacional do celular, à RAM, à bateria e à variação de hardware
    • Até um iPhone topo de linha pode processar fotos à noite enquanto carrega para evitar gasto de bateria
    • Alguns celulares flagship custam mais de US$ 1.400 e têm GPU embarcada e motor neural
    • Mesmo nos EUA, é possível comprar celulares Android de algumas centenas de dólares ou aparelhos ainda mais baratos, então a diferença de capacidade de processamento é grande

Os recursos de IA ampliam o processamento de dados pessoais

  • LLMs conseguem gerar e compreender textos humanos complexos, e modelos de processamento de imagem também oferecem capacidades poderosas
  • Empresas de celulares e mensageria veem os modelos de IA como base para recursos futuros, e vários deles já foram lançados
  • Os agentes de IA vão além disso e são imaginados como sistemas que leem e respondem e-mails e mensagens de texto, fazem pedidos de comida, compras, manipulam perfis de namoro, negociam empréstimos e até antecipam as necessidades do usuário
  • Para funcionar, esses sistemas precisam de acesso quase irrestrito a dados pessoais e de grande capacidade computacional para processá-los
  • Muitos celulares não têm poder computacional suficiente para executar modelos fortes, e, à medida que os modelos melhoram ou se tornam mais proprietários, é provável que mais processamento migre para servidores remotos

Garantias e consentimento em mensagens com criptografia de ponta a ponta

  • A garantia técnica das mensagens modernas com criptografia de ponta a ponta está em projetar o sistema para que o conteúdo das mensagens em texto puro, durante a transmissão, não exista fora dos dispositivos finais dos participantes nem fora dos destinos que os participantes ou seus dispositivos escolham compartilhar
  • Essa garantia não determina o uso dos dados depois que eles são entregues
    • Se o usuário tira uma captura de tela, cria um backup em texto puro, copia e cola no Twitter ou entrega o aparelho em resposta a um processo, isso está fora do escopo da criptografia de ponta a ponta
  • As promessas feitas pelo provedor de serviço ao usuário podem ser diferentes da garantia técnica
    • Por exemplo, a mensagem pode ser entregue com segurança, mas o dispositivo pode enviar o conteúdo em texto puro para outro servidor, onde ele poderá ser descriptografado
  • Em chats em grupo, outro participante pode até ativar um recurso que faz upload das mensagens em texto puro recebidas para um serviço
  • No fim, o ponto crucial é o consentimento suficientemente informado
    • Algumas empresas podem informar bem os usuários para conquistar confiança
    • Outras podem pedir concordância por meio de termos de serviço difíceis de ler nos EUA ou criar um novo tipo de banner de consentimento na UE
    • Se o processamento por IA se tornar totalmente universal, as opções de opt-in e opt-out do usuário podem ficar limitadas

A abordagem do Apple Private Cloud Compute

  • A Apple prevê que a inferência de machine learning precise ser terceirizada para hardware mais potente e, por isso, projetou computadores em nuvem que, segundo ela, podem receber dados pessoais com confiança
  • O Private Cloud Compute usa dispositivos de hardware confiável nos data centers da Apple
  • Esses dispositivos se aproximam de computadores bloqueados física e logicamente
    • A Apple usa dispositivos próprios, silício customizado e recursos de software
    • O Secure Boot garante que apenas software de sistema operacional autorizado seja carregado
    • O sistema operacional verifica, por assinatura de código, que apenas imagens de software autorizadas sejam executadas
    • Não armazena estado persistente de longo prazo
    • Faz balanceamento de carga das requisições para um servidor aleatório diferente a cada conexão
    • Comprova o hash do software de aplicação em execução
    • As imagens de software precisam estar em um log de transparência verificável para impedir inserções ocultas
    • A Apple disse que publicará as imagens de software para que pesquisadores de segurança possam verificar bugs, mas não todo o código-fonte
  • O foco desse desenho é dificultar que tanto invasores quanto funcionários da Apple extraiam dados dos dispositivos
  • Ainda assim, essa abordagem oferece garantias mais fracas que a criptografia
    • Centraliza muitos dados valiosos
    • Depende de a Apple implementar corretamente recursos complexos de segurança de hardware e software, e não da matemática de algoritmos criptográficos
    • É vista como uma abordagem melhor do que processar dados em servidores nos quais funcionários provavelmente poderiam entrar e acessar, como parece ocorrer na OpenAI

FHE e os limites atuais

  • Com criptografia totalmente homomórfica (FHE), é possível computar sobre dados pessoais enquanto eles permanecem criptografados
  • Em teoria isso é possível, mas hoje parece pouco provável que seja prático
  • Os bons esquemas atuais de FHE são voltados principalmente para avaliar modelos de machine learning muito pequenos, e esses modelos já são leves o suficiente para rodar também em dispositivos clientes fracos
  • Os métodos e o hardware vão melhorar, mas espera-se que essa barreira dure por bastante tempo

Para quem os agentes de IA trabalham

  • Os dados usados no treinamento e no fine-tuning de modelos de IA no futuro também criarão grandes questões de privacidade, mas a pergunta ainda maior passa a ser para quem os agentes de propósito geral realmente trabalham
  • Reino Unido e UE vêm discutindo leis que obrigariam a “varredura” automática de mensagens pessoais criptografadas
    • A proposta da UE foca na detecção de CSAM conhecido e novo
    • Em algumas fases, também inclui detecção de conversas de voz e texto consideradas “comportamento de grooming
    • A proposta do Reino Unido trata de um escopo mais amplo, incluindo discurso de ódio, conteúdo terrorista, fraude e outros conteúdos ilegais
    • Uma emenda chegou a incluir “imagens de imigrantes cruzando o Canal em pequenos barcos
  • Para escanear CSAM conhecido, IA/ML não é essencial, mas detectar CSAM novo, comportamento de grooming e discurso de ódio exige inferência forte de machine learning sobre dados privados
  • Em especial, detectar conversas de voz e texto exige não só conversão de fala em texto, mas também a capacidade de entender o tema de conversas humanas sem gerar falsos positivos
  • Essas propostas ainda não foram implementadas, em parte porque é difícil construir sistemas de ML que processem dados privados com segurança e porque as plataformas têm resistido a construí-los

A pressão que agentes pessoais universais podem criar

  • Se usuários criarem e implantarem voluntariamente agentes de IA de propósito geral, esses agentes podem se tornar um recurso capaz de executar várias das tarefas de varredura que as autoridades vinham exigindo
  • Continuará sendo uma questão difícil como impedir que governos exijam acesso a esse tipo de recurso
  • Autoridades podem fazer perguntas sofisticadas ao agente sobre o comportamento e os dados do usuário
    • “Este usuário possui potencial CSAM?”
    • “Ele escreveu em notas pessoais algo que poderia ser potencialmente discurso de ódio?”
    • “Há chance de ele estar fraudando impostos?”
  • Essa abordagem pode ser apresentada como algo que “preserva a privacidade”, sob o argumento de que policiais humanos não vasculham diretamente os documentos e de que só se obtêm respostas quando o usuário provavelmente cometeu algum ato ilegal
  • Depois que agentes de propósito geral suficientemente poderosos forem implantados em celulares, a questão decisiva deixará de ser se o modelo roda localmente ou em hardware de nuvem confiável e passará a ser quem pode conversar com esse agente

1 comentários

 
GN⁺ 2025-01-19
Comentários do Hacker News
  • Quanto mais aumenta a detecção automática, menor fica o orçamento destinado a pessoas para lidar com casos individuais, e mais os gestores passam a depender de decisões automatizadas.
    Como resultado, quando ocorre um falso positivo, fica difícil entrar em contato com uma pessoa para resolver, levando a uma grande frustração. Em serviços corporativos, isso é apenas irritante, mas, quando usado na aplicação da lei, pode arruinar vidas.
    Anos atrás, na Amazon, fui sinalizado por avaliações ilegais e passei meses tentando explicar a uma pessoa; até hoje, mais ou menos uma vez por ano, volto a levantar o problema, mas ele não é resolvido. Se algo assim acontecer em uma questão de crime grave e os tribunais estiverem com atrasos de anos, pode ser devastador.
    A detecção automática pode funcionar e, na prática, é inevitável, mas é preciso partir do pressuposto de que falsos positivos inevitavelmente acontecerão e alocar pessoal suficiente para resolvê-los. Hoje, assim que se cria um sistema de detecção, demite-se a equipe responsável e presume-se que o sistema substitui as pessoas; na realidade, ele deveria ser uma ferramenta para reforçar e direcionar o trabalho humano.
    Quem toma as decisões não lida com os casos reais, então não vivencia o problema diretamente. Para eles, a lógica vira “se dá para economizar 1 milhão de dólares, por que não economizar 2 milhões?”, e, à medida que grandes modelos de IA tornem a detecção automática mais fácil, acredito que esse problema ficará muito pior nos próximos anos.

    • Pode ser muito mais assustador.
      Na Rússia, houve um caso em que um cientista se tornou suspeito de um assassinato ocorrido 20 anos antes com base apenas em uma correspondência facial de 70% e na falsa indicação de cumplicidade feita por um criminoso. https://lenta.ru/articles/2024/04/03/scientist/
      Felizmente, registros arquivados do instituto mostravam que ele participava de uma expedição longe de Moscou na época, servindo como álibi; mesmo assim, ele ficou detido por 10 meses durante a “investigação”. No fim, foi solto, mas é preocupante pensar que investigadores policiais que usaram um resultado de reconhecimento facial muito fraco para melhorar seus indicadores ainda possam estar na polícia.
    • O escândalo do UK Post Office é realmente arrepiante.
      Se você extrapolar isso para um mundo em que todos os cantos da vida são controlados por monopólios de plataforma que nem sequer oferecem suporte básico ao cliente, parece que as coisas vão ficar muito piores antes de melhorarem.
    • É por isso que, em áreas relacionadas ao governo, existem leis de transparência que proíbem indiretamente o uso desses sistemas de decisão caixa-preta.
    • Exatamente essa situação já aparece no conto de 1965 “Computers Don't Argue”.
      Pode ser visto na terceira página do PDF, indicada como página 84: https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
      É impressionante que alguém tenha previsto essa situação com precisão 60 anos atrás e, ainda assim, esse conto de advertência não tenha sido levado a sério.
    • Houve uma boa thread sobre esse fenômeno com o nome de sumidouros de responsabilização (accountability sinks): https://news.ycombinator.com/item?id=41891694
  • Não é preciso especular sobre a OpenAI. A OpenAI afirma de forma bastante transparente que retém os dados por 30 dias e que eles podem ser revisados por funcionários e contratados terceirizados.
    https://platform.openai.com/docs/models/how-we-use-your-data
    “Para ajudar a identificar abusos, os dados da API podem ser retidos por até 30 dias, após o que serão excluídos (salvo se exigido de outra forma por lei).”
    https://openai.com/enterprise-privacy/
    Diz-se que o acesso a dados comerciais da API é limitado a funcionários autorizados quando necessário para suporte de engenharia, investigação de abuso da plataforma e conformidade legal, bem como a contratados terceirizados especializados, sujeitos a obrigações de confidencialidade e segurança, que realizam apenas análises de abuso e uso indevido.

    • O mais surpreendente é que exista gente esperando proteção de privacidade de empresas e produtos de chatbot.
      Você está literalmente “conversando” com os servidores de uma empresa que criou uma linha de produtos usando a produção profissional e pessoal de outras pessoas, independentemente de consentimento ou conhecimento. Não é tanto “é mais fácil pedir perdão do que permissão”; está mais para simplesmente não perguntar, desconversar quando perguntam e, quando pegos, dizer “vocês nem tinham como saber que estávamos olhando, mas não escondemos, então houve consentimento implícito”.
      Sinceramente, até o nível de compromisso que a OpenAI promete em sua política de privacidade é surpreendente. Considerando estratégias suspeitas de isca, como mudar discretamente o modelo ou reduzir a quantidade de computação para clientes pagantes depois do ciclo inicial de marketing “uau, incrível”, não parece que essas políticas durarão muito quando a empresa estiver em uma posição mais estável.
      Além disso, se surgir uma forma de extrair dados de treinamento do modelo, eles podem dizer que “são outros dados extraídos do modelo, então a política antiga não se aplica”. Se perderem espaço no mercado, é difícil imaginar que Altman não venderia algo assim num piscar de olhos para financiar algum produto de grande aposta. Isso sem falar nos chatbots suspeitos do tipo aplicativo de romance.
      É claro que deveria haver proteção de privacidade, mas o surpreendente é que alguém presuma que ela exista. Mesmo quando acho que estou sendo cínico demais, ultimamente a conclusão acaba sendo que eu não fui cínico o suficiente.
  • A ameaça real surgirá quando a IA deixar de apenas acelerar o trabalho individual e passar a ser aplicada ao controle organizacional
    Todo mundo conhece os limites de gestores, camadas de gestão, métricas e OKRs, então a tentação é grande. Não é difícil imaginar um CEO pensando em colocar todas as comunicações entre funcionários na IA para poder fazer consultas. Ironicamente, se todos estiverem em trabalho remoto, isso pode ser imposto com ainda mais facilidade
    É possível que a organização se torne mais eficiente, com o CEO e a alta liderança entendendo melhor o que realmente está acontecendo. Mas a crença, já frágil, de que quem está no poder enxerga funcionários comuns como seres humanos reais diminuirá ainda mais
    E, como a camada executiva não verá motivo para não usar, ao administrar um país, as ferramentas que usa para administrar uma empresa, esse tipo de abordagem inevitavelmente vazará para fora das organizações privadas
    Defensores da vigilância em massa agora dizem que humanos não precisam mais escutar telefonemas diretamente. Mas o perigo real nunca foi alguém de terno sem graça transcrevendo conversas de uma fita de rolo. O problema sempre foi quem está no poder pedir o dossiê de alguém inconveniente e examiná-lo com o objetivo de impedir que essa pessoa volte a incomodá-lo
    O motivo pelo qual as consequências completas da vigilância em massa ainda não apareceram é que não havia meios de processar tamanha quantidade de dados temporários e não estruturados. Agora há

    • Isso já está acontecendo, quer o CEO queira ou não
      Quando uma disputa jurídica exige discovery, um software de e-discovery pode puxar todas as comunicações digitais acessíveis, colocá-las em uma IA e até executar análise de sentimento sobre uma delas. Aplicar IA generativa ao trabalho jurídico é um tema quente no setor jurídico neste momento
  • A direção em que estamos indo parece XKEYSCORE turbinado com esteroides, então, quanto à pergunta “isso funcionará a nosso favor?”, fico mais perto de responder que não
    Eu gostaria de ver isso de forma positiva e otimista, mas, olhando para o caminho que percorremos e para o comportamento das pessoas responsáveis por esses sistemas — mais precisamente, não os pesquisadores ou engenheiros, mas os executivos —, a esperança de um futuro neutro e com privacidade em primeiro lugar parece limitada

    • Vendo como a política e as empresas mudaram, acabo confiando mais do que nunca nas pessoas encarregadas de sistemas como o XKEYSCORE
      Elas usam terno, mas em geral têm histórico militar, um senso de dever de defender os EUA contra ameaças internas e externas, e historicamente não parecem ter abusado muito de seus poderes em nenhuma administração. O XKEYSCORE também não era hackear pessoas, mas coletar metadados em massa e criar perfis, dentro do sistema jurídico. A culpa também deveria recair sobre as empresas que não ofereceram ferramentas de proteção de privacidade, porque qualquer grande governo poderia ter criado o mesmo sistema
      Por outro lado, os republicanos anti-establishment que criticavam as big techs depois de 2016 acabaram virando seus fãs mais pró-establishment; deram um escritório na Casa Branca ao Elmo, e Zucc se ajoelhou para evitar ser processado
      Acho melhor que esse novo sistema fique nas mãos de pessoas inteligentes que trabalham em organizações de defesa dos EUA por senso de dever, embora pudessem ganhar muito mais em empresas privadas
    • É bem provável que o principal objetivo dos agentes seja usar meus dados para treinar IA
      As empresas já consumiram quase todos os dados da internet disponíveis para treinar IA, então tentarão acessar dados pessoais em tempo real sob o pretexto de agentes. Como sempre, o modelo de negócio é “você é o produto”
  • A Apple parece ter mudado de posição recentemente. Agora diz que “o código-fonte de certos componentes essenciais de segurança do PCC está disponível sob uma licença de uso limitado”. Claro, teria sido melhor se tudo fosse open source
    https://github.com/apple/security-pcc/
    A Apple parece fazer uma alegação ainda maior: 1) não armazena dados do usuário e os processa apenas durante a inferência; 2) não há acesso privilegiado em runtime, de modo que nem engenheiros de suporte conseguem ver dados do usuário; e 3) fornece binários e parte do código-fonte para que pesquisadores de segurança possam verificar 1) e 2)
    Os cinco requisitos do Apple PCC podem ser vistos aqui: https://security.apple.com/documentation/private-cloud-compu...
    Não tenho relação com a Apple. Li o guia de segurança do PCC para ver como seria criar uma solução equivalente em open source. Se tiver interesse nesse tema, entre em contato em ozgun @ ubicloud . com

    • Infelizmente, alguns elementos centrais do processo de boot não têm o código-fonte publicado
  • A pergunta certa é “para quem o agente de IA realmente trabalha?”. Falei do mesmo ponto algumas semanas atrás, e se aplica o conceito jurídico de principal e agente
    Estamos chegando a uma realidade em que todo conteúdo passará por uma IA na nuvem para verificar “crimes de pensamento”. As categorias atualmente propostas incluem material de abuso sexual infantil, ameaças a figuras importantes, ameaças ao governo, “grooming” de menores, discussões sobre drogas, sexo, armas e atividade homossexual, organização de protestos ou sindicatos etc.
    Em especial, material de abuso sexual infantil virou uma categoria ampliada nos EUA que inclui até imagens geradas por IA, e em breve pode se expandir para animação japonesa. Ameaças a figuras importantes podem ser ampliadas nos EUA para incluir até coisas que antes eram consideradas discurso político
    Ameaças ao governo já são ilegais em vários países. É preciso lembrar que Trump gosta de acusar pessoas de “traição” mesmo por coisas sem relação com fazer guerra contra os EUA
    “Grooming” é tão vago que pode cobrir a maioria das interações, e discussões sobre drogas, sexo, armas e atividade homossexual são proibidas de várias formas em diferentes países. Organização de protestos ou sindicatos é proibida na China e já é alvo de buscas
    Não dá para escapar da censura usando expressões indiretas ou gírias. Modelos de linguagem grandes processam isso também. Experimente inserir inglês afro-americano ou leetspeak e pedir para traduzir para inglês padrão; ele traduz. O modelo provavelmente viu mais desses dialetos do que a maioria das pessoas
    “Se você quer uma imagem do futuro, imagine uma bota pisoteando um rosto humano para sempre” — Orwell
    https://www.orwell.org/dictionary/

    • Imaginar uma cena em que uma frase específica em uma transcrição de reunião é transcrita incorretamente e uma empresa ainda desconhecida passa a ser investigada faz meu lado cínico achar isso estranhamente engraçado
      Vale repetir o ponto central
    • Em especial, “grooming” é o caminho que os republicanos querem usar para criminalizar qualquer comportamento que se desvie das normas de gênero
      Pode chegar a incluir o estado desejado de coisas como “mulheres usando calças é travestismo, e fazer isso perto de crianças é crime grave”
  • A constatação mais deprimente é que a enorme quantidade de dados que as pessoas colocaram na nuvem achando que nem mesmo atividades criminosas seriam escaneadas agora virou um canal pelo qual a polícia do pensamento pode aparecer por causa de uma simples opinião divergente

    • Muita gente tentou alertar. Aquilo não é “nuvem”, é o computador de outra pessoa
      O dono da máquina é outra pessoa e, portanto, os interesses dela, sejam comerciais ou ideológicos, sempre vêm primeiro
    • Trump toma posse na segunda-feira. Se ele declarar que alguma ideia progressista é antiamericana, muitas pessoas que até então não disseram nada ilegal poderão passar a ser vistas como inimigas pelos “patriotas”
      Espero que isso não aconteça, mas não seria surpreendente se acontecesse. Dados antigos podem virar resíduo tóxico
  • É um alívio que dados armazenados e criptografados em dispositivos locais sejam inacessíveis para ferramentas de “IA” baseadas em nuvem
    O problema é que usuários comuns clicam sem pensar em “sim/aceitar/prosseguir/continuar/concordo” nos pop-ups da GUI e aceitam termos que incluem descriptografar os dados e enviá-los para algum serviço de “nuvem”
    Daqui para a frente, ferramentas de “IA” provavelmente serão usadas cada vez mais para prender as pessoas permanentemente a serviços de assinatura mensal como iCloud, Office365 pessoal da Microsoft e Google Workspace
    A pessoa passa a pagar 15 dólares por mês para sempre e, por causa do volume de dados e da dependência do provedor de nuvem, deixa de ter um meio realista de cancelar o pagamento sem causar uma grande bagunça na própria vida

  • Green apontou algo importante. Garantias técnicas são diferentes de promessas feitas ao usuário, e sistemas de mensagens com criptografia de ponta a ponta apenas entregam os dados com segurança; eles não determinam o que acontece depois
    Mas logo em seguida ele parece esquecer esse ponto e fala do PCC como se não fosse apenas mais uma garantia técnica. O PCC só aumenta a confiança de que o software em execução no servidor é o software pretendido pela Apple
    Ele não garante para onde meus dados serão enviados depois, nem que a Apple os usará apenas para finalidades com as quais eu concordaria. O PCC torna a Apple menos vulnerável a invasões, mas não a torna mais transparente nem mais responsável
    Pelo contrário, considerando que alguns hackers também invadem com objetivos socialmente úteis, como expor abusos corporativos, o reforço da segurança também pode funcionar como um escudo contra a responsabilização. Claro que isso não significa defender a eliminação da segurança em troca de transparência
    O ponto central não resolvido aqui é transparência, mais do que segurança. Acredito que o estado desastroso da segurança também foi possibilitado, em grande parte, pela falta de transparência
    Se quisermos que a IA sirva à sociedade, precisamos inverter o desequilíbrio extremo de informação em que a vida das pessoas fica totalmente exposta aos provedores de serviço, enquanto os provedores permanecem uma caixa-preta completa para os usuários
    Se quisermos bom comportamento empresarial, não podemos deixá-las operar de forma invisível. Se quisermos tecnologia ética, não podemos deixá-la funcionar de forma invisível

  • A pergunta interessante no fim do texto é importante do ponto de vista de políticas públicas
    Quaisquer que sejam as escolhas técnicas relacionadas à proteção da privacidade, a pergunta que resta depois que agentes de uso geral suficientemente poderosos forem implantados nos celulares é quem terá o direito de conversar com esses agentes. Apenas o usuário, ou o interesse do governo na vigilância dos cidadãos prevalecerá sobre a privacidade individual?
    É concebível, por hipótese, que o governo aprove leis obrigando o acesso a agentes. Afinal, nós e as empresas existimos dentro de jurisdições capazes de aprovar leis arbitrárias
    Mas, tecnicamente, parece que deveria ser possível executar um agente local em um sistema com criptografia de disco completo e impedir que qualquer pessoa sem acesso ao sistema converse com ele. Nesse caso, no nível técnico, não parece muito diferente de antes
    Sempre foi possível rodar um monte de expressões regulares no estilo dos anos 1980 para procurar no computador de alguém algo como panfletos comunistas
    A questão de se o governo deveria poder exigir acesso ao meu computador sempre existiu. Só é preciso lembrar que, se ele exigir acesso ao agente de IA executado no meu computador, isso equivale, na prática, a exigir um registro com perdas de todo o meu disco rígido

    • Já chegamos a esse ponto. Com ou sem IA, smartphones coletam, armazenam e transmitem uma quantidade enorme de informações sobre o usuário, seus comportamentos e seus interesses
    • Isso não seria uma busca abusiva?