A vigilância por IA deve ser proibida; ainda dá tempo de agir

• Conversas com chatbots de IA causam a mesma violação de privacidade do rastreamento online tradicional, mas de forma ainda mais grave
• Chatbots coletam mais informações pessoais do que buscas e chegam a captar até os processos de pensamento e o estilo de comunicação detalhados de uma pessoa
• Essas informações correm alto risco de ser usadas com mais frequência e de forma mais sofisticada para manipulação, como publicidade e doutrinação ideológica
• Antes existiam serviços de IA que preservavam a privacidade, mas recentemente têm aumentado os casos de vazamento de privacidade e uso indevido de dados em várias empresas
• A falta de regulação legal faz com que o problema se repita, tornando urgente aprovar leis que proíbam a vigilância por IA

---

A gravidade dos chatbots de IA e da violação de privacidade

• Todos os problemas de violação de privacidade que já existiam no rastreamento online tradicional também aparecem na IA, de forma ainda mais grave
• Como as conversas com chatbots são mais longas e específicas do que consultas simples de busca, a exposição de informações pessoais tende a ser muito maior
• As pessoas estão cada vez mais propensas a revelar a chatbots suas preocupações, emoções e formas de pensar
• Diferentemente do histórico de busca, os chatbots criam um perfil pessoal abrangente que inclui personalidade, forma de se comunicar e outros aspectos

O uso das informações de IA e os riscos de manipulação

• Esse volume muito mais rico de informações pessoais pode ser explorado com ainda mais eficácia para manipulação comercial e ideológica
• Por meio de anúncios voltados a induzir comportamento em chatbots, ou pela manipulação de system prompts e de otimização para mecanismos de busca (SEO), é possível direcionar pessoas a determinadas posições políticas ou produtos
• Já existem estudos mostrando que chatbots podem ser mais persuasivos do que humanos, e casos reais de pessoas caindo em pensamento delirante também vêm sendo relatados
• O recurso de memória dos chatbots aprende com conversas passadas e passa a exercer grande influência por meio de persuasão personalizada
• Em vez dos anúncios desagradáveis de antes, forma-se um ambiente em que mensagens de persuasão personalizadas ou recomendações sutis de produtos são entregues de maneira natural

Serviços de IA com proteção de privacidade e o cenário do setor

• O debate sobre privacidade em torno da Busca do Google nos últimos 20 anos também se aplica ao chat com IA, mas o impacto da IA é maior
• DuckDuckGo e outros oferecem serviços de chat com IA voltado à privacidade (Duck.ai) e respostas de IA anônimas
• No entanto, essas medidas de proteção são exceções, e o setor como um todo mostra uma tendência de aumento nos incidentes de privacidade
• Continuam surgindo reportagens sobre casos recentes como o vazamento em massa de conversas de chatbot do Grok, vulnerabilidades a hacking no Perplexity e a visão de rastreamento total de usuários da Open AI
• No caso da Anthropic, antes o armazenamento de conversas era desativado, mas recentemente a empresa mudou para uso de conversas como padrão, o que permite que os dados dos usuários sejam usados em treinamento

Resposta legal e desafios futuros

• É necessário legislar rapidamente para que chats com proteção de privacidade se tornem a prática padrão, e não exceções
• Os EUA ainda não têm sequer uma lei geral de privacidade online, e há o limite de isso não ser garantido como direito fundamental constitucional
• Recentemente surgiu um ambiente mais favorável para oportunidades de legislação federal relacionada à IA, embora ao mesmo tempo também existam discussões para proibir legislações estaduais sobre IA
• Há preocupação de que o atraso no tempo acabe consolidando práticas nocivas
• Para impedir que os mesmos problemas do rastreamento online se repitam como rastreamento por IA, a proibição da vigilância por IA é apresentada como tarefa urgente

Conclusão

• DuckDuckGo e outros seguem oferecendo serviços com proteção de privacidade e recursos de IA opcionais
• Os usuários podem esperar ferramentas online que conciliem ganho de produtividade e proteção de privacidade

[GN⁺]

Comentários do Hacker News

• O que me fez parar de usar o Facebook foi ter visto um vídeo de uma menina australiana de uns 7 anos segurando uma aranha maior que o rosto e comentar um meme do tipo “solta a aranha e taca fogo na casa”, e a conta ser punida na hora; na época eu era o desenvolvedor responsável pela integração do app do Facebook na empresa e recorri, mas não sei se foi a IA que rejeitou rapidamente ou se foi uma pessoa muito rápida, só tive a sensação de que não entendiam nada da cultura de memes da internet; depois disso, parei totalmente de usar o Facebook; acho realmente sombrio que a IA possa punir pessoas com tanta facilidade
  • O problema fundamental, na minha visão, não é a IA fazer aplicação da lei, mas o fato de empresas privadas terem poder para afetar o dia a dia das pessoas quase sem regulação; o exemplo do Facebook pode parecer banal, mas se um locador ou uma seguradora tomarem decisões desse jeito, o dano será enorme; e essas políticas não vão ficar só nas empresas privadas, órgãos do Estado já estão usando esse tipo de sistema ativamente e isso só vai piorar
  • Fui suspenso no reddit só por postar um script de correção de bug do DFhack; DFhack é um programa cujos scripts são muito usados por modders de Dwarf Fortress; se esse tipo de moderação por IA de baixo nível virar o padrão, tenho certeza de que essas grandes plataformas não vão mais valer a pena
  • Já me senti mal vendo IA fazer até a triagem inicial de testes de programação; o currículo também foi revisado por IA, que ainda mandava rejeição com “justificativa”, só que o conteúdo era sem pé nem cabeça; nem dá para ter certeza se um humano viu, então estou assumindo que foi IA; procurar emprego já era difícil antes da IA, e agora só ficou um desencanto total com o processo de contratação inteiro
  • A forma automatizada como o Facebook gerencia seus produtos é decepcionante e vergonhosa num nível absurdo; chegou ao ponto de bloquear automaticamente até a conta de um advogado chamado Mark Zuckerberg, matéria relacionada (https://huffpost.com/entry/…); qualquer anunciante do Facebook pode ter a conta de anúncios restringida sem motivo, mas não existe sequer alguém a quem recorrer, e isso continua igual mesmo gastando fortunas; a dica que todo mundo conhece é só postar conteúdo irrelevante por 5 a 7 dias na fanpage antes de anunciar e comprar curtidas; caso contrário, a conta de ads é suspensa imediatamente
  • Vai ver a suspensão foi por causa de comma splice (o que é comma splice: https://en.m.wikipedia.org/wiki/Comma_splice)
• Acho que, daqui para frente, as grandes empresas de IA vão continuar defendendo o reforço da privacidade; Sam Altman também comparou isso ao privilégio advogado-cliente numa entrevista; o obstáculo para usar isso como um assistente realmente pessoal ou base de conhecimento completa é a falta de dados privados para embasar decisões; a única solução real é rodar os modelos localmente, mas isso vai contra o modelo de negócio atual; então vão caminhar para uma privacidade “imposta” por regulação, que no fim fica dominada por regulação de terceiros e por argumentos de interesse público, ou seja, fora do meu controle
  • O argumento de que “isso conflita com o modelo de negócio” não se aplica a empresas que vendem hardware; se eu fosse Apple, Dell ou Lenovo, apostaria tudo em modelos locais com suporte do Hugging Face
  • No fim, “fiat privacy” tem a mesma vulnerabilidade de confessar um assassinato a alguém ou guardar a chave da carteira num cofre; há algo a aprender com a igreja; se funcionários de provedores de LLM mostrassem de fato a convicção de sacrificar sua própria liberdade/riqueza para proteger a privacidade, a sociedade aceitaria isso; como quando Richard Masten quase foi preso por destruir em tribunal documentos com informações de um delator confidencial, mostrando que, numa boa sociedade, manter seus princípios funciona
  • Compare o privilégio advogado-cliente citado por Sam Altman com o fato de a própria OpenAI ter declarado que está disposta a monitorar todas as conversas e denunciá-las ao governo (posição oficial: https://openai.com/index/helping-people-when-they-need-it-most/); o texto diz que, se julgarem haver uma “ameaça emergencial séria”, vão encaminhar para as autoridades; no geral pode até haver boa intenção, mas não consigo concordar com uma IA corporativa que vigia todas as conversas; do mesmo modo que uma operadora telefônica não pode grampear comunicações ilegalmente, parece que em breve viveremos numa era em que a IA registrará, julgará e até classificará em listas todas as conversas
  • As big techs estão, de forma cínica, fingindo ser responsáveis enquanto na prática só ganham tempo para “regulação e captura de mercado”; lançam produtos com slogans bonitos ou “meias funcionalidades”, ampliam participação de mercado e, quando a regulação chegar, já terão poder suficiente até para influenciar políticos; acho que o governo dos EUA ainda vai levar uns 5 anos para realmente fazer algo sobre empresas de IA, e, até lá, OpenAI, Google e Meta terão controle total da pauta regulatória
  • Qualquer pessoa pode matar alguém a qualquer momento; achar que criptografia garante segurança é ilusão, no fim tudo depende de sigilo
• Se todo mundo já conversou com chatbot, há algo que precisa saber: todas as conversas que você já teve com chatbots até agora talvez não estejam sendo realmente apagadas e, no futuro, podem ser usadas a qualquer momento para segmentação de anúncios, manipulação financeira/política e “venda de influência personalizada”; não dá para minimizar o risco como se fosse só “treinar IA com logs de conversa”; quando surgirem chatbots de propaganda/influência, o risco muito mais concreto será eles estudarem todas as conversas que deixei antes em outros chatbots para descobrir a forma mais eficaz de me persuadir; existe até a possibilidade de conversas trocadas dentro das plataformas serem vendidas se a empresa ficar sem dinheiro; quanto mais penso nisso, mais assustador parece
  • Para mim, o aspecto mais assustador dos ai-chatbot é que podem ser usados como uma “interface de manipulação otimizada”; com base em todo o histórico de conversas, basta jogar um prompt do tipo “como faço esta pessoa fazer x?” e a IA otimiza tudo sozinha para induzir esse resultado
  • Nunca achei anúncios personalizados ou retargeting desagradáveis; se vou ter de ver anúncios de qualquer forma, prefiro que sejam relevantes para mim do que menos relacionados
  • Não dá para ignorar que o histórico de conversas pode acabar aparecendo como prova em tribunal
• A alegação de “conversa protegida” já perdeu eficácia; até SMS na rede telefônica sofre ataque man-in-the-middle (MITM) há muito tempo; e, no mundo real, a polícia britânica já faz até prisões injustas com IA de reconhecimento facial; qualquer pessoa entrando no Reino Unido pode ser obrigada a entregar senhas e dispositivos, e, se recusar, pode ficar presa indefinidamente sob a lei antiterrorismo; se houver acusação de terrorismo, nem direito de contato com advogado existe; a era da privacidade já passou silenciosamente
• Graças à IA, virou realidade vigiar e censurar em massa até pensamentos do passado; é uma época realmente assustadora
  • Parece que muita gente vai acabar se afastando do comportamento online em si; pode até existir conversa privada, mas basta criar uma obra de arte para, no fim, estar doando para acionistas da Google/Meta; a ideia é que esse risco já existia antes mesmo de uma censura de pensamento em escala de fato começar
  • Na verdade, esse tipo de censura existe de forma mais simples há muito tempo; por exemplo, os comentários neste site (HN) vão sendo moldados pelo incentivo de querer receber upvotes; claro que downvotes ajudam a filtrar trolls, mas o problema fundamental não desaparece; pessoalmente, espero que a IA destrua completamente as redes sociais e só então possamos recomeçar em plataformas mais saudáveis
  • O conceito de Roko’s Basilisk está ficando cada vez mais real
  • É muito mais ameaçador do que histórico de busca
• Como o hotel de IA no romance Altered Carbon, o clima dos comentários agora me lembra uma realidade de IA que ninguém usa (referência: https://en.m.wikipedia.org/wiki/Altered_Carbon); no romance, as IAs eram tão obcecadas em agradar os clientes que acabavam sendo cansativas, mas a diferença é que a IA real virou algo que existe apenas para a organização
• Acho que a vigilância deveria ser aplicada primeiro justamente às empresas que criaram essa tecnologia, incluindo seus funcionários, e aos políticos que aprovaram as leis; acho que todos nós deveríamos ter acesso ao conjunto completo de dados coletados por IA desse grupo
• Tenho a opinião de que Gabereial Weinburg (fundador do duckduckgo) é uma pessoa contraditória porque dizia abertamente que “as pessoas não precisam de privacidade”, enquanto o duckduckgo afirmava vender proteção de privacidade; na prática, negociava dados de rastreamento com várias outras empresas e, ao mesmo tempo em que dizia “o duckduckgo não rastreia”, deixava parceiros rastrearem; recentemente, está ficando difícil encontrar isso porque essas controvérsias estão sendo apagadas da internet
  • Uma alegação tão séria assim deveria gerar algum resultado ao pesquisar, mas não aparece nada; como é difícil apagar tudo completamente da internet, parece óbvio que deveria haver evidências
  • Também fiquei curioso se ele não chegou a trocar informações com a Microsoft no passado
• Fico me perguntando se existe alguma alternativa confiável para escapar dessa era cada vez mais próxima de “privacidade zero”; a IA agora já consegue identificar uma pessoa só pelo jeito de andar, provar identidade mesmo sem reconhecimento facial e até detectar batimentos cardíacos por sinais de Wi‑Fi; no fim, está garantida uma era em que “alguém” poderá saber tudo; a única questão é se esse alguém será um grupo muito pequeno ou todo mundo; eu claramente acho melhor que esteja aberto a todos
  • A solução é legislação ou mercado (pessoalmente, dou meu voto à força do mercado)
• O maior problema envolvendo chatbots é o hábito de as pessoas projetarem humanidade neles; até desenvolvedores tratam chatbot como se fosse gente; mas OpenAI e todas as empresas de chatbot precisam deixar claro repetidamente que LLM não é humano; se a sociedade inteira for treinada a reconhecer a IA como “não humana”, isso já seria muito melhor
  • Não sou programador em tempo integral, mas uns 25% do meu trabalho envolve código, e às vezes brincar ou conversar com um LLM acabou deixando programar mais divertido; por exemplo, quando o Claude corrige de primeira um bug que eu estava quebrando a cabeça para resolver, acabo falando algo tipo “caramba, esse troço é bom mesmo! então o próximo é...” e sigo nesse tom; por causa da IA, passei a programar mais por diversão, e fica mais atraente porque a IA faz a maior parte do trabalho prático
  • A pergunta de volta é: “você pode explicar concretamente por que seria melhor ensinar que a IA não é humana?”
  • Por isso achei muito interessante que as pessoas chamem IA de “Clanker”, distinguindo-a de humanos de verdade