Crise de confiança na inteligência artificial

Desconfiança em relação aos novos recursos de IA do Dropbox

• O Dropbox adicionou novos recursos de IA.
• Esses recursos enfrentaram críticas por enviarem dados para a OpenAI.
• O Dropbox negou que arquivos pessoais sejam usados como dados de treinamento de modelos.

Detalhes importantes

• O Dropbox tem um documento com o princípio de não usar dados de clientes para treinar modelos de IA sem o consentimento dos clientes.
• Há uma caixa de seleção escondida nas configurações, e não está claro se isso representa o consentimento do usuário.

Pessoas que não confiam na OpenAI

• A OpenAI, parceira terceirizada do Dropbox, afirma que não usa os dados para treinar modelos internos e que os exclui em até 30 dias.
• As pessoas não acreditam nas alegações da OpenAI e estão passando por uma crise de confiança em relação à IA.

O Facebook não espiona você pelo microfone

• A teoria de que o Facebook escuta pelo microfone do usuário e mostra anúncios pode ser facilmente refutada por motivos técnicos e não técnicos.
• Mesmo assim, as pessoas não acreditam nisso com base em suas próprias experiências.

Isso é realmente importante

• Confiança é importante, e mentir sobre como uma empresa lida com privacidade é uma acusação grave.
• O papel do governo é evitar que esse tipo de coisa aconteça.

O que podemos fazer

• Grandes laboratórios de IA podem melhorar a confiança compartilhando informações sobre seus dados de treinamento.
• As interações com o ChatGPT são usadas para melhorar o modelo, mas faltam detalhes sobre como isso é feito.

Oportunidade para modelos locais

• As pessoas confiam mais em modelos locais executados em seus próprios dispositivos do que na nuvem.
• A qualidade dos modelos locais está melhorando e seu tamanho está diminuindo.

Opinião do GN⁺

• A interseção entre IA e privacidade é uma questão importante, e uma conversa transparente sobre isso é necessária.
• A desconfiança em relação às alegações do Dropbox e da OpenAI vem da falta de compreensão da tecnologia e da ausência de confiança.
• Este texto chama a atenção ao destacar o rápido avanço da tecnologia de IA e a importância resultante da privacidade, explicando por que uma comunicação transparente baseada em compreensão e confiança é necessária.

[GN⁺]

Opiniões do Hacker News

• A captura de tela foi tirada diretamente da minha conta. Está configurado como "ativado", mas eu não ativei isso pessoalmente.

  • No contexto da privacidade em sites, também existe uma crise de "consentimento". Precisamos de uma definição de consentimento que seja executável legalmente, e isso não deve significar que o usuário precise dar consentimento positivo para que seus dados sejam enviados a terceiros. É um bom artigo, mas a analogia entre "meu telefone está me espionando" e "a OpenAI pode estar mentindo sobre como usa meus dados" tem algumas falhas. Um controle rigoroso sobre apps de terceiros que acessam o microfone do iPhone não é equivalente ao envio de dados a terceiros. Para o público em geral pode parecer a mesma coisa, mas, na prática, estamos protegidos contra a primeira situação. Agir como se a luta pela privacidade e soberania dos dados do usuário já estivesse perdida é extremamente contraproducente. Vejo com frequência pessoas com algum conhecimento técnico reagindo a novos abusos corporativos com uma atitude de "isso é notícia velha". Essas pessoas deveriam dar um exemplo melhor. Esse sentimento de impotência destrói a confiança e não transmite a ideia de que um mundo melhor é possível. O erro da Dropbox parece ser um retorno dessa mentalidade: acharam que os usuários não se importariam que seus arquivos privados fossem enviados a terceiros sem serem consultados. Eu já tirei a maior parte dos meus dados da Dropbox e ontem senti a necessidade de cancelar definitivamente o serviço. Obrigado, Dropbox!

• Este texto é um tanto ingênuo e passa uma sensação de "presumir boa-fé". Veja o que aconteceu fora da IA nos últimos 10 anos: todo mundo vem consumindo dados como um acumulador compulsivo. Não só Google e Facebook, mas literalmente todos. Hoje descobri que um mini site sobre culinária tradicional sueca adicionou vídeo com reprodução automática, banner de consentimento de cookies com dark patterns etc. Quase todo novo app/site é estruturado em torno desse eixo econômico. E então, quando os LLMs começaram a ficar poderosos, de repente houve um bloqueio coordenado às APIs de terceiros. Agora temos ChatGPT/OpenAI e seus concorrentes. Se os outros players consomem dados como um lanchinho secreto da madrugada, a geração atual de IA é mais como zumbis rápidos e ágeis sedentos por sangue e cérebro. Isso acontece porque os dados têm um papel mais direto no produto, mas também porque a típica psicologia de competição da hype train dos VCs de tecnologia despertou pela primeira vez em décadas. Tudo aponta para apocalipse zumbi/corrida do ouro/pedir perdão depois etc. Por isso acredito fortemente que é esse o motivo de eles (todos) estarem tão focados na retórica de segurança/responsabilidade. Estão juntando munição com antecedência para turvar as águas antes que cheguem inevitáveis crises de PR ligadas à reputação, no plural. Enquanto isso, nós, técnicos, estamos por aí sem reação, como se não tivéssemos vivido intensamente os últimos 10 anos, achando que desta vez será diferente porque a IA tem base acadêmica, por causa das empresas novas e brilhantes, por causa da retórica de segurança, por causa das falas ousadas no Twitter de fundadores "pé no chão". Não sei exatamente o que está acontecendo, mas conheço pessoas e como elas funcionam há tempo suficiente. E elas não melhoraram.

• Acho que seu artigo ignora questões de privacidade que vão além do treinamento com meus dados.

  • Como profissional, tenho clientes com acordos de confidencialidade e regulamentações sobre para onde minhas informações podem ir. Prefiro serviços em que meus dados permaneçam no servidor. Não entendo por que meus dados nem sempre estão totalmente criptografados e visíveis apenas para mim, mas serem enviados pela internet para outra empresa e processados sem meu consentimento ou interesse é horrível. Quando uso recursos de IA, eu consinto, mas enviar meus arquivos privados para toda a internet sem meu consentimento é uma insanidade. Sinceramente, o OneDrive tem uma ferramenta de migração e eu consegui uma avaliação do Dropbox Business e transferi automaticamente todos os meus arquivos ontem à noite. Este é o limite final para mim quanto ao fato de a empresa deles continuar fazendo coisas que eu não pedi e não entregar recursos que eu peço constantemente... criptografia de ponta a ponta. Se você quiser migrar com alguns cliques do Dropbox Business para uma conta do Office 365 OneDrive, aqui está: [link da ferramenta de migração]

• O problema central aqui é que as pessoas estão preocupadas que os arquivos privados da Dropbox estejam sendo usados pela OpenAI para treinamento de modelo.

  • Isso é só parte do problema. Não quero que meus dados sejam enviados para lugar nenhum sem minha aprovação. Neste caso, não temos motivo para duvidar do que dizem quando afirmam que a OpenAI não usará nossos arquivos para treinamento, mas ainda assim temos que acreditar que eles serão capazes de lidar com nossos arquivos com segurança.

• O Facebook diz que não faz isso. Se forem pegos mentindo, o risco para a reputação deles seria enorme.

  • Não acredito que o Facebook esteja espionando secretamente alguém pelo microfone do telefone, mas essa afirmação específica não convence nem um pouco. A reputação do Facebook, pelo menos entre as pessoas comuns não técnicas que eu conheço, é péssima. Moro nos EUA, e as pessoas sabem que o Facebook ajudou a fomentar os distúrbios de 6 de janeiro de 2021 e depois evitou toda responsabilidade sem consertar nada. O dano reputacional que eles absorveriam com isso — algo que muita gente já acha que provavelmente fazem — não se compara.

• No artigo, o aspecto de confiança no microfone parece um red herring que distrai do ponto principal, que poderia ficar mais claro.

  • O Facebook pega seus dados no app deles e na internet para rastrear seu comportamento online, e alimenta seus <i>modelos</i> com esses dados. Esses modelos às vezes são precisos a ponto de quase prever o que você está pensando. Por isso pessoas comuns concluem que eles devem estar espionando pelo microfone. Empresas de LLM como a OpenAI e seus parceiros usam praticamente os mesmos modelos. Pegam dados de onde puderem para melhorar o modelo e fazer você continuar clicando onde querem que você clique, e para monetizar você.

• Eu não "confio" na OpenAI nem em qualquer outra grande empresa quanto ao que dizem que fizeram, ao que dizem que vão fazer ou ao que estão fazendo.

  • Mas eu acredito que a OpenAI não está usando dados da Dropbox para <i>treinamento</i> sem o consentimento do usuário. Só que esse não é o problema aqui. O problema acontece no trajeto dos dados; ao enviar dados para um terceiro que de fato pode ler esses dados, pode haver um funcionário mal-intencionado fora do controle da Dropbox, os dados podem aparecer em logs ou ser tratados de acordo com outras políticas. Se eu envio dados pessoais para a Dropbox, ela não pode repassá-los a terceiros por qualquer motivo sem meu consentimento explícito e informado. Não vejo como isso possa ser controverso. Se a Dropbox quiser manter o modelo internamente e oferecer busca RAG para usuários que consentirem, isso é uma coisa. Se a Dropbox estiver enviando de forma proativa todos os dados de todos os usuários a terceiros sem avisar ninguém, isso é outra completamente diferente. É horrível.

• Crise de confiança na IA?

  • O que acontece depois que você ouve que o conselho/CEO de uma empresa foi demitido/substituído sob acusações de mentira ou manipulação? Se a Dropbox obtiver dados ao escanear informações derivadas dos dados do usuário, então esses dados "derivados" deixam de ser "dados do usuário" e passam a ser dados da Dropbox, que podem ser compartilhados. Podem ter natureza estatística, sem relação direta com um usuário individual, mas isso não é exatamente o que são dados de treinamento? Não é assim que funciona? Isso não é mentira, é hair-splitting. Não, isso é conduta antiética, e virou padrão entre as grandes empresas.

• Acho que pessoas que não confiam em empresas de IA provavelmente sentem algo parecido em relação a empresas de vários setores, ONGs e até órgãos governamentais.

  • Para mim, parece haver um problema de confiança muito maior que vai muito além das empresas baseadas em IA. Por isso, este setor específico tentando combater essa desconfiança vinda de todos os lados parece uma missão impossível que foge ao escopo desses negócios. Não sei qual é a resposta para esse problema, se de fato existe um problema, nem para onde podemos estar indo se esse cinismo generalizado se espalhar para tudo e todos. Talvez estejamos apenas amaldiçoados a viver em tempos interessantes.