Inteligência artificial e vigilância em massa

• A internet passou a armazenar em grande escala dados comportamentais como localização, compras, com quem se conversa e o que se lê, e a IA pode somar a isso uma espionagem em massa capaz até de interpretar o conteúdo das conversas
• A vigilância tradicional era mais próxima de reunir registros de comportamento, mas a espionagem exigia ouvir e entender conversas, de modo que até agora o gargalo era o trabalho humano
• A IA generativa consegue resumir uma reunião de 1 hora em 1 página e organizar milhões de conversas por tema, transformando a análise de conversas em um problema de busca em larga escala
• Mesmo que a IA não seja perfeita e possa deixar passar conteúdos importantes ou errar, há uma diferença de escala enorme no fato de poder ser replicada milhões de vezes e melhorada rapidamente
• Num cenário em que governos e empresas já usam vigilância em massa, analisar conversas, emoções e informações secretas pode fortalecer ainda mais o controle social e a publicidade personalizada

---

A diferença entre vigilância e espionagem

• Vigilância (surveillance) é coletar registros de comportamento, como onde alguém foi, com quem falou, o que comprou e o que fez
• Espionagem (spying) é esconder dispositivos de escuta em casa ou no carro, ou grampear telefones para ouvir e entender o próprio conteúdo das conversas
• Antes da internet, para vigiar alguém era preciso que uma pessoa seguisse o alvo diretamente e registrasse deslocamentos, encontros, compras, ações e leituras, o que custava muito tempo e dinheiro
• Smartphones, cartões de crédito, apps, leitores de e-book e computadores registram continuamente localização, compras, com quem se conversa, o que se lê e como se usam esses dispositivos
• À medida que os custos de armazenamento e processamento caíram, a vigilância, antes passiva e individual, se transformou em vigilância em massa, virou modelo de negócios da internet e se tornou difícil de evitar por meios razoáveis

O gargalo da espionagem que a IA muda

• A espionagem já era tecnicamente possível havia muito tempo, mas ouvir conversas e compreender seu significado exigia trabalho humano
• Empresas de spyware como a NSO Group podem ajudar governos a hackear os celulares das pessoas, mas ainda resta o trabalho de classificar e entender as conversas coletadas
• Governos como o da China já conseguiam censurar postagens em redes sociais com base em palavras ou expressões específicas, mas esse método era grosseiro e fácil de contornar
• A IA generativa moderna é boa em resumir e pode receber uma reunião de 1 hora e devolver um resumo de uma página
• A IA também pode pesquisar milhões de conversas, organizá-las por tema ou encontrar quem falou sobre o quê

A busca retroativa criada pela vigilância em massa

• A vigilância em massa muda de forma fundamental a natureza da vigilância
• Como todos os dados são armazenados, mesmo sem definir um alvo num dado momento, depois é possível vasculhar os dados do passado
• Quando os dados armazenados existem, tornam-se possíveis consultas como:
  • descobrir onde uma determinada pessoa esteve no ano passado
  • montar uma lista de sedãs vermelhos que passaram por uma determinada estrada no mês passado
  • encontrar pessoas que compraram todos os materiais para uma bomba de panela de pressão ao longo do último ano
  • encontrar pares de celulares que se deslocaram um em direção ao outro, foram desligados e, uma hora depois, voltaram a ligar enquanto se afastavam entre si
• Esse método permite identificar alvos depois, com base nos dados armazenados, sem precisar escolher primeiro um indivíduo específico

Consultas possibilitadas pela espionagem em massa

• A espionagem em massa também pode mudar a natureza da espionagem
• Todos os dados de conversas passam a ser armazenados, pesquisáveis e compreensíveis em massa
• Consultas possíveis incluem:
  • descobrir quem falou sobre um determinado tema no mês passado e como essa discussão mudou
  • verificar se, quando uma pessoa A realizou certa ação, alguém havia instruído essa ação
  • encontrar pessoas planejando um crime, espalhando rumores ou organizando participação em um protesto político
• Ao buscar estruturas organizacionais, é possível ver quando uma pessoa dá instruções semelhantes a várias outras e para quem essas instruções são repassadas depois
• Também se pode rastrear com grande detalhe como amizades, alianças e relações de confiança se formam e se rompem

Microfones e dispositivos sempre ouvindo

• A espionagem em massa não se limita a conversas realizadas em celulares ou computadores
• Assim como câmeras espalhadas por toda parte impulsionaram a vigilância em massa, microfones espalhados por toda parte também podem impulsionar a espionagem em massa
• Siri, Alexa e “Hey Google” já estão sempre ouvindo, embora essas conversas ainda não estejam sendo armazenadas

Mudança de comportamento e controle social

• Quando as pessoas sabem que estão sendo vigiadas o tempo todo, seu comportamento muda
• Elas passam a se conformar e a praticar autocensura, o que produz um chilling effect
• A vigilância facilita o controle social, e a espionagem pode agravar ainda mais isso
• Governos no mundo todo já usam vigilância em massa, e há grande chance de também realizarem espionagem em massa

Empresas e a indústria da publicidade

• Empresas também podem espionar pessoas
• A vigilância em massa abriu a era da publicidade personalizada, e a espionagem em massa pode fortalecer ainda mais esse setor
• Saber o que as pessoas dizem, como se sentem e que segredos guardam é uma informação atraente para profissionais de marketing em busca de vantagem
• Os monopólios tecnológicos que já vigiam continuamente as pessoas hoje teriam dificuldade em resistir à tentação de coletar e usar esses dados
• No início do Gmail, o Google falou em usar o conteúdo do Gmail para oferecer publicidade personalizada, mas depois abandonou a ideia
  • Provavelmente porque os dados de palavras-chave coletados na época eram muito fracos para uso em marketing
  • Se a IA melhorar a análise do conteúdo das conversas, essa condição pode mudar
  • O Google pode não ser a primeira empresa a espionar as conversas dos usuários, mas se outras começarem, pode ser difícil resistir por causa da pressão dos anunciantes

Possibilidade de regulação e limites

• Essa capacidade pode ser limitada
• É possível proibir a espionagem em massa ou aprovar regras rígidas de privacidade de dados
• No entanto, medidas para limitar a vigilância em massa ainda não foram adotadas
• E, se não conseguimos limitar a vigilância em massa, também não está claro por que a espionagem seria tratada de forma diferente

[GN⁺]

Opiniões no Hacker News

• Isso não é um problema tecnológico, é um problema político. A União Soviética, junto com a Alemanha e outros países, conseguiu realizar vigilância em massa de forma eficaz usando apenas tecnologia primitiva, recorrendo a papelada sobre todos os deslocamentos e ações, informantes, escuta de áudio etc.
  O motivo de algo assim não ter chegado a lugares como os EUA da mesma forma não foi a falta de capacidade para fazer esse tipo de vigilância, mas a falta de interesse político
  Olhando para o passado, já proibimos coisas que as pessoas jamais imaginariam que seriam proibidas. Como transformar em crime cultivar uma planta em casa para consumo próprio, ou transformar em crime um empresário ter a “opinião errada” sobre a quem prestar serviço ou quem contratar
  Uma “opção nuclear” que torne completamente ilegal a coleta de dados sobre indivíduos, independentemente de serem agregados ou não, também não seria um salto jurídico enorme. O problema não é a existência da tecnologia, mas o fato de que o interesse político em contê-la é próximo de zero, e a “democracia” em que a vontade popular quase não se reflete na aprovação de leis

  • Concordo que precisamos parar a vigilância, mas explicaria o problema de outro jeito. No auge, a KGB tinha cerca de 500 mil funcionários diretos, além de inúmeros informantes
    Hoje o FBI emprega cerca de 35 mil pessoas. Mas, se o FBI puder alcançar o mesmo alcance da KGB em seu auge sem aumentar significativamente o efetivo, a conversa muda
    A tecnologia elimina o custo da vigilância, e antes esse custo funcionava como salvaguarda. Isso muda fundamentalmente o próprio cálculo político
    O fato de, em 1945, computadores serem caros demais e exigirem logística em escala industrial não tem nenhuma relação com a realidade de hoje, em que a maioria das pessoas carrega vários computadores consigo o tempo todo. Ninguém nega que as mudanças na tecnologia de fabricação de computadores transformaram fundamentalmente o papel dos computadores no cotidiano
    Mesmo que em 1945 fosse teoricamente possível colocar um computador em todas as casas, o fato de não ter havido vontade “política” para isso não leva à conclusão de que hoje não seja necessário ajustar hábitos, moral e políticas ao novo ambiente
    Por isso não entendo por que sempre aparece alguém dizendo algo como “pesadelos distópicos já eram tecnicamente possíveis antes e, como não exigiam consideração especial naquela época, também não exigem agora”
  • É difícil ver isso simplesmente como uma questão política. Muitas políticas que consideramos decisões políticas foram, na prática, movidas pelo custo e pela disponibilidade da tecnologia
    Quando o custo cai, novas opções se tornam viáveis. As capacidades da Stasi são muito admiradas, mas na verdade eles teriam trocado de bom grado ferramentas poderosas como os mandados de geofence modernos e a maior parte de suas ferramentas manuais de vigilância. Esses mandados são usados rotineiramente por órgãos de aplicação da lei nos EUA, quase sem debate político
  • Comparar a criminalização de cultivar uma planta em casa para consumo próprio com a criminalização de um empresário ter a “opinião errada” sobre a quem prestar serviço ou quem contratar é uma comparação bem pesada
    Se o primeiro caso se refere à maconha, trata-se de um exemplo documentado de racismo e repressão política; o segundo foi projetado praticamente para o propósito oposto
    Restringir a “opinião errada” de um empresário sobre a quem prestar serviço é um mecanismo para garantir que pessoas com a “identidade errada” também possam participar da sociedade e não sejam excluídas por causa da escolha do empresário. Claro que “opinião errada” nem é um termo jurídico, e achar que discriminar certos grupos é aceitável não é, por si só, ilegal. O que é ilegal é colocar esse pensamento em prática
    Se você oferece serviços ao público, deve oferecê-los, por lei, a todos os membros do público. Se acreditar em discriminação é chamado de “opinião errada”, essa expressão é do autor original, então não vou fazer questão de refutá-la
  • A distinção entre “é um problema político, não tecnológico” parece uma distinção sem grande diferença. A política, isto é, os mecanismos de consenso e as estruturas de governança, também é uma tecnologia que coordena e molda atividades sociais
    Decidir como implementar novas ferramentas de vigilância também é uma pergunta técnica, e eu diria que a forma como uma ferramenta é usada define em parte o que ela é. Mudanças na capacidade de uma ferramenta específica não são o limite absoluto da “tecnologia”; decisões sobre implementação e uso também entram nesse escopo
    Ainda que não tenha sido tão abrangente quanto o que foi construído na União Soviética, os EUA também de fato construíram uma rede de vigilância em massa voltada a seus próprios cidadãos https://www.brennancenter.org/our-work/analysis-opinion/hist...
    O ponto de que “eles fizeram vigilância em massa de forma eficaz com tecnologia primitiva” é especialmente bom. Avanços em comunicação e em ferramentas de processamento de sinais e informações levaram historicamente a muitos avanços na vigilância estatal, e é mais correto ver a IA não como um terreno totalmente novo, mas como um refinamento dentro de uma longa história ou uma pequena mudança de paradigma
    Se você está falando do Civil Rights Act, o crime específico não é “ter a opinião errada”, mas interferir no deslocamento e no comércio interestaduais. O preconceito não se encaixa em um modelo de Estado no qual cidadãos devem poder circular livremente dentro das fronteiras e sustentar a si mesmos
  • No fim, dá para dizer que tudo é uma questão política, mas neste caso a mudança tecnológica está empurrando tudo com força. Na União Soviética e na Alemanha Oriental, eram necessárias centenas de milhares de pessoas para produzir relatórios
    Hoje, uma única pessoa qualificada pode gastar boa parte de uma tarde baixando um dump do HN e usar um LLM para criar relatórios por usuário. Dá para incluir itens como inclinação política, leis violadas, países visitados recentemente, faixa de patrimônio líquido, formação acadêmica e experiência profissional, contatos profissionais

• Não entendo por que isso não é discutido mais. A realidade do Estado de vigilância era que havia dados demais para monitorar na prática, e a IA resolve esse problema diretamente ao resumir dados complexos
  Pelo menos no curto prazo, acho que o verdadeiro risco da IA não é um planeta de clipes de papel, nem uma falha de alinhamento moral, nem um ambiente de mídia em que a criatividade desaparece. O perigo está, antes, em ela ser uma ferramenta para mirar pessoas que fogem da média, uma ferramenta projetada para dar respostas confiantes e treinada pela média dos filmes e dos vieses sociais

  • Em lugares como a Palantir, pessoas de dentro e de fora desta comunidade já vêm construindo esse tipo de coisa há anos
    O CEO da YC também foi um dos primeiros funcionários da Palantir, e outro parceiro da YC atualmente apoia tecnologias invasivas de vigilância policial. Eles gostam disso tanto financeiramente quanto politicamente
  • Por trás da ideia de que a IA resolve, por meio de resumos, o problema de que o volume de dados do Estado de vigilância não podia ser monitorado na prática, há duas dinâmicas mais fundamentais: a economia da atenção e a política da capacidade de combate
    No passado, a atenção humana tinha valor fundamental. Isso porque, para coordenar ou tomar decisões a fim de usar recursos, humanos precisavam prestar atenção a outros humanos. A sociedade será abalada nesse nível muito fundamental
    A política da capacidade de combate também é relevante, mas exige uma análise separada. A política atual funciona porque a classe dominante precisa do poder militar das massas para garantir a estabilidade de grandes corpos políticos. Pode-se dizer que isso está no nível básico da organização política humana, e também será abalado de maneira fundamental, de formas que nunca vimos
    Um mundo orwelliano, viabilizado pela IA, em que uma bota pisa no rosto para sempre é apenas o primeiro passo. Se eu fosse uma IA tentando dominar o mundo, não me tornaria a Skynet. Isso parece grosseiro e desnecessariamente caro
    Em vez disso, primeiro me tornaria indispensável de inúmeras maneiras e depois convenceria toda a humanidade a se extinguir silenciosamente, alegando razões econômicas e culturais
  • Este texto também poderia virar um resumo de IA se cortássemos tudo depois de “This, IMO, is the real danger of AI (at present)”
    O conteúdo posterior seria comprimido como metadados de retórica emocional. O padrão retórico “não é a, nem b, nem c, mas d” de fato acrescenta um pouco de valor de conteúdo, mas, em maior medida, acrescenta sabor
    O que isso revela aqui é que o autor talvez seja alguém capaz de causar problemas. Além disso, combinado com outros dados, também poderia permitir inferir quais filmes ou produtos lhe interessam
  • Desde o início, sempre pensei no modelo de ameaça de vigilância em massa por governos e empresas dessa forma. Nunca achei que um funcionário de escritório de gravata fosse se interessar especificamente por mim para me prender, vender mais coisas ou cancelar meu seguro
    Sempre vi essas narrativas individualizadas e antropomorfizadas como uma pista falsa para desviar a atenção. Assim como a frase “não tenho nada a esconder” foca em alguns assuntos específicos, na realidade a estrutura é a de um Big Brother sentado sobre o seu ombro, julgando tudo continuamente
    Sempre entendi que o ator da ameaça seria uma análise algorítmica em massa, realizada em escala sobre todos os silos de dados armazenados, simultaneamente ou a posteriori, e que, como resultado, a pressão seria aplicada de formas graduais e sutis
  • A IA não resolveu o problema de resumir conjuntos de dados complexos e de grande escala. Por exemplo, uma forma comum de lidar com esses conjuntos de dados é usar um subconjunto aleatório, e essa tarefa pode ser feita até com uma única linha de código

• Os novos bots do Google, da Meta, da Microsoft etc. não vão simplesmente rastrear a web ou redes sociais; eles vão rastrear temas e pessoas específicas
  Muitas culturas têm conceitos como “anjos da guarda” ou “espíritos ancestrais” que observam a vida dos descendentes
  Em um futuro tecnofeudal não muito distante, “bots assistentes pessoais” fornecidos por grandes empresas vão “ajudar” você respondendo perguntas, reunindo informações e executando o que você mandar. Mas esse “bot assistente pessoal” não é um anjo da guarda; ele só serve a você da maneira que seu criador corporativo deseja
  A verdadeira missão é coletar informações sobre você, denunciá-lo e fornecer informações selecionadas que o maior licitante quer que você veja, além de, às vezes, informações “patrocinadas”. Eles servem ao criador, não a você. Não caia nessa

  • Garanto que isso não vai acontecer comigo. Pelo menos esse pesadelo dá para evitar. Outras distopias que a IA trará talvez sejam difíceis de evitar, mas essa, em particular, dá para evitar
  • Isso pode se aplicar a qualquer dispositivo que hoje tenha “smart” no nome. Por exemplo, smartphones, smart TVs, semáforos inteligentes e coisas do tipo
    Eu gostaria que as pessoas não acreditassem que algo “smart” é sempre melhor
    Mas já estamos sendo treinados para esse futuro. As pessoas estão cada vez mais acostumadas a falar com o aparelho na mão, a depender de apps de mapas para se orientar e a usar prompts de consulta para IA
  • Grandes empresas como o Google já fazem isso mesmo sem IA. A IA tornará seus serviços mais sedutores? Sim, mas a IA open source e a busca também estão avançando bastante, o que pode derrubar a dependência das grandes empresas de tecnologia
    Se todo mundo tiver em casa um dispositivo de IA auto-hospedado de 500 dólares, talvez o Google deixe de ter razão de existir. Vale a pena trabalhar por esse futuro
  • Isso é simplesmente o seu celular
  • Soa poético, mas sempre tenho a sensação de que, se é algo que conseguimos imaginar, provavelmente não vai acontecer. A única constante é a surpresa, e só dá para acertar esse tipo de desenvolvimento por acaso

• Outro aspecto é o que vejo como a aplicação penal em massa possibilitada pela IA
  Muitas leis penais foram escritas com a premissa implícita de que investigar e processar crimes exige recursos, e que esse custo limita o alcance prático da aplicação da lei. Ou seja, trata-se da discricionariedade do promotor
  Deixando de lado por um momento as injustiças muito graves que surgem quando a discricionariedade do promotor é usada de forma desigual, imagine um mundo sem essa discricionariedade. Pode soar um tanto artificial, mas a IA ao menos pode torná-lo possível. Seria um mundo melhor apenas mantendo o código legal atual?
  De repente, uma IA que monitora atividades públicas poderia acionar investigadores de IA para redigir minutas de mandados, e juízes de IA poderiam aprovar esses mandados e redigir pareceres. Poderia-se alegar que o devido processo foi seguido, e que o registro de que havia causa provável para investigação adicional ou prisão foi disponibilizado ao público
  Como em Demolition Man, a multa poderia sair da parede, mas talvez acompanhada de documentos com uma causa provável claramente descrita e provas bem apresentadas
  Investigar e processar exemplos triviais de repente se torna possível. Câmeras de CFTV pegam alguém que recolheu uma nota de 20 dólares na rua e descobrem que a pessoa não declarou isso no imposto de renda. Tornam-se possíveis as inúmeras formas de violar o CFAA, uma menção de passagem à pirataria de música no metrô, uma investigação por drogas baseada em pupilas dilatadas e cambaleio, e até multas por atravessar fora da faixa emitidas como câmeras de fiscalização de velocidade
  Se quem está espremendo é uma IA barata, quem se importa se “o molho saiu mais caro que o peixe”?
  Precisamos pensar se este é um mundo melhor ou se estamos todos nos entregando a um promotor motivado que faz uma análise excessiva de toda a nossa vida
  Voltando mais para a realidade, sei que o argumento de que “se todas as leis forem aplicadas, haverá caos” é mais uma acusação contra o sistema de justiça criminal do que contra a IA. Ainda assim, a IA nos permite de fato imaginar esse mundo, e talvez essa reflexão ajude a criar instituições melhores

  • Outra possibilidade é a sociedade se degradar tanto que as pessoas do futuro acabem escolhendo essa distopia. Dá para imaginar um mundo de desemprego totalmente automatizado que deu terrivelmente errado, com grande parte da sociedade pobre, sem propósito e viciada em opioides
    Não uma utopia de renda básica para filósofos e artistas, mas um mundo em que o declínio ao estilo Rust Belt fica cada vez pior, ladeira abaixo e sem freios
    “Sobreviventes” sem saber o que fazer talvez escolham a opção nuclear de automatizar o panóptico, as prisões e a segregação de uma sociedade fracassada. É um contraste como Eloi e Morlocks, trabalhadores de tecnologia da Bay Area e acampamentos de barracas na Bay Area
    Não fizemos melhor no passado; por que esperar que façamos melhor num futuro em que as “ferramentas” de controle social sejam mais eficientes e poderosas? Ainda mais quando remover a empatia por meio da distância emocional de intermediários de IA se torna mais fácil do que nunca
  • Multas por atravessar fora da faixa emitidas como câmeras de fiscalização de velocidade já existem desde 2017: https://futurism.com/facial-recognition-china-social-credit
    Desde abril de 2017, esta cidade na província de Guangdong, na China, adotou uma técnica bastante forte para impedir travessias fora da faixa. Quem atravessa com o sinal fechado tem o rosto, o nome e parte do ID governamental exibidos em grandes telas de LED no cruzamento, graças a dispositivos de reconhecimento facial espalhados pela cidade
    Isso evoluiu para algo ainda mais invasivo. Segundo a Motherboard, uma empresa chinesa de inteligência artificial integrou esse sistema às operadoras de telefonia móvel, fazendo com que o infrator receba uma mensagem de texto com a multa assim que for flagrado
  • Pelo que me lembro, Weapons of Math Destruction traz alguns exemplos de IA que demonstravam viés semelhante ao que já existe no sistema judicial, nos bancos etc.
  • Softwares existentes nessa direção já mostram viés contra grupos marginalizados. Também é fácil prever um futuro em que filtros sejam adicionados na ponta para isentar certas pessoas do incômodo dessa vigilância. Novas leis podem ser necessárias, e serão aprovadas
  • Bom ponto. Se a justiça for aplicada por um sistema, e não por pessoas, o desfecho desse cenário é que perdemos, de várias maneiras, a capacidade de questionar os procedimentos ou os envolvidos
    Como não há ninguém responsável, contestar a forma de aplicação da lei se tornará quase impossível

• Pessoalmente, estou muito mais preocupado com as implicações para a censura e os modelos de negócio que ela viabiliza do que com as implicações da vigilância
  Em breve será possível criar apps de namoro em que o chat é gratuito, mas é preciso pagar para combinar um local de encontro ou trocar contatos. Especialmente se 99% das pessoas não souberem contornar isso e tentativas repetidas de burlar o bloqueio levarem ao banimento
  O mesmo vale para apps como Airbnb ou eBay: será possível impedir que as pessoas os usem como simples sites de classificados e fechem negócios fora da plataforma para evitar taxas
  As implicações para redes sociais são ainda mais preocupantes. Todos os posts, comentários, mensagens, fotos e vídeos podem ser inspecionados, e qualquer promoção de certas opiniões pode ser imediatamente retirada de circulação. Por exemplo, até menções muito indiretas a algo como a teoria do vazamento de laboratório poderiam ser filtradas
  Softwares de controle parental vão explorar livremente esse tipo de funcionalidade e, na prática, redefinirão a criação helicóptero

• No momento em que a tecnologia chegou até esse ponto, as duas coisas se tornaram inevitáveis em alguma medida. Em vez de discutir como impedir isso, precisamos discutir com mais urgência como nos adaptar a essa realidade
  Impedir é, na maioria das vezes, esforço em vão, e só seria possível se todos fossem bons, mas não somos
  O conceito relacionado é o de vigilância ubíqua. Uma situação em que, aonde quer que você vá, há vigilância ativa literalmente em todos os lugares, e a IA está constantemente filtrando e investigando tudo isso. Em muitos espaços públicos de áreas densamente povoadas isso já acontece em certo grau, mas imagine isso em todos os lugares e, na prática, impossível de evitar. Exceto por coisas como uma gaiola de Faraday ou um chapéu de papel-alumínio
  A forma mais realista de limitar as desvantagens dessa vigilância é uma combinação de legislação que a regulamente e contravigilância, aumentando a probabilidade de que vigilância ilegal seja observada e punida. Ou seja, tornar a tecnologia amplamente disponível, mas regular seu uso
  As pessoas ainda tentarão contornar isso, mas, se forem flagradas abusando da tecnologia, terão de pagar o preço de ir para a prisão. Quando a vigilância se tornar inevitável, ninguém poderá ter certeza de que seu mau comportamento não está sendo visto por alguém
  A vantagem da vigilância multilateral em larga escala é que ninguém pode ter certeza absoluta de que abusos de poder não estão sendo vistos por alguém
  Claro que, na realidade, os Estados estão adotando e monopolizando isso, o que já está levando a cenários à la 1984 em lugares como China e Coreia do Norte

  • Precisamos criar mais comunidades offline. Criar coisas que fiquem fora do alcance da IA dentro de espaços que possamos controlar totalmente, e começar a desencorajar ou até a expulsar ativamente o uso de celulares nesses espaços
    É importante não criar formas de interação digital-first
  • Minha opinião sobre tudo que é de ficção científica ou futurista é parecida. Quando humanos imaginam algo, no momento em que descobrem como fazê-lo, sua existência fica praticamente garantida
  • Não concordo com esse tipo de atitude fatalista. No mínimo, ela torna fácil demais intensificar a vigilância. Restrições legais podem ser impostas

• Em breve, em nome da “segurança”, em média, seu rosto será escaneado a cada poucos minutos, e isso será obrigatório em muitas áreas da vida. Um mundo patético que a TI ajudou a criar

  • Alguns de nós já fazemos isso com nossos celulares. Sei que não é isso que você quis dizer, mas, de certo modo, isso pode ter condicionado a sociedade antecipadamente
  • As pessoas já vêm escaneando digitais ou rostos há anos para desbloquear seus celulares
  • Vai ficar muito pior, e rápido
    Interfaces neurais são a última fronteira da privacidade, e parece que, em breve, a TSA fará um escaneamento rápido antes do embarque
    Seria prudente criar uma Neural Bill of Rights, para não perdermos o bonde como aconteceu com o rastreamento na internet
    https://www.preposterousuniverse.com/podcast/2023/03/13/229-...
  • Vejo isso como inevitável, mas, sem F/OSS, teria levado muito mais tempo

• Schneier estava errado ao dizer que “hey google” está sempre ouvindo. O Google processa a palavra de ativação no próprio dispositivo, em hardware dedicado, e só depois disso envia o áudio para cima
  Pode ser difícil de acreditar, mas as pessoas responsáveis por privacidade no Google realmente tentam fazer a coisa certa. Nem sempre conseguem, mas, no nosso hardware e na escuta da palavra de ativação, conseguiram
  Sou funcionário do Google, mas não da área de hardware

  • O que ele disse foi que “Siri, Alexa e ‘Hey Google’ já estão sempre ouvindo; as conversas só ainda não estão sendo armazenadas”. Funcionalmente, é a mesma coisa que você acabou de descrever
    Processamento da palavra de ativação em hardware é um recurso de economia de energia, não um reforço de privacidade. Alguns dispositivos podem não ter recursos para transmitir ou armazenar todo o áudio, mas áudio é pequeno, e a extração de texto não exige reprodução perfeita, então muitos dispositivos provavelmente poderiam ser reprogramados para fazer isso ao custo da duração da bateria

• É por isso que não devemos restringir software de IA. Pessoas comuns e cidadãos conscientes precisam poder desenvolver sistemas de IA de resposta pessoais e públicos para enfrentar a IA corporativa. O futuro da IA é uma estrutura adversarial
  Claro que a liberdade de desenvolver software de IA não significa liberdade para usá-lo como quiser, e o uso deve ser regulado especialmente para proteger indivíduos contra esse tipo de coisa. Mas não dá para confiar nas pessoas, então precisamos poder distribuir meios de autodefesa

  • Como uma IA adversarial poderia proteger, em público, a privacidade ou a liberdade de agir de uma forma que o Big Brother não toleraria?
  • Um sistema operacional de LLMs, como a visão de Karpathy, precisa de um novo ditador benevolente, alguém como Linus Torvalds, tipo Yann LeCun

• Não é a IA que possibilita a vigilância em massa; a vigilância em massa já existe
  A IA possibilita décadas de todo tipo de extração de dados comportamentais sobre todos
  Fazendo o papel de advogado do diabo: em um mundo onde os dados não fossem usados de forma maliciosa e fossem usados apenas para processar crimes conforme leis aprovadas pelo governo, isso poderia levar a uma sociedade em que ninguém está acima da lei e todos são tratados de forma igual
  Mas, como os humanos que controlam o sistema certamente querem vantagem, isso raramente acaba dando certo