Novo livro mostra como o poder das empresas desestabiliza a governança

• O novo livro de Marietje Schaake, The Tech Coup, aborda como empresas privadas de tecnologia estão entrando em áreas do governo como cibersegurança, policiamento, eleições e defesa militar, abalando o Estado de Direito democrático
• Casos como o Pegasus do NSO Group, o reconhecimento facial da Clearview, empresas de tecnologia eleitoral e decisões sobre acesso ao Starlink mostram que capacidades e julgamentos antes monopolizados pelo Estado estão migrando para o setor privado, independentemente do porte da empresa
• O domínio digital também precisa de clareza jurídica, mecanismos de responsabilização e transparência no mesmo nível aplicado a medicamentos, substâncias químicas, alimentos, automóveis e decisões sobre conflitos no exterior
• Quanto mais os governos delegam funções públicas a empresas de tecnologia, mais essas empresas devem assumir responsabilidade em nível governamental, tornando importantes especialistas técnicos independentes, a ampliação da responsabilização pública e a preservação da efetividade do FOIA
• Uso de energia e água por data centers, avaliação de impacto social antes da implantação de IA, lei federal de proteção de dados e proteção infantil online são temas difíceis de resolver apenas com escolha individual, e a supervisão política e a regulação em nível estadual estão ganhando peso

---

Os riscos quando empresas de tecnologia assumem funções do governo

• The Tech Coup: How to Save Democracy from Silicon Valley é um livro em que Marietje Schaake, Policy Fellow do Stanford HAI, trata o poder descontrolado das empresas privadas como uma ameaça à democracia
• As empresas de tecnologia não exercem apenas enorme poder econômico, mas também desempenham papéis antes atribuídos ao governo
  • cibersegurança
  • sistemas usados no policiamento
  • eleições
  • política de defesa militar
• Os exemplos do livro vêm da experiência de Schaake como deputada do Parlamento Europeu entre 2009 e 2019 e de sua observação da cultura tecnológica no Stanford’s Cyber Policy Center e no Stanford HAI

Como a autoridade do Estado passa para empresas privadas

• No domínio digital, surgem situações em que o controle da informação, a autoridade para agir e a capacidade de execução das empresas igualam ou até superam a capacidade do governo
• A NSO Group Technologies criou e vendeu o spyware Pegasus, capaz de invadir dispositivos das pessoas
  • Quem tem capacidade financeira para comprar o Pegasus pode acessar funções de nível de serviço de inteligência
  • É possível acessar informações extremamente privadas de opositores políticos, juízes, jornalistas, funcionários-chave e concorrentes
• Algumas empresas, sob o pretexto de defender clientes ou redes, atacam hackers além das fronteiras e usam capacidades cibernéticas ofensivas na lógica de “offense as defense”
• O problema não se limita às grandes empresas de tecnologia
  • NSO, o software de reconhecimento facial da Clearview e empresas que produzem tecnologia eleitoral mostram o mesmo problema
  • Isso também inclui o caso em que Elon Musk decidiu quem poderia acessar a conexão de internet Starlink na Ucrânia
• Capacidades e decisões que antes eram domínio exclusivo do Estado estão fluindo para empresas privadas, mas os freios e contrapesos esperados em uma sociedade regida pelo Estado de Direito não acompanham esse movimento

Direito, responsabilização e expertise necessários no domínio digital

• Para que atores democráticos voltem a assumir responsabilidade, primeiro é preciso reconhecer e compreender o poder que as empresas exercem sobre governança, democracia e direito internacional
• O domínio digital também precisa de instrumentos jurídicos e institucionais no nível esperado em outras áreas de inovação

• Clareza jurídica

  • Mecanismos de responsabilização e medidas de transparência devem ser preparados em conjunto
  • A resposta dos EUA à guerra na Ucrânia mostra diferenças entre o mundo físico e o domínio cibernético
  • Como parte da OTAN, os EUA deixaram claro que não queriam enviar tropas terrestres, mas no domínio cibernético atividades ofensivas continuam
  • Essa inconsistência política pode persistir por causa das zonas cinzentas jurídicas no domínio digital
  • Direito internacional, regulação e aplicação da lei precisam alcançar o estágio em que a tecnologia já chegou, e delegação democrática, responsabilidade e supervisão devem funcionar de fato também nas atividades digitais

• Expertise técnica independente para legisladores

  • O Poder Legislativo precisa de especialistas técnicos independentes que forneçam informação confiável, assim como equipes jurídicas independentes ajudam a redigir projetos de lei
  • Quando os legisladores têm acesso a expertise técnica, isso ajuda a reduzir a influência de lobistas
  • Os legisladores precisam entender o impacto da tecnologia sobre saúde, educação, justiça, moradia e transporte
  • Como a tecnologia alcança todas as áreas, é difícil tratar do tema em apenas uma comissão

Ampliação da responsabilização pública e o vácuo de responsabilidade da terceirização

• Quanto mais o governo terceiriza procedimentos para empresas de tecnologia, mais as funções operadas por essas empresas em nome do governo devem carregar responsabilidade em nível governamental
• Schaake chama isso de “public accountability extension”
  • Trata-se de um mecanismo para mudar a situação atual, em que o governo transfere funções públicas centrais para empresas de tecnologia e, junto com isso, também abandona a responsabilidade
• Em várias jurisdições, a polícia não pode invadir diretamente os dispositivos de suspeitos, mas pode contratar empresas de hacking para obter o mesmo acesso
  • A polícia pode dizer que não está hackeando por conta própria, mas garante o acesso por outros meios
• Nos EUA, governos estaduais e locais não podem discriminar cidadãos com base em categorias sensíveis, mas em alguns casos a tecnologia que utilizam realiza essa discriminação sem assumir responsabilidade
• Também surge um vácuo de responsabilidade em pedidos via FOIA
  • Jornalistas têm o direito, em nome dos cidadãos, de saber o que o governo está fazendo
  • Quando o governo entrega a empresas privadas o trabalho governamental ou a coleta e o armazenamento de informações governamentais, essas empresas podem não manter as informações segundo os padrões exigidos de órgãos públicos
  • Se empresas relutam em fornecer informações por alegarem preocupações proprietárias, a efetividade do FOIA enfraquece
• A ampliação da responsabilização pública mira situações em que o governo se esconde atrás de empresas, incluindo empresas de tecnologia, para evitar responsabilidade

Data centers, IA e a agenda cidadã

• Não existem padrões nem obrigações para que empresas informem o uso de energia e água de data centers, nem o uso projetado
  • Existem estimativas de casos individuais, mas não se conhece a soma do uso total de energia de todos os data centers
• Grandes empresas de tecnologia às vezes apresentam propostas para construir data centers em comunidades locais por meio de empresas de fachada que ocultam que Amazon, Google ou Microsoft estão por trás do projeto
  • Advogados e consultores enfatizam os benefícios econômicos para a comunidade
  • Informações centrais, como a identidade da empresa e a demanda energética do data center, podem ser ocultadas
  • A falta de transparência sobre o uso de recursos escassos prejudica a boa governança
• Nos Países Baixos, vereadores em regime parcial tiveram de decidir se permitiriam data centers hiperescaláveis, tendo do outro lado empresas bilionárias, além de advogados, contadores, consultores e firmas de PR
  • Padronizar requisitos de transparência e de reporte sobre quem está por trás do projeto e sobre métricas de uso de energia pode permitir um debate público mais justo
• Mesmo com mais transparência, continua separada a questão de saber se a sociedade realmente quer mais data centers consumindo recursos energéticos escassos em uma era de mudança climática
  • Sem conhecer os custos, é difícil responder a perguntas sobre custo-benefício
• Um dos principais problemas nos EUA é a capacidade da rede elétrica
  • Há relatos de que, mesmo em economias avançadas como Países Baixos, EUA e Reino Unido, a rede opera quase em nível de emergência, em code red
  • A rede está sendo levada ao limite, com falhas e apagões mais frequentes
  • Muitos data centers aprovados anos atrás podem, ao entrar em operação dois ou três anos depois, enfrentar uma onda de desastres
• O princípio da precaução no direito da UE exige parar para avaliar o impacto social de novas inovações antes que sejam amplamente implantadas
  • As autoridades ainda não aplicaram isso a inovações tecnológicas como a IA
  • O contexto é a pressão pelo uso de IA e a aprovação separada da Lei de IA da UE
  • É um conceito útil quando até os próprios engenheiros se surpreendem com o comportamento de modelos de IA, ou quando a sociedade, os legisladores e os cidadãos não conhecem os efeitos de certa inovação sobre a vida cotidiana
• Sinais dos danos causados pelo poder das empresas de tecnologia existem no mundo todo há muito tempo, mas os americanos tendiam a ver isso como algo distante
  • Em 2017, em Mianmar, o Facebook foi usado para incentivar genocídio
  • Em 2018, a Cambridge Analytica extraiu e analisou dados de milhões de usuários do Facebook e permitiu que campanhas políticas usassem perfis psicológicos, o que pode ter influenciado a votação do Brexit no Reino Unido
  • O ataque ao Capitólio dos EUA em 2020 foi parcialmente estimulado por desinformação em redes sociais, levando dezenas de milhões de americanos a perder confiança no processo eleitoral
• Consumidores podem escolher como usar tecnologias e serviços, mas existe grande assimetria de poder entre usuários individuais de internet e dispositivos e as empresas de tecnologia
• São necessários supervisão independente e poderes de controle e equilíbrio, e nos EUA há demandas por uma lei federal de proteção de dados, proteção infantil online, melhor cibersegurança e instrumentos para enfrentar desinformação em saúde e eleições
  • Não existe maioria política no Congresso para implementar isso
  • Como o governo federal não consegue ou não quer agir, vários estados estão promovendo leis e regulações relacionadas à tecnologia

[GN⁺]

Comentários do Hacker News

• O problema é mais profundo. O software corroeu completamente os direitos de propriedade, e, pelo que sei, alguém cunhou o termo “tecnofeudalismo”
  As empresas são donas do software, e nós, como servos, apenas o alugamos

  • As contribuições de Stallman podem ser controversas, mas a visão dele sobre propriedade intelectual é convincente por si só
    https://www.gnu.org/philosophy/not-ipr.html
  • Eu vejo isso mais como o contrário. Do ponto de vista do produtor, os direitos de propriedade estão mais fortes do que nunca
    “Possuir para sempre e apenas alugar para os outros” não é, de forma alguma, um direito de propriedade fraco para quem criou o bem
  • A analogia do “tecnofeudalismo” também foi usada por Bruce Schneier, e não sei quem a usou antes dele. A explicação dele ainda parece bem precisa hoje
    https://www.schneier.com/essays/archives/2012/11/when_it_com...
  • A preocupação de que as empresas são donas do software e nós apenas o alugamos era muito maior antes do surgimento do GNU/Linux
  • Quem tem os direitos de propriedade não é o usuário, mas sim o produtor do software
    Se eu sou dono de um terreno, posso cobrar entrada das pessoas, mas isso não significa que estou abrindo mão do meu direito de propriedade. Não vemos isso como uma “erosão” dos direitos de propriedade; é mais o oposto

• É um pouco ortogonal ao tema do texto, mas toca em um problema mais profundo da regulação da tecnologia
  A internet conecta todo mundo e permite que a informação circule livremente, mas o fluxo livre de informação está corroendo a confiança das pessoas
  Queremos liberdade de expressão, mas as pessoas enganam e coagem com palavras. Não dá para criar regras que impeçam isso, e as pessoas sempre encontrarão formas de contorná-las
  Ken Thompson escreveu “Reflections on Trusting Trust” em 1984, e a conclusão era que não podemos delegar aos computadores a construção da confiança. Mas, para viver em sociedade, precisamos de confiança
  Confiar nas pessoas é um instinto humano, mas online as mentiras se espalham rapidamente e, depois de sermos enganados várias vezes, perdemos a confiança natural nos outros. Fico me perguntando o que devemos fazer daqui em diante

  • Normalmente, a solução é reputação. Criar comunidades e, como os humanos sempre fizeram, passar a saber em quem confiar
    A internet inicial era, em geral, assim. Lugares como BBS, Usenet e fóruns. Mas, na internet moderna, consumimos principalmente sites aleatórios encontrados no Google ou contas do TikTok que talvez sejam bots
    As FAANG têm substituído ativamente o modelo baseado em seguir pessoas por feeds algorítmicos para obter mais lucro
  • Confiança verdadeira é algo que se conquista. É diferente de confiança padrão, embora as duas sejam frequentemente confundidas
    Quando se perde confiança, recuperá-la exige 10 vezes, às vezes 100 vezes mais esforço. Às vezes nem 100 vezes é suficiente para trazê-la de volta
    É uma regra básica da vida, e fingir que essas regras não existem não as faz desaparecer
    O problema fundamental é que instituições que tradicionalmente eram confiáveis e ainda querem ser confiadas não querem fazer o esforço necessário para recuperar a confiança perdida. Imprensa e governo vêm à mente
    Em vez disso, desperdiçam energia exigindo descaradamente que acreditem nelas, e quanto mais fazem isso, maior fica a distância. Ao culpar as pessoas que se sentiram violadas, a distância cresce ainda mais
    Forças maliciosas entraram por essa brecha. Até que as instituições aceitem que “confiança verdadeira é conquistada”, essas forças continuarão prosperando
  • Não sou historiador e não tenho uma resposta concreta, mas imagino que algo parecido possa ter acontecido há cerca de 500 anos com a invenção da prensa tipográfica
    Naquela época, a circulação do conhecimento também aumentou drasticamente, e mentiras e falsidades devem ter aumentado junto. Como a sociedade lidou com isso?
  • Sem refutar o ponto principal, mas como uma curiosidade interessante, o ataque ao compilador no estilo Trusting Trust foi teoricamente resolvido pela compilação dupla diversa (diverse double compiling) de David Wheeler
  • O meu processo de perda de confiança foi mais algo como: “com tanta informação nova surgindo, consigo ver que instituições, especialistas e comunicados oficiais vinham mentindo para mim o tempo todo”
    Ou seja, perdi a confiança em instituições, especialistas, autoridades públicas etc. ao encontrar na web informações que eu considerava “verdadeiras” o suficiente para sobrescrever o que as organizações existentes divulgavam
    É verdade que perdi confiança por causa da web, mas foi porque ela me deu acesso à verdade real e me fez perceber o quanto muitas pessoas são desonestas
    Por exemplo, se um mecânico cobra demais, agora o cliente pode descobrir isso pesquisando online. Antes talvez aceitasse aquilo, mas agora a suspeita é justificada. A desonestidade sempre existiu; hoje apenas é mais fácil descobri-la

• O texto em si não é muito bom. Mesmo que o autor tenha um currículo respeitável na Europa
  O trecho “assim como o Legislativo depende de equipes jurídicas independentes para redigir projetos de lei capazes de resistir a contestações judiciais, também precisamos de especialistas técnicos independentes que forneçam informações confiáveis…” mostra que ele não entende bem o contexto dos EUA
  O Congresso dos EUA já teve o Office of Technology Assessment, mas ele foi extinto em 1995. “Deputados republicanos da Câmara caracterizaram o OTA como desperdício e hostil aos interesses do GOP”
  O problema geral não é “tecnologia”, mas monopólio. Bancos e farmácias nos EUA também foram reduzidos a 2 ou 3 grandes players
  Uma aplicação forte do Sherman Act poderia ajudar. No entanto, a experiência de divisão da AT&T não é muito animadora
  https://en.wikipedia.org/wiki/Office_of_Technology_Assessmen...

  • Não sei se dá para concluir, apenas a partir dessa citação, que o autor desconhece órgãos de avaliação tecnológica ou não entende o contexto americano
    Quando leio “fornecer expertise técnica aos legisladores”, penso mais em consultores independentes explicando algoritmos em inglês simples do que em um departamento científico do governo conduzindo pesquisas
    Na verdade, esse ponto mostra que, se é possível acabar com uma instituição de que não se gosta apenas alegando que ela é enviesada a favor de um partido, então a dinâmica bipartidária de “nós contra eles” é o problema central. Fico curioso se era isso que você queria dizer com monopólio
    Concordo que monopólios são um problema, mas isso não faz os outros problemas desaparecerem. Soluções tecnológicas podem passar a impor regras implícitas que não foram definidas por processos democráticos, e seu impacto sobre as pessoas pode ser do mesmo nível que decisões governamentais

• Pessoalmente, acho que empresas e governos estão lidando com as pessoas em conjunto
  O governo pressiona as empresas a fazerem coisas que ele próprio não deveria fazer diretamente. Se a empresa se recusa a cooperar, ameaça dividi-la
  Há uma razão para a AT&T ter mantido uma sala de escuta exclusiva para a NSA. É como ameaçar banir a DJI de um de seus maiores mercados se ela não vender drones para a Ucrânia

• Não vale a pena ler. Porque não é produto de um processo dedutivo que parte dos fatos e avança até uma conclusão inevitável
  O processo causal que gerou este livro e sua publicidade está no colapso da relação de patrocínio político entre o campo progressista dos EUA e as empresas de tecnologia americanas. Como resultado, surgiu uma demanda por justificativas a posteriori para mudanças na distribuição de dinheiro, na alocação de orçamento para batalhas jurídicas etc.
  O autor partiu da conclusão de que “portanto, é preciso retirar o poder das empresas de tecnologia” e ajustou a lógica de trás para frente
  Assim, salvo nos casos em que essa conclusão possa estar correta por acaso, este documento não transmite implicações úteis em termos de valor esperado

• Há um trecho que diz: “Vamos comparar como os Estados Unidos responderam à guerra na Ucrânia no mundo físico e no domínio cibernético…”
  Algumas semanas atrás, vi Zero Days, um bom documentário sobre o Stuxnet, e foi bastante chocante o quanto as ferramentas dessa área ficam fora do escrutínio público
  Capacidades ofensivas que podem equivaler a atos de guerra parecem receber pouquíssima supervisão democrática, e até um ex-diretor da NSA considerou excessivo o escopo da classificação de sigilo dos materiais. Mesmo anos depois dos fatos, quase ninguém queria falar com os cineastas
  Seja a segurança privada distópica ao estilo Palantir, sejam as ferramentas usadas pelas agências de inteligência, dá para dizer que a situação sobre a qual o texto alerta já chegou há 10 anos

• O que se pode fazer em relação ao poder de governo sem controles?

  • Se você tem a sorte de viver em um país com eleições livres e justas, basta votar
  • Se você vive em uma democracia, deve participar. Isso inclui votar, ir a reuniões do conselho municipal, candidatar-se a cargos etc.
    A sociedade é moldada por quem simplesmente aparece, então, se você quer ter voz, precisa aparecer pessoalmente
  • Primeiro é preciso haver democracia. Depois, é necessária a separação de poderes entre Judiciário, Executivo e Legislativo, além de direito de propriedade e Estado de Direito
    Parece funcionar razoavelmente bem

• Há uma previsão de que “também nos Países Baixos, uma economia avançada como os Estados Unidos e o Reino Unido, a rede elétrica está operando em código vermelho, quase em nível de emergência, e pode enfrentar uma onda de desastres quando os data centers entrarem em operação”
  Mantenho um documento chamado Timed Predictions para verificar previsões importantes mais tarde
  Vou acrescentar esse item ali. Daqui a alguns anos, em 2026–2027, vou avaliar se houve uma “onda de desastres” por causa da rede elétrica sobrecarregada

  • Fico curioso se não houve a intenção de tornar isso público. Claro, poderia ficar grande demais, mas, com vários colaboradores, poderia ser útil para coisas como rastreamento de fontes
    Ou talvez alguém pudesse começar ao menos uma versão parcialmente pública
  • Também gostaria de ouvir mais sobre outras previsões no documento
  • Já vi no Reddit usarem um bot “remind me” para esse tipo de coisa. Talvez algo parecido pudesse ser usado
    Também poderia ser algo como posts de blog com data futura acompanhados de notificações RSS/Atom ou assinatura de feed
  • Já estamos sofrendo há décadas com redes elétricas sobrecarregadas. Em dias de verão quentes, nublados e sem vento, ocorrem apagões rotativos e quedas de tensão
    O problema não é a Big Tech, mas o fato de vivermos na ilusão de que é possível manter a rede elétrica funcionando com energia renovável sem baterias na escala de terawatt-hora
  • Boa ideia. Seria bom considerar torná-la pública
    Muitas vezes já tive vontade de fazer algo parecido e, inversamente, também quis verificar previsões depois que os resultados já tinham saído
    O discurso online subestima demais o sucesso. Muitas vezes parece que as pessoas dizem as coisas não porque estão certas, mas porque é o que os outros querem ouvir

• O que mais preocupa é a parte em que os smartphones assumiram o controle da segurança de forma sorrateira. Agora, sem um celular, não dá nem para pagar impostos, acessar serviços de saúde ou fazer login no trabalho.
  Se alguém tivesse dito, 25 anos atrás, que o acesso a serviços governamentais seria totalmente privatizado, haveria uma grande reação contrária. Mas nós não só concordamos com isso como o fizemos voluntariamente em troca de conveniência. Agora estamos em apuros.
  Antigamente, os americanos vibravam com a frase “quem abre mão da liberdade em troca de segurança não terá nem liberdade nem segurança”, mas agora é ainda pior. Abrimos mão da segurança em troca de conveniência, entregamos tudo sobre nós a bilionários sem escrúpulos que querem substituir o governo inteiro, e ainda vamos pagar enquanto eles fazem isso.

  • Fico curioso para saber onde isso acontece. Por exemplo, o IRS ainda permite declaração pelo correio, e também não está claro por que seria preciso um celular para ir a um hospital ou a uma clínica sem hora marcada.
    Também não sei se o fato de precisar de um celular para acessar a rede da empresa é algo mais revoltante do que precisar de um notebook para o trabalho de escritório moderno.
    https://www.irs.gov/filing/where-to-file-paper-tax-returns-w...
  • Entendo a preocupação, mas ver isso apenas como uma troca de soma zero entre conveniência e segurança/liberdade é simplificar demais.
    Os smartphones claramente tornaram o uso de serviços governamentais mais acessível e eficiente em alguns aspectos. Isso vale especialmente para comunidades marginalizadas, áreas rurais e pessoas com deficiência.
    Ainda assim, é difícil concordar com a afirmação de que o acesso a serviços governamentais foi “totalmente privatizado”. Governos frequentemente colaboram com empresas privadas para desenvolver e oferecer esses serviços, e normalmente há algum grau de supervisão regulatória. Dessa colaboração também surgiram inovações úteis, como portais de declaração de impostos online e telemedicina.
    A frase de Franklin sobre trocar liberdade por segurança continua válida, mas também é preciso olhar o outro lado. Ao rejeitar mudanças tecnológicas, corre-se o risco de ficar para trás. O verdadeiro desafio é encontrar um equilíbrio entre conveniência, segurança e direitos individuais.
    Em vez de soar o alarme falando em “controle sorrateiro”, seria melhor focar em medidas concretas para proteger direitos. Padrões abertos, fortalecimento dos marcos regulatórios e investimento em programas de letramento digital seriam um bom começo.
  • Mesmo quando eu morava no Texas, 25 anos atrás, havia muita gente que concordaria facilmente com a privatização do acesso a serviços governamentais. Por exemplo, as reclamações sobre o DMV não têm fim.
    Vouchers escolares eram e continuam sendo um tema quente em vários grupos influentes, e há também pessoas que querem acabar completamente com serviços públicos e substituí-los por serviços privados. O pensamento pró-privatização e de governo pequeno é extremamente popular pelo menos desde Reagan.
    Nos EUA, a história de abrir mão da liberdade em nome da segurança, ou da conveniência ou da religião, é ainda mais antiga. Há muitos exemplos do século 20, como políticas da Guerra Fria e testes ideológicos, várias leis de moralidade pública e zoneamento restritivo.
  • Também não dá para deixar de fora o rastreamento por carros e TVs. E o fato de a polícia poder requisitar imagens de campainhas Ring; será que o próximo passo será a minha dashcam?
  • Acho que a maioria dos serviços ainda pode ser usada pelo correio.

• O ponto interessante no texto é este:
  o governo está terceirizando cada vez mais diversos processos para empresas de tecnologia. Se uma empresa de tecnologia opera em nome do governo, ela deve prestar contas tanto quanto o governo.
  Isso é chamado de “expansão da responsabilidade pública”; parece simples, mas pode ser um enorme divisor de águas. Hoje, à medida que o governo terceiriza cada vez mais funções governamentais essenciais para empresas de tecnologia, ele também está transferindo junto a responsabilidade do próprio governo.