- A black pill é a combinação de niilismo, depressão e raiva de que o mundo está manipulado e nada pode ser mudado, levando profissionais de tecnologia a abrir mão até do próprio poder de escolha e da capacidade de transformar os computadores
- A qualidade de software é determinada menos pela falta de capacidade técnica do que pelas prioridades da gestão e pelo poder de barganha dos engenheiros, e desenvolvedores vêm reagindo com desobediência benevolente como pedir perdão em vez de permissão, trabalho secreto, desvio de atenção e falhas intencionais
- Publicidade, notificações, testes A/B, algoritmos de recomendação, DRM, agentes de IA, dark patterns e scroll infinito podem se tornar coercionware, software coercitivo que controla o comportamento em vez de servir ao usuário
- Mesmo detestando IA, usá-la por falta de opção, parar de compartilhar software aberto e desistir da ética com a ideia de que “se eu não fizer, alguém fará” entrega a capacidade de ação coletiva a poderes centralizados
- Quem constrói computadores ainda tem escolha, e deve combinar a sabedoria da idade com o otimismo da juventude para criar software que sirva ao usuário em vez de controlá-lo
O desespero autoalimentado da black pill
- A pílula vermelha de Matrix é a escolha de aceitar uma verdade incômoda, enquanto a black pill significa a atitude de que o jogo está manipulado, então só resta desistir e apodrecer
- Na comunidade incel onde o termo surgiu, ocorre uma filtragem natural
- Quem usou encorajamento, mentoria e solução de problemas amadureceu, formou relacionamentos e deixou a comunidade
- Os jovens recém-chegados passam a encontrar apenas membros desesperados e antissociais
- Com o tempo, niilismo, depressão e raiva se intensificam, e no pior caso levam a resultados como suicídio ou tiroteios em escolas
- Ter crescido em uma família cristã conservadora e depois ter de aprender do zero o necessário para namorar e abandonar percepções antigas também aumentava a chance de cair nesse desespero
- As ideias dos pick-up artists tinham uma toxicidade niilista e manipuladora, mas um conselho dali serviu como saída
- Em vez de se apegar a um resultado amoroso específico, o foco passou a ser tornar-se uma pessoa atraente para todo mundo, incluindo potenciais parceiros e amigos
- Cuidar genuinamente dos outros, ouvir com atenção, fazê-los rir e proporcionar experiências memoráveis
- Ao se tornar alguém com quem os outros querem passar tempo, aumentam naturalmente as situações em que o romance pode surgir
- Mesmo quando expostos a ideias ruins, se boas ideias coexistirem, os jovens podem encontrar algo útil ali
Os recuperados que saem e a raiva que fica
- O conto Radicalized, publicado por Cory Doctorow em 2019, gira em torno de um fórum online reunindo pessoas prejudicadas por seguradoras de saúde
- Em fóruns de recuperação de vícios, membros que estão há muito tempo sem beber permanecem e oferecem prova de que é possível reconstruir a vida, além de conselhos ponderados
- Já no fórum de pacientes com câncer da obra, quem superou a raiva e a tristeza vai embora, e só ficam os que se agarram à raiva
- Até para alguém assustadoramente furioso, dizem que essa é a reação certa e a única possível, e que nada jamais vai melhorar
- Assim como nas comunidades incel, a saída de quem se recuperou reforça estruturalmente o desespero
- Cinco anos após a obra, o CEO real da UnitedHealthcare morreu em um tiroteio, e os estojos das balas traziam as palavras “deny, defend, depose”
Por que o software não funciona direito
- Participantes de conferências de tecnologia compartilham a premissa de que software deve funcionar direito, ser rápido e priorizar a experiência do usuário
- Os métodos para criar software robusto já foram descobertos há muito tempo, e o desempenho de hardware melhorou em várias ordens de grandeza, mas a robustez e a performance gerais do software teriam piorado
- A principal razão de campo para o fracasso na melhoria de qualidade não é falta de conhecimento ou esforço dos programadores, mas sim a gestão priorizando outras prioridades de negócio
- Ao perguntar num evento quem já tentou melhorar o software da empresa e foi rejeitado pela gestão, mais da metade dos participantes levantou a mão
Desobediência benevolente e seu preço
- Em organizações nas quais quem se beneficia também detém poder, desenvolvedores às vezes escolhem a desobediência benevolente, contrariando a vontade da gestão enquanto fazem o que é melhor para a empresa
- Há quatro formas representativas
- Pedir perdão em vez de permissão: fazer primeiro o trabalho necessário e, se houver problema, pedir desculpas depois
- Trabalho secreto: realizar sem expor tarefas essenciais que a gestão interromperia se soubesse
- Desvio de atenção: tocar ao mesmo tempo um trabalho importante e outro menos importante, promovendo bastante o trivial para puxar a atenção da gestão para lá
- Pato (duck): inserir intencionalmente um problema óbvio para que a gestão possa “descobri-lo” e levar o crédito por removê-lo
- Na anedota da animação da rainha de Battle Chess, um artista que esperava pedidos de alteração adicionou um pato de estimação à rainha
- O pato foi feito separadamente para não se sobrepor à animação real
- O produtor aprovou o restante como estava e pediu apenas a remoção do pato
- Essas técnicas são formas de lidar com a situação em vez de pedir demissão, confrontar ou aceitar, e todas envolvem risco
- Se o engano for descoberto, a pessoa pode ser repreendida ou demitida sem indenização
- Ao sair da empresa, é preciso assumir o estresse e a incerteza do mercado de trabalho
- Ao enfrentar de frente, pode haver retaliação silenciosa ou perda de influência política interna
- Ao aceitar, é preciso produzir software de qualidade inferior
Mercado de trabalho e qualidade de software
- Quando a demanda por desenvolvedores supera a oferta, gestores temem mais a saída deles do que ameaçar demissão, então o poder de barganha dos engenheiros aumenta
- Quando os computadores surgiram, programadores eram escassos e desfrutavam de um poder de barganha muito forte
- À medida que o livre mercado alcançou a escassez de mão de obra, desenvolvedores de software passaram a enfrentar os mesmos conflitos de trabalhadores de outros setores
- A qualidade de software foi sustentada não por necessidade técnica, mas pela combinação entre a vontade dos engenheiros e uma posição fortemente favorável no mercado de trabalho por acaso
De quem o computador é agente?
- O transistor é um interruptor automático que usa uma pequena tensão de base para controlar uma corrente muito maior, o princípio microscópico do computador em que um sinal fraco controla uma força grande
- Em escala macroscópica, computadores também permitem exercer grande força com uma pequena manifestação de intenção, mas o ponto central é quem decide esse sinal de controle
- O navegador é chamado de
user agentporque age em nome do usuário- O navegador deve servir aos interesses do usuário, não do site visitado
- O fato de o usuário poder usar um bloqueador de anúncios mesmo que o site não queira é um exemplo disso
- DRM é software hostil ao usuário final porque faz hardware de propriedade do usuário operar em benefício de terceiros
- É possível contra-argumentar que há um benefício indireto ao consumidor, já que essa é a condição para o detentor de direitos autorais permitir o acesso ao conteúdo
- Ainda assim, é preciso distinguir entre os interesses do usuário final que usa diretamente o computador e os interesses indiretos do consumidor
- O computador deve sempre servir à pessoa que interage com ele diretamente
As Três Leis da Robótica de Asimov e o poder humano
- As Três Leis da Robótica de Asimov têm a seguinte ordem de prioridade
- Um robô não pode ferir um ser humano nem, por omissão, permitir que um ser humano sofra dano
- Deve obedecer às ordens dos seres humanos, exceto quando essas ordens entrarem em conflito com a primeira lei
- Deve proteger sua própria existência, desde que isso não entre em conflito com as duas leis anteriores
- Sob essas leis, robôs não participam da estrutura hierárquica de poder dos humanos, exceto quando necessário para impedir dano
- O caso de um robô que recebe de um policial a ordem de cumprir um mandado por crime sem violência, mas obedeceria à pessoa se ela mandasse ele ir embora, mostra essa característica
- O meme “todos os robôs e computadores devem ficar calados, os humanos são sagrados e as máquinas são objetos” também expressa, de forma exagerada, o mesmo ideal de que máquinas devem servir aos humanos
- A linha segundo a qual máquinas devem servir aos humanos não deve ser cruzada nem no plano mental
Software coercitivo que manipula o usuário
- Coercionware é software que não serve ao usuário e tenta manipular humanos como se fossem robôs sem alma
- O Amazon Mechanical Turk trata diretamente humanos como robôs e baseia seu modelo de negócio em pagar menos que o salário mínimo
- Softwares de vigilância no trabalho tentam controlar em detalhe até o movimento dos olhos e os hábitos de evacuação dos funcionários
- Anúncios intrusivos, se funcionam, controlam o pensamento das pessoas; se não funcionam, ainda assim interrompem o fluxo de raciocínio, roubam atenção e enfraquecem a autonomia
- Notificações push que o usuário não ativou deliberadamente controlam o comportamento de forma programática e ainda tentam reduzir o tempo até a reação à exigência
Testes A/B e dark patterns
- Testes A/B escolhem experiências que maximizam cliques e receita, priorizando resultados medidos em vez de empatia
- Mesmo que um botão vermelho que deixe o usuário ansioso aumente cliques, é possível evitar responsabilidade por não deixar registrado que esse efeito foi projetado de propósito
- Dark patterns são designs que constrangem o usuário abertamente, e o próprio fato de programadores tolerarem essa hostilidade no dia a dia já é um problema
- O caso de uma UI para tripulação aérea que perguntava “Do you want to play the Boarding Music?” e só oferecia um botão verde “yes” e um vermelho “later” mostra um design que remove deliberadamente a opção de recusa
Recomendações do YouTube e agentes de IA
- No YouTube, tanto criadores de conteúdo quanto espectadores ficam sob controle do algoritmo de recomendação
- Criadores passam a perseguir as preferências mutáveis do algoritmo, sacrificando a autenticidade do conteúdo
- Até thumbnails modernas evoluem para formas parecidas em função do algoritmo
- Para espectadores, surgem fenômenos como caminhos de recomendação que levam de certo conteúdo a conteúdo de extrema direita
- Agentes de IA prometem servir ao usuário, mas na prática servem à empresa de IA que controla o modelo e o software proprietário ao redor dele
- Se você não controla o código-fonte, não controla o software
Doomscrolling e as vulnerabilidades do cérebro
- Doomscrolling não é apenas um mau hábito de ter passado tempo demais no Facebook em certo dia, mas uma estrutura fundamentalmente coercitiva que maximiza engajamento com algoritmos de conteúdo e scroll infinito
- Usuários se acostumam a ficar presos à tela, consumindo continuamente conteúdo que não escolheram
- O scroll funciona como um contador de programa, e o conteúdo que aparece como instruções, numa analogia com uma vulnerabilidade de execução arbitrária de código no cérebro
- O fluxo de conteúdo escolhido pela empresa em benefício próprio também abre caminho para terceiros maliciosos manipularem o pensamento das pessoas
- A avaliação do Escritório do Diretor de Inteligência Nacional dos EUA, publicada em janeiro de 2017 e resumindo o trabalho do FBI, CIA e NSA, concluiu que Vladimir Putin ordenou uma operação de influência voltada à eleição presidencial americana de 2016
- O objetivo era prejudicar a confiança no processo democrático dos EUA, denegrir Hillary Clinton e afetar sua elegibilidade e sua potencial presidência
- Também atribuiu alta confiança à avaliação de que o governo russo demonstrou clara preferência pelo presidente eleito Donald Trump
- O principal meio foi uma campanha em redes sociais por organizações de trolls patrocinadas pelo Estado
- O design manipulador das redes sociais criou uma vulnerabilidade para hackear a mente humana, e essa vulnerabilidade continua sendo explorada sem correção
A black pill cotidiana que faz desistir da escolha
- À medida que a sociedade se integra mais profundamente ao software, até a capacidade de sair de serviços coercitivos vem diminuindo
- A experiência de perder contato com amigos que organizavam encontros apenas pelo Discord é um exemplo disso
- Acumula-se o cansaço de ligar sem parar para parlamentares, assinar petições e reagir a cada nova emergência, apenas para continuar perdendo terreno
- A black pill faz a pessoa abrir mão das possibilidades do computador e se render à opressão, como se a obediência trouxesse paz
- A piada de programadores de que “computadores foram um erro” nega a capacidade de ação de quem de fato os faz funcionar
- A atitude de detestar IA, ficar deprimido com isso e mesmo assim usá-la por considerá-la um destino inevitável segue o mesmo padrão
- Um gestor usa IA e trabalha mais de 50 horas por semana por medo de que, se não eliminar os empregos de outro time, o próprio time seja o próximo
- É diferente gostar de usar IA e aceitá-la como destino apesar de não gostar
Anubis e o derrotismo defensivo
- O software anti-web scraping Anubis é usado na lista de emails do kernel Linux, no Codeberg, FFmpeg, Wine e outros
- Mais fundamental do que a mascote animada na configuração padrão é o método de elevar deliberadamente o custo de visitar a web
- Ele torna uma visita a site, que originalmente deveria ser barata computacionalmente e anônima, mais de uma ordem de grandeza mais cara
- Quebra prévias de links e formulários, e consome bateria
- Remove do visitante a escolha de desligar o JavaScript
- Exclui até bots que acessam a web por motivos legítimos
- Essa abordagem leva a abandonar a web aberta sem defesa, com a atitude de apenas atrasar perdas em vez de buscar vencer
Cinismo e abandono do software público
- A reação no Hacker News dizendo “Site is trash” também é um exemplo exagerado e cínico de black pill, mas veio de uma tristeza real pela redução do valor que o site oferecia no passado
- Há quem pare de compartilhar software livre e de código aberto por acreditar que empresas de IA vão coletar esse código para treinar o próximo LLM
- O objetivo do software livre não é evitar que o código seja coletado, mas permitir somar esforços para que usuários possam controlar o software
- O importante é se existe um meio de concorrência capaz de limitar o comportamento coercitivo do software monopolista por meio da disponibilidade de software livre de alta qualidade
- Quando se deixa de participar de software comum, entrega-se ainda mais capacidade de ação coletiva a poderes centrais abusivos
- Ignorar a ética com a justificativa de que “se eu não fizer, outra pessoa faz” apaga uma linha que não deveria ser cruzada e faz perder a vontade de sustentar convicções
A tecnologia precisa de um ponto de partida moral
- A desconversão (deconversion) de uma estrutura de bem e mal herdada de uma família cristã protestante pode levar muitos anos ou a vida inteira
- Ao deixar a fé anterior, é preciso construir um novo sistema moral, e não se pode derivar certo e errado a partir de um estado sem premissas
- Mesmo julgamentos que vão além de “penso, logo existo” exigem a introdução de premissas fundamentais
- O papel do tecnólogo é acelerar a trajetória que a humanidade já está percorrendo
- A mesma tecnologia pode ser uma força boa ou má dependendo de quem a usa
- A energia nuclear moderna opera controlando a explosão de bombas atômicas
- O trabalho do tecnólogo amplifica indiscriminadamente a força do caminho que a humanidade já percorre
- Se a humanidade for boa, a tecnologia será uma força boa; se for má, a tecnologia será uma força má, então o tecnólogo precisa ter fé de que a humanidade é em grande parte boa
A fé escolhida por Stanislav Petrov
- Em 1983, Stanislav Petrov estava encarregado de monitorar um sistema de alerta antecipado e, caso detectasse um ataque, solicitar imediatamente uma retaliação aos superiores
- Em 26 de setembro, o sistema informou que os EUA haviam lançado cinco mísseis
- Petrov suspeitou de alarme falso, violou os regulamentos militares soviéticos e esperou confirmação adicional; ela não veio porque a detecção do computador era de fato um falso positivo
- Se tivesse seguido o regulamento, a chance de os superiores atacarem os EUA e desencadearem uma guerra nuclear total teria sido muito alta
- Em entrevista posterior, ele disse que não tinha certeza de que se tratava de um alarme falso e avaliava a chance como cinquenta a cinquenta
- Numa situação em que a decisão não podia ser tomada apenas com base em evidências, ele escolheu a fé de que a humanidade era boa e assumiu um risco imenso
A magia do computador preservada pela juventude
- O álbum de estreia oficial de Joudaki, I Love My Computer, e o videoclipe Hazard carregam uma sensibilidade que ainda acredita na magia dos computadores
- Ao mesmo tempo em que despertam a nostalgia que millennials sentiram ao descobrir computadores pela primeira vez, também usam ativamente a web moderna, incluindo YouTube e Discord, como obra de uma geração posterior
- Não é errado criticar os dark patterns de YouTube e Discord, mas nesse processo pode-se perder também parte da alegria e da fé nos computadores
Como preservar juntos sabedoria e otimismo
- Jovens carecem da sabedoria que vem da adversidade, então podem cair em golpes, participar sem crítica de marketing viral corporativo, acreditar em coisas improváveis ou assumir riscos de dano permanente
- Eles desafiam até aquilo que já parece claramente condenado ao fracasso porque ainda não foram feridos pelo mundo nem se tornaram cínicos
- Pessoas mais velhas aprendem formas de lidar para não repetir as mesmas feridas e se adaptam melhor à realidade, mas pessoas jovens têm uma força maior para transformar a realidade
- A sociedade precisa tanto da sabedoria que vem da idade quanto da paixão cega da juventude que tenta de novo o que já falhou inúmeras vezes
- Em Hunter × Hunter, a cena em que o protagonista de 12 anos sofre uma traição insuportável e se torna adulto instantaneamente para obter força para derrotar o inimigo comprime o processo pelo qual desespero e indiferença envelhecem uma pessoa aos poucos
- A tarefa da geração estabelecida é proteger os jovens de quem explora sua ingenuidade, sem contagiar neles também sua própria dor acumulada e cinismo
Fazer você mesmo é a forma de enfrentar a black pill
- Pessoas que se afastaram de amigos por não usar Discord decidiram não ficar apenas reclamando, mas construir diretamente alternativas melhores
- Para mudar o mundo e competir com serviços existentes, não é indispensável ter um milhão de dólares; dá para começar só com um computador, curiosidade e tempo
- Quem faz o computador realizar algo é o próprio desenvolvedor, e não é preciso aceitar como destino o uso coercitivo dessa tecnologia
- É preciso enfrentar juntos o software que controla usuários, acreditar nas possibilidades da humanidade e dos computadores e transformar essa crença em realidade pela vontade
1 comentários
Opiniões no Lobste.rs
A parte que mais me marcou foi a ideia de que a qualidade do software só foi mantida pela combinação entre a vontade dos engenheiros e um poder de barganha no mercado de trabalho que, por acaso, estava forte
Sigo há muito tempo o princípio de pedir perdão em vez de permissão e recomendo bastante
Faça o que seu coração e sua razão consideram certo, mas em geral é melhor pedir permissão primeiro e, se necessário, ainda assim executar
Independentemente de gostar ou não de IA, profissionais usam as ferramentas necessárias. Se o chefe quer uma abordagem específica, cabe avaliar objetivamente e apresentar uma recomendação, e qualquer que seja a decisão, o trabalho é entregar um bom produto
Já caí em pessimismo extremo ao olhar para o estado atual dos computadores e da tecnologia, e venho pensando em como apresentar isso a filhos em idade pré-escolar
Quero que esta apresentação sirva de motivação para não ficar apenas temendo a natureza exploratória da tecnologia e tentando limitar os danos, mas para retomar o controle e fazer a tecnologia trabalhar por nós
Fiquei curioso sobre qual seria o projeto parecido com o Discord que não foi nomeado na apresentação
Não podemos deixar que niilismo e memes dominem nosso pensamento
Se você ainda não ouviu aquele álbum, recomendo fortemente. Pessoalmente, é um dos meus favoritos
Ótima apresentação, mas é irônico que tenha sido publicada no YouTube
Na prática, fico em dúvida se existe alguma outra plataforma de vídeo capaz de alcançar nem que seja metade do público do YouTube