Um computador nunca pode ser responsabilizado.

• Uma página lendária de um treinamento interno da IBM de 1979 é apropriada para a era da IA

  A COMPUTER CAN NEVER BE HELD ACCOUNTABLE
  Um computador nunca pode ser responsabilizado.
  THEREFORE A COMPUTER MUST NEVER MAKE A MANAGEMENT DECISION
  Portanto, um computador nunca deve tomar uma decisão de gestão.

• No Twitter, pediram informações sobre a fonte original, e Jonty Wareing respondeu:
  • alguém a encontrou entre os documentos de trabalho de seu pai, e depois ela foi destruída por uma enchente
  • não foi possível localizá-la na correspondência com o arquivo da IBM. Era comum que filiais produzissem materiais que não eram arquivados.
• Resposta que Jonty recebeu da IBM
  • a imagem foi compartilhada online pela primeira vez em um tweet de @bumblebike em fevereiro de 2017
  • confirmou-se que ela veio de um material de treinamento interno de 1979
  • outro tweet de @bumblebike, de dezembro de 2021: foi destruída junto com a maioria das coisas na enchente de 2019
  • perguntaram em uma reunião por Zoom do clube de aposentados, mas quase não havia pessoas da faixa etária adequada

[mammal]

"Uma pessoa que não pode se responsabilizar por uma decisão nunca deve se tornar gerente."

[GN⁺]

Comentários do Hacker News

• Aponta que o uso de computadores é empregado como meio de evitar responsabilidade. Explica isso por meio de uma citação do livro <i>Technopoly</i>, de Neil Postman. Faz com que o computador pareça ser a verdadeira fonte de autoridade, criando uma tendência de fuga de responsabilidade

• Levanta dúvidas sobre carros autônomos. A responsabilidade passaria do motorista para o fabricante, e fica a questão se o fabricante realmente desejaria assumir essa responsabilidade

• Afirma que a introdução dos cartões com chip teve como objetivo transferir a responsabilidade dos bancos para os usuários. A segurança foi reforçada, mas na prática a intenção seria repassar ao usuário a responsabilidade por fraudes de cartão de crédito

• Enfatiza que roubo de identidade também é, da mesma forma, fraude bancária. Ao chamar isso de roubo de identidade, o problema deixa de ser do banco e passa a ser do indivíduo

• Menciona que as empresas odeiam responsabilidade, algo que, na verdade, ninguém gosta de ter

• Em certa empresa, havia uma política em que os gerentes evitavam tomar decisões porque poderiam ser responsabilizados

• Aponta que a palavra “responsabilidade” agora se tornou uma linguagem terapêutica sem sentido. CEOs dizem que vão assumir responsabilidade, mas na prática nada acontece como consequência

• Explica, por meio de uma citação do livro <i>God & Golem Inc.</i>, de Norbert Wiener, que o que as pessoas querem de uma calculadora automática não é um cálculo mais preciso, mas uma caixa para a qual possam transferir a responsabilidade

• Defende, como princípio jurídico, que o operador deve ser responsabilizado. Caso contrário, usa a analogia de que seria preciso proibir fósforos para prevenir incêndios criminosos

• Menciona que isso já acontecia antes mesmo do atual hype de IA ligado a “algoritmos”

• Explica que o princípio usado em perícia digital se aplica ao contrário. No tribunal, o perito em perícia digital pode testemunhar sobre o que foi feito em um dispositivo, mas não pode saber quem fez aquilo

• Quando um especialista explica ao público em geral que os computadores parecem muito determinísticos, mas que na prática existe incerteza, as pessoas ficam chocadas

• Menciona o caso socialmente normalizado de alarmes de segurança de lojas dispararem e se dizer que foi o computador que causou o problema. Parece que o computador provocou o problema, mas na realidade não foi assim