O “sumidouro de responsabilidade” das organizações que absorvem cobranças
(aworkinglibrary.com)- The Unaccountability Machine, de Dan Davies, vê as organizações como criadoras de sumidouros de responsabilidade, que absorvem ou obscurecem as consequências das decisões para que ninguém seja diretamente responsabilizado
- Essas estruturas funcionam quando rompem os elos de conexão, impedindo que o feedback das pessoas afetadas pelas decisões retorne para a operação do sistema
- Redução da equipe de limpeza em hotéis, recusa de procedimentos por seguradoras, cancelamentos de voos, decisões de inelegibilidade para benefícios governamentais e exigências de investidores para colocar IA em apps são exemplos de desconexão entre tomadores de decisão e prejudicados
- Quando uma compreensão implícita de que métricas de audiência são prioridade máxima empurra decisões subsequentes, como em Dominion Systems vs Fox News, sem uma decisão explícita, a origem da decisão fica obscurecida e a cobrança de responsabilidade se torna difícil
- Delegar decisões a algoritmos facilita a criação de sumidouros de responsabilidade, mas organizações de grande porte, como empresas e governos, já estão acostumadas a essas estruturas; a IA é mais um meio de ampliar a lavagem de responsabilidade
Como os sumidouros de responsabilidade funcionam
- Um sumidouro de responsabilidade é uma estrutura organizacional que absorve ou encobre as consequências de decisões, tornando impossível responsabilizar alguém diretamente
- Se um executivo de uma rede hoteleira reduz a equipe de limpeza, os números contábeis podem melhorar, mas o cliente que não consegue fazer check-in porque o quarto não está pronto não tem como reclamar com esse tomador de decisão nem reverter o impacto
- A equipe da recepção pode oferecer um voucher, mas o que o cliente precisa é de um quarto
- O caminho de feedback entre o tomador de decisão e as pessoas afetadas desaparece
- Pelo critério de Davies, para que um sumidouro de responsabilidade funcione, é preciso romper a conexão de modo que o feedback da pessoa afetada não seja refletido na operação do sistema
- A mesma estrutura se repete em várias situações
- Quando o plano de saúde recusa um procedimento
- Quando uma companhia aérea cancela um voo
- Quando um órgão governamental declara alguém inelegível para benefícios
- Quando um investidor manda empresas do portfólio enfiarem a chamada IA em seus apps
Autoridade e explicação que tornam a responsabilidade possível
- A responsabilidade está ligada ao alcance da capacidade de mudar uma decisão
- Davies vê o grau em que alguém pode mudar uma decisão como o grau em que pode ser responsabilizado por ela
- A definição de accountability, de Sidney Dekker, conecta responsabilidade a uma “explicação que pode ser narrada”
- É preciso entender como algo aconteceu, quais condições existiam, por que aquilo parecia uma boa decisão naquele momento e quem esteve envolvido para aprender decisões melhores depois
- Ao combinar os dois enquadramentos, para assumir responsabilidade são necessários tanto a autoridade para mudar quanto uma história sobre como essa autoridade foi usada
- Entregar decisões a algoritmos torna conveniente criar sumidouros de responsabilidade
- Mas empresas, governos e as organizações entre eles já são hábeis em criar sumidouros de responsabilidade
- A lavagem de responsabilidade oferecida pela IA não é algo totalmente novo, mas uma forma ampliada e reforçada
- Métodos que fracassaram ao tentar responsabilizar empresas dificilmente terão mais sucesso contra algoritmos; é necessária outra abordagem
1 comentários
Opiniões no Hacker News
Passei por algo parecido em um aeroporto/companhia aérea na Alemanha e pensei a mesma coisa.
Era um aeroporto totalmente automatizado, então o check-in era self-service e eu só interagia com computadores; quando inseri o cartão de embarque, a máquina apenas imprimiu um papel dizendo que meu assento no corredor havia sido trocado por um assento do meio. Tentei até o fim encontrar uma pessoa para reclamar, mas o computador só respondia da forma como a UI tinha sido projetada, e o programador também parecia não ter considerado minha situação. A equipe de solo também não pôde fazer nada porque não era da alçada deles, e a pesquisa que chegou depois era sobre outro trecho, então ficou até difícil registrar a reclamação corretamente.
Também não havia nenhuma indicação da localização do ônibus substituto, nem no app nem em lugar algum da estação, e o motorista do ônibus respondeu irritado a um idoso que perguntou se conseguiria pegar o trem de conexão, dizendo que aquilo não era problema dele. O ônibus estava escuro, as janelas estavam opacas por causa da umidade, não havia aviso nem indicação das paradas, e ficamos uma hora sem aquecimento. Naquela semana, meu cartão SIM foi apagado e uma encomenda também desapareceu; registrar a quantidade de “não é problema meu” que encontrei nas hotlines de suporte ao cliente agora também virou algo que não é problema meu.
A única pessoa que consegui encontrar era um segurança, que apenas disse para ligar para o número colado na máquina. A pessoa que atendeu não falava inglês, e meus €50 estão em algum lugar, mas o custo para recuperá-los provavelmente seria maior que isso.
Certa vez, a Amazon marcou um pacote como entregue, mas ele não estava em lugar nenhum, e não havia como obter ajuda; o FAQ só dizia para verificar os arbustos. O preenchimento automático da busca mostrava várias frases do tipo “diz que foi entregue, mas não há pacote”, o que me irritou ainda mais; hoje está um pouco melhor, mas continua parecido.
Primeiro tente resolver o problema de boa-fé e mantenha um registro disso, para usar como prova se chegar a uma audiência. Depois, faça a reclamação; em geral, eles recuam logo, e isso pode induzir um atendimento real ao cliente na única linguagem que as empresas entendem.
Na burocracia daquele filme, pelo menos ainda havia humanos capazes de sentir culpa; aqui, como não é preciso envolvimento humano direto, isso pode se tornar distópico em uma escala muito maior.
Há muito tempo penso que uma das principais funções das empresas é diluir a responsabilidade. O termo responsabilidade limitada existe por um motivo, e, como é possível criar empresas à vontade, fica fácil empurrar a responsabilidade para cantos escuros.
Por isso há um forte argumento para não tratar empresas como pessoas. Pessoas duram muito tempo e são seres que assumem responsabilidade; não podem ser criadas ou eliminadas à vontade.
As empresas funcionam assim também em sua economia interna e nas relações com parceiros. Um centro de custo paga dinheiro e delega a responsabilidade.
Há muito tempo acho estranho que isso não seja discutido com mais frequência. Parece que todo mundo se acostumou demais. Na minha opinião, deveríamos abolir o próprio conceito de aplicar multas a empresas e passar a punir criminalmente as pessoas que cometeram ilegalidades.
Weapons of Math Destruction (2016, Penguin Random House), de Cathy O'Neil, é um bom texto complementar sobre esse conceito do ponto de vista de quem constrói ou supervisiona sistemas.
Cathy argumenta que, em certos contextos, o uso de algoritmos é prejudicial e permite sistemas irresponsáveis em uma nova escala, e que isso precisa ser controlado.
https://www.penguinrandomhouse.com/books/241363/weapons-of-m...
Funciona da mesma forma se, no lugar do algoritmo, você colocar um ritual vazio, ou uma situação em que o cargo de policial conceda imunidade prática contra responsabilidade civil e processo criminal. O que viabiliza sistemas prejudiciais e sem responsabilidade é, no fim, a escolha humana de não responsabilizar outros humanos, seja qual for o fundamento.
Este exemplo é ruim porque não é factual. No caso Fox News e Dominion, Rupert Murdoch admitiu sob juramento que “a Fox às vezes endossou a falsa noção de uma eleição roubada”, e, mesmo sabendo que a alegação era falsa, decidiu não instruir a emissora a dizer o contrário
As comunicações internas dos apresentadores da Fox também mostram que eles sabiam que o que diziam era falso. Isso se encaixa claramente na definição de mentira, e os “External Links” da Wikipedia contêm documentos judiciais reais detalhando quem sabia o quê, quando, e o que disse
[1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
[2] https://www.nbcnews.com/politics/elections/dominion-releases...
[3] https://www.dictionary.com/browse/lie
[4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...
Suspeito que um dos grandes motivos pelos quais a automação, especialmente a appização, é atraente para executivos e C-levels é que ela permite romper a cadeia de responsabilização
Hoje muitas empresas têm uma estrutura dividida em uma “camada gerencial”, na qual gerentes de produto, desenvolvedores e pessoal de operações mantêm e melhoram a infraestrutura interna de TI, a “camada de software”; uma “camada de software”, a enorme infraestrutura de automação que de fato faz o trabalho cotidiano funcionar; e uma “camada de trabalhadores”, que executa o trabalho físico com baixos salários e alta rotatividade, como motoristas da Uber, entregadores e trabalhadores de armazéns da Amazon. Os trabalhadores recebem quase todas as instruções por meio de apps e dispositivos, não têm contato com a direção, e a empresa frequentemente nega até que eles sejam funcionários. O ponto importante é que a camada de software funciona como um firewall de responsabilidade entre as duas camadas: as reclamações dos trabalhadores não conseguem subir além do software, e comportamentos exploratórios podem ser tratados como infelizes erros de software
A razão é que “a regra é essa” ou “o sistema é assim”. Ninguém parece saber quem definiu a regra e criou o sistema, e investigar isso diretamente chega perto de um trabalho de Hércules, quase sempre terminando em perda de tempo
O que mudou é que agora as instruções e procedimentos muitas vezes são executados por software e hardware, não por humanos. O resultado final que o cliente recebe não mudou tanto quanto se imagina. Ele ainda recebe o mesmo café ou táxi, só que mais rápido, mais barato ou um pouco melhor; e esse tipo de melhoria incremental já era possível antes da TI, por meio de gestão interna de produto e melhorias nos procedimentos organizacionais
É um texto que dá muito em que pensar. Esse problema mostra por que órgãos governamentais de defesa do consumidor e leis são importantes
Se você passa pela Europa ou usa uma companhia aérea europeia, há uma lei da UE que concede cerca de 600 euros de indenização quando um voo atrasa mais de 3 horas ou é cancelado. É um bom seguro: não importa a bobagem que a empresa diga no aeroporto, você pode receber a compensação, e o procedimento para receber o dinheiro é bem simples. Ele oferece um caminho que contorna o sistema da companhia aérea e leva direto à indenização, e também pode servir de incentivo real, porque, se a companhia não operar direito, acabará pagando multas demais. Para evitar situações em que empresas barram clientes com paredes de chatbots, leis de proteção assim são realmente necessárias
Tenho passado por isso com bastante frequência no novo sistema automatizado de declarações eletrônicas do governo. Como uso leitor de tela e tenho dificuldade para usar caneta e papel sem ajuda, no começo gostei bastante desses sistemas, mas mudei um pouco de opinião
No papel, você pode escrever qualquer coisa, e uma pessoa verifica se aquilo faz sentido. Com computadores não é assim: se o sistema diz que os números do requerimento precisam bater entre si, então, mesmo em um caso especial em que na realidade eles divergem um pouco, você precisa mentir para o governo para fazer os números fecharem. Liguei para o escritório do governo local responsável, e eles basicamente disseram, de forma indireta, para eu mentir para o governo. O sistema é gerenciado centralmente, então o escritório local não tem autoridade para corrigi-lo; mesmo que quisessem consertar, eles próprios não têm permissão
Quando eu era pós-graduando em STS, pensei em fazer um projeto sobre como o software funciona como um modulador de agência
A estrutura é a de indivíduos assumindo certos riscos — em geral, riscos de transações econômicas — enquanto a maior parte dos benefícios fica com o proprietário do software. A Uber e serviços relacionados são, de várias maneiras, dispositivos que fazem indivíduos assumirem riscos de baixa probabilidade, mas alto impacto negativo, em troca de uma pequena taxa
A comparação com IA é clara: delegar a tomada de decisões a algoritmos é uma forma conveniente de criar pontos de absorção de responsabilidade. Minha conta no LinkedIn tem uma flag que impede que eu coloque links de “follow-me” no perfil
Ninguém do suporte sabe por quê, nem desde quando, nem quando isso vai mudar. Já vivemos nesse mundo
As organizações existem para eliminar a responsabilidade moral
Juízes, júris, carrascos, pelotões de fuzilamento e organizações de responsabilidade limitada cabem todos em caixas organizadas que permitem às pessoas dormir à noite. O juiz diz que o júri julgou; o júri acredita que o juiz aplicará uma pena justa; o executor acredita que os dois grupos anteriores fizeram o que lhes cabia. Esse tipo de sistema não impede tanto que uma pessoa aja; ele cria uma série de passagens de bastão e, quando o carcereiro fecha a porta, o envolvimento com a moralidade do resultado já desapareceu. O fato de, num pelotão de fuzilamento, apenas uma entre várias armas estar carregada com munição real segue a mesma estrutura. Grandes instituições, organizações e coisas em escala são completamente desumanizadas, e a ideia é que o resultado seria diferente se a pessoa que profere a sentença também executasse diretamente a punição
Fazer o júri executar a pena e o juiz se responsabilizar pelo encarceramento criaria um enorme incentivo reverso para pessoas sádicas. Parte-se erroneamente da suposição de que juízes ou jurados seriam mais empáticos se carregassem esse peso diretamente. Na prática, é provável que justamente pessoas que não gostaríamos que fizessem esse trabalho acabassem fazendo. Exceto pelo método de usar balas de festim em execuções, o restante do sistema protege mais a pessoa condenada do que as pessoas que estão dentro dele
Você pode criar um partido defendendo que a separação de poderes foi um caminho errado; ou, melhor ainda, visitar um dos muitos países com um superditador