Fuga de responsabilidade

Estrutura de evasão de responsabilidade

• Em The Unaccountability Machine, Dan Davies argumenta que as organizações formam uma "estrutura de evasão de responsabilidade", isto é, uma estrutura que absorve ou torna ambíguos os resultados das decisões para que ninguém possa ser responsabilizado diretamente.
• Por exemplo, quando um alto executivo de uma rede hoteleira decide reduzir a equipe de limpeza, isso pode melhorar os números no demonstrativo financeiro. Porém, quando um cliente tenta fazer check-in, o quarto não está pronto, e os funcionários dizem que não sabem quando ficará pronto. Não há a quem reclamar, nem como informar que aquela decisão arruinou os planos do cliente. A responsabilidade desaparece e se perde para sempre.

Como funciona a estrutura de evasão de responsabilidade

• Para que uma estrutura de evasão de responsabilidade funcione, é preciso bloquear o feedback. Ou seja, o feedback das pessoas afetadas por uma decisão não deve influenciar o funcionamento do sistema.
• Quando um plano de saúde nega um procedimento, quando uma companhia aérea cancela um voo, quando um órgão do governo declara que alguém não tem direito a um benefício, quando um investidor manda todas as empresas integrarem IA aos seus aplicativos, estruturas de evasão de responsabilidade estão por toda parte.
• Isso parte do pressuposto de que uma decisão de fato foi tomada. Outro mecanismo da estrutura de evasão de responsabilidade é quando a própria decisão se encadeia em série até que sua origem desapareça.

O significado de responsabilidade

• Vale a pena pensar por um momento no que significa "responsabilidade". Davies propõe a "lei fundamental da responsabilidade": o grau em que alguém pode mudar uma decisão é exatamente o grau em que pode ser responsabilizado por ela.
• Segundo a definição de responsabilidade de Sidney Dekker, responsabilidade é uma explicação sobre "como algo aconteceu, quais condições permitiram que aquilo acontecesse e por que aquela decisão parecia boa naquele momento". Isso é um pré-requisito para aprender a tomar decisões melhores.

Comparação com a IA

• Delegar decisões à IA é uma forma conveniente de criar estruturas de evasão de responsabilidade. No entanto, organizações de qualquer porte, como empresas e governos, já são muito boas em formar esse tipo de estrutura.
• A evasão de responsabilidade oferecida pela IA não é um serviço novo, mas uma ampliação. Isso não torna a situação menos assustadora, mas pode oferecer uma pista útil. Se as tentativas de responsabilizar empresas fracassaram, as chances de sucesso com algoritmos também são baixas. É preciso encontrar uma nova abordagem.

Resumo do GN⁺

• Este texto oferece uma visão sobre como as organizações constroem estruturas para evitar responsabilidade. Isso é especialmente útil para entender como tecnologias como a IA podem ampliar essa evasão de responsabilidade.
• Estruturas de evasão de responsabilidade funcionam rompendo a conexão entre quem toma a decisão e quem é afetado por ela.
• A IA pode tornar a evasão de responsabilidade ainda mais fácil, mas isso não é um fenômeno novo e sim uma ampliação de um problema já existente.
• Este tema pode ser interessante para pensar em como melhorar as estruturas de responsabilidade dentro das organizações e encontrar formas de tomar decisões melhores.