Ativar o bozo bit desliga o aprendizado

• bozo bit é a atitude de considerar que já não vale mais a pena ouvir o julgamento e as falas de certa pessoa
• Quando se separa a pessoa envolvida no incidente como incompetente, a organização perde oportunidades de aprender com o acidente
• A resposta da PocketOS ao incidente com IA se enquadra em distancing through differencing, de Cook e Woods
• A fábrica nos EUA, ao tratar o incêndio em uma fábrica no exterior como problema dos outros, deixou passar os pontos em comum do sistema que compartilhavam
• Se um incidente com IA termina apenas em “eles deveriam saber”, é difícil que isso leve a melhorias reais de segurança

---

Quando um incidente é tratado como problema dos outros, o aprendizado para

• bozo bit é uma expressão da indústria de software para a atitude de não respeitar mais o julgamento de determinada pessoa e considerar que o que ela diz não merece ser ouvido
• Ao ouvir sobre um incidente e dizer algo como “como alguém pode não fazer X?”, passa-se a ver os envolvidos como incompetentes e a separá-los da própria organização
• A postagem no X do fundador da PocketOS, Jer Crane, An AI Agent Just Destroyed Our Production Data. It Confessed in Writing, chamou muita atenção como um incidente relacionado a IA, e houve muitas publicações online tratando a PocketOS como incompetente
• Essa postura reduz as chances de aprender com o incidente e corresponde ao que Cook e Woods chamam de distancing through differencing

• Distanciamento por meio da diferenciação (distancing through differencing)

  • Richard Cook e David Woods usaram esse termo no texto de 2006 Distancing Through Differencing: An Obstacle to Organizational Learning Following Accidents
  • Esse texto foi publicado como um capítulo de Resilience Engineering: Concepts and Precepts
  • Quando se foca nas diferenças entre quem sofreu o acidente e a própria equipe, conclui-se que não há lições aplicáveis às próprias operações e práticas
  • A conclusão “esse acidente não poderia acontecer aqui” é uma forma típica desse fenômeno

Incidentes que se repetem e pontos em comum que passam despercebidos

• Cook e Woods discutem como caso um incêndio químico em uma fábrica de manufatura nos Estados Unidos
• Antes disso, já havia ocorrido um incêndio semelhante em uma fábrica no exterior da mesma empresa, e os funcionários nos EUA sabiam desse fato
• Ainda assim, os funcionários nos EUA julgaram que os trabalhadores no exterior eram menos qualificados, menos motivados e menos cuidadosos, e concluíram que não havia nada a aprender para si próprios
• Mesmo depois do incêndio na fábrica dos EUA, trabalhadores de outros turnos da mesma planta atribuíram a causa do acidente à baixa qualificação do turno em que o incêndio ocorreu
• Esse tipo de distinção impede que se percebam os pontos em comum do sistema compartilhados entre os envolvidos no incidente e eles próprios
• Cook e Woods defendem que não se deve descartar eventos que parecem diferentes na superfície; em certo nível de análise, todo evento é único, mas em outro revela padrões em comum
• Se o incidente da PocketOS terminar apenas com a conclusão simplista de que “usaram IA de forma irresponsável”, não sobra nada para aprender
• A Railway, usada pela PocketOS, era um fornecedor que expunha uma API de exclusão e depois revelou, em Your AI wants to nuke your database. Guardrails fix that, que fez mudanças para aumentar a segurança de todo o sistema
• Incidentes relacionados a IA continuarão surgindo no setor, e a postura de “eles deveriam saber que não podiam fazer X” é justamente a armadilha do distancing through differencing
• Há diferença entre alguém assumir deliberadamente um risco excessivo e alguém assumir esse risco sem perceber; é difícil culpar uma pessoa apenas por não saber o que não sabia
• Quando se supera o distancing through differencing, a resposta da organização pode mudar

[GN⁺]

Comentários no Lobste.rs

• o valor do bozo bit está em que certas pessoas são uma fonte confiável de informação invertida
  essas pessoas chegam repetidamente a conclusões erradas por hábito, entendem mal até documentação escrita de forma bem direta e propõem designs que não resolvem o objetivo e ainda criam novos problemas
  ativar o bozo bit para alguém significa que você decidiu que é desperdício de tempo tentar extrair conhecimento da comunicação dessa pessoa
  este texto mistura o bozo bit com outro fenômeno, em que a pessoa acredita firmemente que um problema específico não pode acontecer e então inventa justificativas de trás para frente
  um termo conhecido para isso é racionalização a posteriori, e há séculos ou até milênios se discute que isso deve ser evitado
  voltando ao exemplo do texto, da empresa que deu privilégios de administrador do banco de dados de produção a um LLM, a reação “isso não aconteceria comigo por causa de X” é legítima se X for algo próximo de “eu simplesmente não daria privilégios de administrador do banco de dados de produção a um LLM, porque isso é bizarro demais e perigosíssimo para começar”
  é parecido com gente que consome algo perigoso e acaba em tragédia. Ao ler a notícia de que alguém comeu uma lesma e morreu por um parasita cerebral, eu posso ter certeza de que não vou morrer por essa causa específica
  o autor imagina que isso acontece porque eu acredito ser melhor ou mais inteligente do que a pessoa que morreu, mas o processo mental real está mais para “mesmo se eu estivesse morrendo de fome numa ilha deserta cheia de lesmas suculentas, tenho 100% de certeza de que não comeria uma lesma voluntariamente, então parasitas transmitidos por lesmas não entram no meu modelo de risco”
  também é difícil concordar com a parte de que dizer “eles deveriam saber” seria incoerente. As pessoas são culpadas o tempo todo por coisas que não sabem, e isso faz parte da vida adulta
  se uma criança de 3 anos comesse uma lesma, eu não a culparia, mas se um colega de 30 anos comesse uma lesma, eu obviamente o culparia. Comportamentos estupidamente óbvios podem sim justificar culpar uma pessoa

  • para a ideia de que não se pode culpar alguém por “não saber alguma coisa”, já existe o termo ignorância deliberada
    acho que o texto trouxe um ponto bom em que eu não tinha pensado antes, mas para mim também tinha alguns defeitos claros, e esse foi o primeiro
    o segundo foi que, ao ler sobre americanos, acabei me perguntando: “mesmo assim, esse distanciamento por diferenciação deles realmente é a mesma coisa que eu faço quando descarto um incidente de exclusão em produção causado por IA?”
    isto é, se tivessem descartado o risco só por presumir que não os atingiria, sem fazer ideia de como o perigo surgiu em outra fábrica, isso não seria justificável
    mas se eu ouvisse que um gerente colocou um robô humanoide novo, experimental e não determinístico no chão de fábrica, deixando-o ajudar livremente trabalhadores experientes a trabalharem mais rápido, eu não veria esse desprezo sob a mesma luz
    ainda assim, aceito a conclusão. Porque imprudência não é binária
    da próxima vez que eu ouvir uma história absurda, provavelmente vou parar um instante para pensar: “mesmo que eu não seja tão descuidado quanto eles foram, o que eu faço que mereceria mais cuidado e alguma proteção adicional?”
  • eu não perguntaria por que uma criança de 3 anos comeu uma lesma
    mas se um colega de 30 anos comesse uma lesma, eu investigaria a fundo como a situação chegou a esse ponto
    se eu sentisse vontade de “culpar” essa pessoa, primeiro perguntaria por que contratamos alguém que come lesmas e se ainda continuamos fazendo isso
  • a principal conclusão que tirei deste texto é que o autor não sabe o que é bozo bit

• há alguns pontos válidos
  na parte “quero explicar por que essa reação é contraproducente. E quero apontar o termo técnico para esse fenômeno aparentado com ativar o bozo bit. Chama-se distanciamento por diferenciação”, essa reação é produtiva e contraproducente ao mesmo tempo
  é produtiva porque, num mundo já inundado por incidentes demais para dar conta, não precisar avaliar toda entrada é uma otimização enorme
  ao mesmo tempo, também é contraproducente pelos motivos dados no texto
  a verdadeira habilidade é saber o que deve ser levado a sério e receber atenção. Quando eu aprender essa habilidade, aviso vocês

• o que exatamente eu deveria aprender do fato de alguém ter dado acesso direto ao ambiente de produção para uma IA?

  • interpretando o incidente com LLM com alguma generosidade, a lição pode ser que o acesso de produção precisa ter controle de acesso e que operações destrutivas exigem aprovação de duas pessoas
    eu trabalhei numa empresa que por um tempo crescia rápido, e boa parte das práticas de engenharia parecia mais com uma startup de garagem do que com uma multinacional de mil funcionários
    naquela época, três coisas eram verdadeiras. Primeiro, a implantação de serviços era feita dando cd no diretório de checkout do Git no notebook e executando <tool> deploy <service-name>, e o commit do Git que estivesse atualmente em checkout era exatamente o que seria implantado
    segundo, por causa de uma cultura de confiança nos colegas, o sistema de implantação tinha controle de acesso mínimo. Havia uma lista de quem podia implantar e, se você estivesse nela, podia implantar qualquer serviço
    terceiro, o repositório Git principal era grande e o Wi‑Fi do escritório era congestionado, então clonar levava muito tempo. Para ajudar novos contratados a começar mais rápido, a imagem de provisionamento dos notebooks incluía um checkout do Git do repositório principal
    então um dia chegou um novo estagiário à equipe de banco de dados e, seguindo o tutorial do wiki Database Team 101, executou o comando recomendado para verificar se sua permissão de implantação funcionava: <tool> deploy --prod <database>
    aconteceu que a imagem de provisionamento dos notebooks estava desatualizada, e o estagiário ainda não tinha chegado à etapa de onboarding em que aprenderia a rodar git pull origin master
    a história de “um LLM estragou a produção” e a história de “um estagiário estragou a produção” são parecidas, mas a segunda é mais fácil de aprender. Porque os erros individuais são menores

• do ponto de vista de análise de falhas, ativar o bozo bit e então parar de aprender é parar num único fator contribuinte, ou seja, “erro humano!”, quando a situação exige olhar a árvore completa da falha
  no exemplo apresentado, o nó “deram acesso de produção ao loop do LLM” na árvore da falha aciona, no leitor, a heurística de “ignore os idiotas”
  mas o nó irmão “o sistema permitia exclusão não confirmada via API” é uma lição valiosa, e você pode perdê-la se parar no primeiro nó que chama atenção
  além disso, a árvore da falha também deveria incluir nós-filhos que investiguem por que essa operação perigosa foi removida da GUI mas permaneceu na API, e por que o LLM acabou recebendo acesso de produção

  • por um lado, pode-se perguntar se devemos considerar menos provável reconstruir uma árvore de falha razoável a partir de um relato vindo de um bozo
    por outro lado, talvez a verdadeira questão seja se há ali dentro nós que brilham mais sob condições de bozo
    pode não importar muito se esses nós foram identificados ou conectados de forma errada. Afinal, o que eu preciso não é da árvore de falha deles para os fracassos passados deles, mas de verificar o que deixei de fora da minha própria árvore de falha para evitar meus fracassos futuros

• este texto pula de forma notável a parte de explicar por que ativar o bozo bit para o bozo no exemplo central apresentado estaria errado
  ele passa para casos de artigos acadêmicos e não trata do exemplo central do próprio texto
  por isso, parece que o autor está tentando deixar passar discretamente outros bozos

• aprendi uma coisa: não usar ferramentas de IA