- Explora insights aplicáveis à automação baseada em IA com foco no segundo capítulo, “Approaches to solutions”, do artigo de 1983 de Lisanne Bainbridge, “The ironies of automation”
- Quando humanos supervisionam tarefas executadas por agentes de IA, os limites cognitivos sob julgamentos rápidos e situações de estresse formam uma estrutura de risco semelhante à dos sistemas de controle industrial
- As atuais UI/UX de agentes baseados em LLM são inadequadas para detectar erros, e há necessidade de aprender com os princípios de projeto de controle industrial
- Devido ao paradoxo do treinamento, quanto mais bem-sucedida é a automação, mais essencial se torna um treinamento contínuo e caro para supervisores humanos
- Na era dos agentes de IA, vai-se além da supervisão simples e passa-se a exigir “capacidade de liderança”, o que leva a uma nova forma de estrutura de colaboração humano-máquina
Os limites da automação por IA e do julgamento humano
- Em sistemas de controle industrial, a resposta é necessária em poucos segundos, enquanto a automação de trabalho de escritório envolve menos risco imediato, mas ainda exige julgamento rápido e intervenção
- Quando a IA gera resultados em velocidade sobre-humana, os humanos precisam de suporte cognitivo em nível equivalente para compreender e validar esses resultados
- A cultura corporativa centrada em eficiência e os ambientes de estresse reduzem a capacidade analítica humana, tornando a detecção de erros ainda mais difícil
- Como erros nos resultados da IA podem levar a consequências graves, como incidentes de segurança, é necessário projetar sistemas de monitoramento em nível semelhante ao do controle industrial
O pior problema de UI
- Bainbridge afirma que “em situações nas quais é preciso reconhecer rapidamente eventos de baixa probabilidade, é necessário apoio artificial”
- Isso indica a necessidade de fortalecer sistemas de alerta para mitigar o problema da fadiga de monitoramento
- As atuais formas de gerenciamento de frotas de agentes de IA são interfaces ineficientes nas quais humanos precisam revisar centenas de linhas de planos
- Como erros são raros, mas podem ser fatais, é necessário redesenhar UI/UX com foco na detecção de erros
- É preciso aplicar os princípios de design visual e de alarmes dos sistemas de controle industrial
O paradoxo do treinamento
- Bainbridge enfatiza a importância de manter habilidades manuais, apontando que humanos devem operar o sistema diretamente com regularidade
- Quanto maior o nível de automação, mais rapidamente avança a perda de proficiência humana
- O treinamento com simuladores tem dificuldade em reproduzir situações inesperadas de erro, e por isso é necessário um treinamento centrado em estratégias gerais
- Como na frase “é irônico esperar inteligência de humanos treinados para seguir instruções”, supervisores de IA também precisam treinar continuamente a capacidade de responder a situações excepcionais
- Quanto mais bem-sucedida for a automação, maior será o custo de treinamento humano, o que não pode ser resolvido com uma lógica simples de redução de custos
O dilema da liderança
- Supervisionar agentes de IA não é mera vigilância, mas um papel de liderança por meio de instrução, coordenação e feedback
- Em vez de executar diretamente, os humanos precisam gerenciar resultados de forma indireta, o que exige uma mudança para uma nova forma de trabalho
- A maioria dos profissionais acabará gerenciando agentes sem treinamento em liderança, e conselhos como “escreva prompts melhores” não bastam
- É necessário treinamento em liderança para IA, com uma estrutura semelhante à do treinamento tradicional de liderança humana
- Até que os agentes se tornem sofisticados o suficiente no futuro, será essencial fortalecer as capacidades de liderança dos supervisores
Conclusão: a verdadeira ironia da automação
- Como conclui Bainbridge, humanos sem pressão de tempo são excelentes solucionadores de problemas, mas sob pressão sua eficiência cai drasticamente
- A automação não elimina as dificuldades humanas; ao contrário, exige maior sofisticação técnica e investimento em capacidades humanas
- Os insights de 40 anos atrás continuam válidos na era dos agentes de IA, e é preciso redefinir o equilíbrio da colaboração humano-máquina
- O progresso da automação por IA depende menos da tecnologia e mais do redesenho do papel humano
1 comentários
Comentários do Hacker News
Gostei muito do resumo do artigo de Bainbridge de 1983 feito por este autor
Eu vinha tentando aplicar essa “ironia” da automação industrial aos agentes de IA, mas não tinha conseguido organizá-la de forma tão clara
O artigo em si é curto, mas denso e difícil de ler, e vale a pena acompanhá-lo junto com o PDF original
Em especial, a frase “os sistemas de automação atuais se apoiam nas habilidades dos antigos operadores manuais” é central
Ou seja, para usar bem a IA é preciso um programador experiente, mas para adquirir essa experiência é preciso programar diretamente, o que mostra a primeira ironia
É um texto cheio de insights e eu recomendo fortemente
Produtos culturais como arte e escrita não são, em essência, resolução de problemas, mas atos de expressão
Só que a IA usa esses dados no treinamento, substituindo o trabalho e a remuneração dos criadores e, ao mesmo tempo, poluindo o “bem comum” dos dados de treinamento
No fim, será preciso pagar os criadores, ou então os modelos vão se afastar cada vez mais da realidade cultural contemporânea
Neste momento, estamos apenas esperando os efeitos aparecerem em um problema circular
E, depois disso, ainda deveriam investir uma certa porcentagem do tempo em “projetos manuais” para manter a habilidade
Mesmo assim, fica a dúvida se isso realmente acelera as coisas e melhora o mundo
Os LLMs chegaram a um nível impressionante, mas, em vez de criar novas abstrações ou paradigmas, só produzem subprodutos bem-feitos
Por isso, os humanos sentem menos necessidade de criar novas metodologias
Talvez um dia os LLMs com capacidade de raciocínio resolvam esse problema
A automação por IA não elimina a dificuldade humana, apenas a desloca para outro lugar
Na verdade, ela a torna menos visível e aumenta os riscos
No fim, mesmo com intervenção humana, ainda é preciso muito ajuste posterior
Os antigos operadores manuais se aposentaram, e os operadores de fábrica de hoje não têm experiência de operação manual
Em vez disso, eles têm habilidade em “o que fazer quando a máquina quebra”
Muitos sistemas nem permitem operação totalmente manual, mas a automação industrial continua sendo bem-sucedida, e graças a isso os produtos ficaram baratos e abundantes
O texto trata de dois problemas que surgem ao usar agentes de IA
Primeiro, quando o agente erra, um especialista humano precisa intervir imediatamente, mas como deixou de executar o trabalho diretamente, a degradação da expertise acontece rápido
Segundo, o especialista precisa virar administrador do sistema de agentes, mas como esse é um papel pouco familiar, sente alienação no trabalho
No fim, a automação aumenta a eficiência, mas torna a intervenção humana mais difícil, ampliando a complexidade em vez de substituir tudo por completo
No passado, automatizei relatórios de Excel com PowerBI, e por alguns meses os resultados ficaram errados
Com a automação, o instinto de verificação desapareceu, e rastrear o erro ficou muito mais difícil
Por isso, reforço que, ao automatizar, é essencial manter uma rotina de validação
A geração do touchscreen consegue usar tudo sem problema, mas quando algo dá errado a geração mais antiga leva vantagem
Com IA é a mesma coisa: se não for perfeita, no fim a intervenção de especialistas será necessária
Só que esse papel vai aparecer de forma rara, como um mecânico de automóveis
Mesmo com o avanço da automação, a habilidade humana continuava necessária
A IA costuma produzir planos razoáveis na maior parte do tempo, mas às vezes inclui um erro fatal, e cabe às pessoas detectá-lo
No fim, outra automação vem para encobrir isso, e mais uma automação surge por cima
Olhando para essa estrutura circular, dá vontade de reler O Capital, de Marx
Foi um texto que me fez lembrar que “calculadoras são rápidas e precisas, mas ainda precisamos aprender os princípios da matemática”
A automação da programação está em um caminho muito mais crítico do que uma simples calculadora, então o risco de degradação da habilidade é maior
Como a IA não desiste do problema, a necessidade de especialistas sempre existe
O importante é saber quais números precisam ser calculados
Desenvolvedores mais jovens não conseguem nem escrever rotinas básicas por conta própria, e quase não há gente capaz de lidar com drivers em C
O texto é interessante, mas na prática é uma pena que o programador seja visto apenas como quem corrige os erros da IA
Na realidade, ainda passamos a maior parte do tempo programando a IA
A IA não sabe o que precisa ser criado, nem quando algo existente deve ser mudado
No fim, ao contrário da manufatura, na programação ainda cabe aos humanos projetar o pipeline de produção
A indústria da aviação já lida com essa ironia da automação há muito tempo
O piloto automático faz a maior parte do voo, mas os pilotos treinam pouso manual todo mês
Graças a isso, mantêm a habilidade e ao mesmo tempo aproveitam os benefícios da automação
Já na indústria de software, a prioridade é a produtividade de curto prazo, então esse tipo de treino não é incentivado
Eu, pessoalmente, pretendo continuar codando manualmente, mas é difícil imaginar o setor inteiro fazendo o mesmo
Aliás, esse problema continua existindo também na aviação — um caso representativo é o acidente do voo Air France 447
Texto relacionado: The Long Way Down – Air France Flight 447
O artigo de Bainbridge é interessante, mas a palestra posterior “Children of the Magenta” é mais prática
No vídeo no YouTube, ela trata do treinamento de pilotos para automação
Caças modernos (F-22, F-35 etc.) são projetados para que o foco esteja mais em combater do que em pilotar
Antes, a maior parte do treino era de pouso, mas agora, com a estabilização assistida por computador, os pilotos se concentram mais em julgamento estratégico
Na programação, deve acontecer algo parecido: conforme a IA evoluir, os humanos vão dedicar mais tempo à análise tática de problemas
Se comparar assistentes de programação com IA aos níveis SAE de automação em carros, fica mais fácil entender
Hoje estamos no nível 2~3, então ainda é necessário supervisão e responsabilidade humanas
Antes de chegar à automação total (nível 5), esse período de transição é o mais perigoso
No fim, por pressão competitiva, todos vão acabar indo para nível 4 ou mais, ou serão eliminados
Tenho dúvidas sobre a ideia de que “antes de assumir um papel de liderança, a pessoa recebe treinamento suficiente em liderança”
Na prática, isso raramente acontece
Eu também estou sentindo a degradação das habilidades
Minha primeira reação já é usar um LLM, então entramos numa era em que é preciso autocontrole consciente, como com exercício físico ou dieta
Só uma parte das pessoas vai conseguir manter bem esse equilíbrio
Isso não é uma questão de autocontrole, mas de preservar uma linha mínima de compreensão
A frase “se não deu certo, então é só escrever prompts melhores” já está familiar demais
Isso mostra exatamente a atual transferência de responsabilidade para o usuário de IA