O acidente com a queda do voo 752 da Ukraine International Airlines, ocorrido há algum tempo perto de Teerã, no Irã, parece ter grande chance de ter sido causado por um lançamento equivocado de míssil por parte do Irã. Na época, os EUA estavam posicionando avançadamente seis bombardeiros estratégicos B-52 nas proximidades do Irã devido ao atrito com o país, e é possível que, por causa dessa escalada de tensão, uma unidade de defesa antiaérea iraniana tenha confundido um avião civil decolando de seu próprio território com uma aeronave militar americana prestes a atacar um aeroporto iraniano. Coincidentemente, uma situação parecida, em uma região parecida, faz lembrar de repente o [incidente do USS Vincennes e o abate do voo Iran Air 655], em que um avião civil iraniano foi derrubado por engano pelos militares americanos; entre as causas apontadas para esse caso estão erros humanos consecutivos em um estado de tensão psicológica e uma interface de usuário inadequada.
Como se vê, quando seres humanos ficam tensos ou são colocados em situações urgentes e inesperadas, tendem a se confundir e a tomar decisões erradas. Por isso, muita gente aponta como solução a automação por máquinas ou a autonomia com mínima intervenção humana. A ideia é que, em situações em que humanos se confundam ou não consigam reagir a tempo, a máquina tome automaticamente alguma medida preventiva. É um argumento plausível, mas o problema é que quem cria essa máquina continua sendo imperfeito. Portanto, é grande a chance de que a própria máquina também seja imperfeita. Assim, as ações automatizadas executadas por ela podem, na verdade, estar erradas. Além disso, se quem opera a máquina não entender corretamente a automação, essa automação pode acabar ampliando o problema.
Encontrei um texto que explica o lado negativo dos sistemas autônomos por meio de casos de lançamento equivocado do míssil superfície-ar Patriot. (Em inglês) O míssil Patriot tem capacidade de interceptar mísseis balísticos inimigos, mas como isso é complexo demais para ser operado manualmente e o tempo é muito curto, foi introduzido um [modo automático] em que, ao simplesmente ligar o sistema, o lançamento ocorre automaticamente assim que o radar detecta um míssil balístico, tentando a interceptação. Esse modo automático parecia estar derrubando com sucesso mísseis Scud na Guerra do Golfo, e os militares dos EUA passaram a confiar nele de forma complacente. Porém, na Guerra do Iraque, houve duas ocasiões em que mísseis Patriot em modo automático derrubaram aviões de combate aliados. Quando o radar detectava, por interferência eletromagnética, um míssil balístico que na verdade não existia, o Patriot era lançado automaticamente; e, como o míssil não conseguia encontrar o alvo designado, passou a considerar como alvo o objeto mais próximo — um caça — e o abatia.
O caso do modo automático do míssil Patriot mostra exatamente os problemas das armas autônomas letais (Lethal Autonomous Weapon: armas autônomas projetadas para selecionar e atacar alvos por conta própria, sem intervenção humana). Em situações ambíguas do mundo real, a capacidade de um sistema autônomo de julgar corretamente é menor do que se imagina. E isso não vale apenas para armas autônomas letais: sistemas autônomos estão afetando cada vez mais o nosso cotidiano. Por exemplo, o YouTube usa machine learning para identificar automaticamente conteúdo infantil e vem provocando a revolta de youtubers classificados de forma equivocada; e, na Coreia, a partir de julho será possível lançar carros com recursos de condução parcialmente autônoma de nível 3. A era das máquinas com cada vez menos intervenção humana está chegando, mas é preciso lembrar que, em situações de emergência, a intervenção humana ainda continua sendo necessária.
Referência - resumo em coreano do texto acima:
2 comentários
Parece que saiu o vídeo, e realmente parece que foi atingido por um míssil de verdade.
https://www.nytimes.com/2020/01/09/video/iran-plane-missile.html
No fim, o Irã admitiu que este acidente aconteceu por causa de um disparo equivocado de míssil feito por suas próprias forças armadas. Meus pêsames aos falecidos.
https://www.yna.co.kr/view/AKR20200111031354009
https://www.yna.co.kr/view/AKR20200111041651111