'Lavender': a máquina de IA de Israel que dirige os bombardeios em Gaza

'Lavender': o sistema de IA de Israel que dirige os bombardeios na Faixa de Gaza

• As Forças Armadas de Israel desenvolveram um programa baseado em inteligência artificial chamado 'Lavender', que desempenha um papel importante nos bombardeios indiscriminados contra palestinos na Faixa de Gaza.
• O sistema marca dezenas de milhares de moradores de Gaza como alvos de assassinato sem supervisão humana, e a política de tolerância a vítimas é permissiva.
• O Lavender foi projetado para marcar membros das organizações militares do Hamas e da Jihad Islâmica Palestina (PIJ) como potenciais alvos de bombardeio.

PASSO 1: geração de alvos

• O Lavender analisa informações coletadas por um sistema de vigilância em massa sobre a maioria dos moradores da Faixa de Gaza, classifica cada indivíduo ao avaliar a probabilidade de ser membro das organizações militares do Hamas ou do PIJ.
• Esse sistema de IA aprende as características de membros conhecidos de organizações militares e avalia a população em geral em busca dessas características.
• O Lavender marcou cerca de 37.000 palestinos como suspeitos de serem 'membros de organizações militares' do Hamas, transformando-os em alvos de assassinato.

PASSO 2: vincular alvos à casa da família

• As Forças Armadas de Israel usam um sistema automatizado para vincular o alvo à casa da família e utilizam sistemas adicionais de automação, como o 'Onde está o papai?', que sinaliza o bombardeio quando o alvo entra na casa da família.
• Esses sistemas monitoram continuamente o alvo e permitem atacá-lo assim que pisa na casa da família.

PASSO 3: escolha da arma

• Depois de ser marcado pelo Lavender como alvo de assassinato, os soldados verificam se o alvo é homem e, quando o software de rastreamento o localiza em casa, escolhem a munição a ser usada no bombardeio.
• Bombas 'burras' de baixo custo podem causar mais danos colaterais do que bombas guiadas de precisão e são usadas principalmente para assassinar integrantes de nível inferior.

PASSO 4: aprovação de vítimas civis

• Durante as primeiras semanas da guerra, as Forças Armadas de Israel permitiram matar até 15 ou 20 civis ao assassinar cada integrante de nível inferior marcado pelo Lavender.
• Esse 'grau de dano colateral' foi amplamente aplicado a todos os suspeitos de serem integrantes de nível inferior, independentemente de sua patente, importância militar ou idade.

A opinião do GN⁺

• O sistema Lavender é um caso de aplicação de tecnologia de IA em operações militares, o que sugere que o papel da IA nas guerras futuras tende a aumentar.
• Há graves questões éticas em depender de uma lista de alvos de assassinato definida por inteligência artificial, além do alto potencial de vítimas civis devido a alvos definidos incorretamente.
• É necessário um debate profundo sobre como essa tecnologia mudará a forma da guerra, assim como novas interpretações do direito internacional e das leis de guerra.
• A adoção de sistemas como o Lavender pode aumentar a eficiência militar, mas ao mesmo tempo apresenta um aspecto duplo ao colocar em risco a vida de civis inocentes.
• É preciso considerar que impacto essa tecnologia poderá ter sobre a comunidade internacional no futuro e a necessidade de criar regulações ou medidas de resposta.

[GN⁺]

Comentários do Hacker News

• Pesquisadores já haviam levantado preocupações há muito tempo sobre o direcionamento de indivíduos com base em associações indiretas. Esses sistemas foram originalmente usados para vigilância, mas agora estão sendo usados não apenas para vigiar, e sim para realmente matar pessoas.

  O direito internacional humanitário proíbe matar pessoas que não sejam "combatentes" de grupos armados. Apenas pessoas que "participam continuamente e de forma direta das hostilidades" podem ser alvo de ataque. Os demais civis só podem ser alvejados quando participam diretamente das hostilidades.

• É expressa preocupação com a ideia de a inteligência artificial (IA) tomar previamente a decisão de matar pessoas. Neste caso houve aprovação humana, mas é apontado que estamos a apenas um passo de situações em que pessoas são mortas por robôs sem intervenção humana.

  Reflete-se sobre a alternativa: sem IA, Israel teria escolhido alvos de forma mais aleatória, ou não teria lançado bombas de forma alguma? Em uma situação de guerra, a morte de pessoas inocentes é algo inevitável.

• Aponta-se que muitas pessoas vão olhar apenas o título e não vão ler o conteúdo, e recomenda-se prestar atenção ao segundo parágrafo da matéria.

  Alega-se que, junto com o uso do sistema de IA Lavender, autoridades militares israelenses permitiram mortes em massa de civis palestinos.

• Sugere-se ouvir a temporada atual do podcast Serial.

  A forma de processamento de dados em que a IA identifica rapidamente operadores "júniores" para direcionamento não é diferente da usada em 2001. As decisões são tomadas por humanos, não pela IA.

• Apesar de ser uma narrativa que retrata negativamente as ações de Israel, pelo menos pode ser lida como uma tentativa de atacar alvos militares.

  Israel tem como objetivo tornar a vida na Faixa de Gaza impossível ao mirar jornalistas, profissionais de saúde, trabalhadores humanitários e outros.

• Questiona-se a precisão dessa tecnologia, apontando que parece haver mais interesse em algo que pareça tecnologia avançada do que nos resultados em si.

  Isso prova que os poderosos estão mais interessados em ter uma justificativa para confirmar seus próprios vieses do que em serem "precisos".

• Menciona-se que as Forças de Defesa de Israel (IDF) não estavam interessadas apenas em matar operadores do Hamas em instalações militares ou enquanto realizavam atividades militares.

  A IDF não hesitou em bombardear casas de família, e o sistema foi construído para encontrá-los nessas situações.

• Levanta-se a dúvida sobre que benefício o uso de IA trouxe para o alcance dos objetivos da IDF.

  O uso contínuo da IA pode estar sendo apoiado porque oferece abrigo a indivíduos envolvidos em crimes de guerra.

• O The Guardian também está tratando essa história como matéria de capa e recebeu detalhes com antecedência.

  Histórias como essa são de interesse público, e espera-se que haja debate.

• Uma fonte mencionou que os funcionários humanos apenas atuavam como um "carimbo" para as decisões da máquina.

  Isso faz lembrar o artigo sobre a ironia da automação: quando a maior parte do trabalho é automatizada, a supervisão humana se torna quase inútil.