- Segundo uma investigação da +972 Magazine e da Local Call, o Exército israelense usou o Lavender no início da guerra em Gaza para marcar dezenas de milhares de palestinos como alvos de assassinato, e oficiais de inteligência trataram os resultados praticamente como se fossem julgamento humano
- O Lavender atribuía pontuações a pessoas suspeitas de integrar os braços militares do Hamas e da Jihad Islâmica Palestina, e há relatos de que cerca de 37.000 pessoas foram marcadas como combatentes suspeitos nas primeiras semanas da guerra
- Várias fontes de inteligência disseram que os oficiais normalmente gastavam apenas 20 segundos para verificar se o alvo era homem, sem validar o alvo de forma independente, e que internamente já se sabia de uma taxa de erro de 10%, mas não havia uma política de “erro zero”
- Para rastrear os alvos, foram usados sistemas automatizados como o Where’s Daddy?, e quando o alvo entrava na residência da família, ela passava a ser alvo de bombardeio; também há relatos de que, para alvos de menor escalão, preferiam-se bombas não guiadas (dumb bombs) em vez de munições guiadas de precisão
- O Exército israelense negou a alegação de que a IA “indiciava” alvos e afirmou que realizava análise independente de inteligência e seguia o direito internacional, mas as fontes acreditam que a tolerância a baixas civis, o cálculo automatizado de danos colaterais e a ausência de verificação em tempo real levaram a mortes em massa de civis
A geração de alvos sob responsabilidade do Lavender
- The Human-Machine Team, publicado em inglês em 2021, propõe uma “máquina” capaz de processar rapidamente grandes volumes de dados durante a guerra para gerar milhares de potenciais alvos militares
- O autor usou o pseudônimo “Brigadier General Y.S.”, e a +972 e a Local Call disseram ter confirmado que ele é o atual comandante da Unit 8200, a unidade de inteligência israelense
- O livro defende a combinação de IA e humanos para resolver o gargalo humano no processo de encontrar novos alvos e decidir pela sua aprovação
- Segundo a investigação, o Exército israelense de fato desenvolveu um programa baseado em IA chamado Lavender, e seis oficiais de inteligência israelenses diretamente envolvidos na geração de alvos de assassinato com IA durante a guerra em Gaza deram esse testemunho
- O sistema foi oficialmente projetado para marcar como potenciais alvos de bombardeio supostos integrantes dos braços militares do Hamas e da Jihad Islâmica Palestina, inclusive membros de baixo escalão
- As fontes disseram que, nas primeiras semanas da guerra, os militares dependeram quase totalmente do Lavender, e cerca de 37.000 palestinos e suas residências foram marcados como candidatos a ataques aéreos
- Um porta-voz do Exército israelense negou à +972 e à Local Call a existência dessa kill list
A ampliação do escopo de “alvo humano”
- No Exército israelense, “human target” antes significava, segundo as regras do departamento militar de direito internacional, um alto oficial militar que podia ser morto em uma residência privada mesmo com civis por perto
- Após o ataque de 7 de outubro por grupos armados liderados pelo Hamas no sul de Israel, que matou cerca de 1.200 pessoas e sequestrou 240, as fontes afirmam que o Exército israelense passou a designar, na “Operation Iron Swords”, todos os integrantes do braço militar do Hamas como human targets, independentemente de patente ou importância militar
- Antes, para aprovar o assassinato de um único human target, um oficial precisava passar por um processo complexo e longo de incriminação (incrimination)
- Cruzar evidências de que o alvo era um integrante de alto escalão do braço militar do Hamas
- Identificar sua residência e seus contatos
- Saber em tempo real quando ele estava em casa
- Quando a lista de alvos se expandiu de dezenas de oficiais de alto escalão para dezenas de milhares de membros de baixo escalão, o trabalho de inteligência passou a depender fortemente de software de automação e IA, segundo as fontes
- Um oficial sênior disse que poder atacar automaticamente operativos de baixo escalão era o “Holy Grail”, e que a mudança para a automação faz a geração de alvos explodir
Como o Lavender funciona e quais dados usa
- O Lavender analisa informações coletadas por um sistema massivo de vigilância sobre a maior parte dos 2,3 milhões de habitantes de Gaza e atribui a cada pessoa uma pontuação de 1 a 100 quanto à probabilidade de atuar no braço militar do Hamas ou da Jihad Islâmica Palestina
- O sistema recebe como dados de treinamento informações sobre integrantes conhecidos do Hamas e da PIJ, aprende suas características, ou features, e procura características semelhantes na população em geral
- O livro The Human-Machine Team inclui um breve guia para construir uma “target machine” baseada em IA, com exemplos de características que podem elevar a pontuação de uma pessoa
- Estar no mesmo grupo de WhatsApp que um combatente conhecido
- Trocar de celular a cada poucos meses
- Mudar de endereço com frequência
- O comandante do centro de Data Science and AI da Unit 8200, “Col. Yoav”, descreveu em uma palestra fechada na AI Week da Tel Aviv University em 2023 uma máquina de alvos que detecta “pessoas perigosas” com base na semelhança com listas existentes de combatentes
- Ele disse ter usado esse sistema para identificar um comandante da unidade de mísseis do Hamas em uma operação militar em Gaza em maio de 2021
- Os slides da apresentação mostravam uma estrutura em que dados de agentes já conhecidos do Hamas são inseridos, as características são aprendidas e, depois, outros palestinos recebem pontuação por similaridade
- Embora “Col. Yoav” tenha enfatizado que a decisão final era humana, fontes que usaram o Lavender recentemente dizem que, na prática, a avaliação humana precisa foi substituída por geração massiva de alvos e letalidade
Processo de aprovação e tolerância a erros
- Segundo as fontes, a adoção automática da lista de alvos do Lavender foi aprovada cerca de duas semanas após o início da guerra
- Profissionais de inteligência verificaram manualmente centenas de amostras selecionadas pela IA
- Nessa amostra, avaliou-se que a precisão do Lavender para identificar ligação com o Hamas chegava a 90%
- Depois disso, quando o Lavender concluía que uma pessoa era um combatente do Hamas, os oficiais tratavam isso praticamente como uma ordem, sem precisar verificar de forma independente os dados brutos ou o motivo da decisão
- Um oficial sênior disse que, em checagens internas, os cálculos do Lavender eram considerados corretos em 90%, o que significa que 10% dos alvos de assassinato podem não ser integrantes do braço militar do Hamas
- As fontes explicaram que o Lavender podia marcar por engano pessoas cujos padrões de comunicação se pareciam com os de integrantes conhecidos do Hamas ou da PIJ
- Policiais e equipes de defesa civil
- Parentes de combatentes
- Moradores com o mesmo nome ou apelido de operativos reais
- Habitantes de Gaza que usavam dispositivos antes usados por agentes do Hamas
- Uma fonte disse que não havia política de “erro zero” e que os erros eram tratados de forma estatística
- Outra fonte de inteligência explicou que, no caso de alvos de combatentes de baixo escalão, considerava-se que não valia a pena gastar tempo de oficiais para validar, então aceitava-se a margem de erro do uso da IA e o risco de mortes de civis
A verificação humana se limitava a confirmar se era homem
- O Exército israelense negou a alegação de que usava IA para incriminar alvos e respondeu que essas ferramentas são apenas instrumentos auxiliares no processo de incriminação
- A resposta militar afirmou que, em todos os casos, é necessária uma revisão independente por analistas de inteligência, que verificam se o alvo identificado é um alvo legítimo de acordo com diretrizes militares e o direito internacional
- No entanto, as fontes disseram que, antes de bombardear a casa de um suposto combatente de baixo escalão marcado pelo Lavender, o procedimento real de supervisão humana se resumia praticamente a uma única checagem
- Verificar se o alvo escolhido pela IA era mulher ou homem
- Havia internamente a suposição de que não havia mulheres nos braços militares do Hamas e da PIJ, então, se o alvo fosse mulher, era mais provável que se tratasse de erro da máquina
- Um oficial sênior disse que normalmente gastava 20 segundos por alvo e que seu único valor agregado humano era algo como confirmar se a voz era masculina
- As fontes apontaram que, nesse método, não havia mecanismo de supervisão capaz de detectar erros quando o Lavender marcava por engano homens civis
Where’s Daddy? e o rastreamento de residências familiares
- A etapa seguinte era decidir onde atacar os alvos gerados pelo Lavender
- O Exército israelense afirma que o Hamas posiciona agentes e ativos militares no meio da população civil e trava combate dentro de estruturas civis como hospitais, mesquitas, escolas e instalações da ONU
- As seis fontes também reconheceram em certa medida que o sistema de túneis do Hamas passa sob hospitais e escolas, que combatentes usam ambulâncias e que ativos militares são posicionados perto de edifícios civis
- Ao mesmo tempo, as fontes disseram que uma das principais razões para o aumento sem precedentes no número de mortos nos bombardeios atuais foi o fato de os militares atacarem sistematicamente os alvos em residências privadas, quando estavam com suas famílias
- Um software de rastreamento automático acompanhava milhares de pessoas ao mesmo tempo e enviava alerta automático ao oficial responsável quando o alvo entrava em casa
- Um desses sistemas é o Where’s Daddy?, revelado pela primeira vez
- Uma fonte o chamou de “broad hunting” e explicou que funcionava copiando a lista produzida pelo sistema de alvos e esperando para ver quem poderia ser morto
- Segundo números da ONU, mais da metade dos mortos no primeiro mês da guerra, 6.120 pessoas, pertenciam a 1.340 famílias, e muitas famílias foram completamente exterminadas dentro de casa
- Há relatos de que, ao inserir um nome da lista do Lavender no Where’s Daddy?, essa pessoa ficava sob vigilância contínua e, no momento em que entrava em casa, a residência inteira podia virar alvo de um ataque que a destruía por completo
Escolha de armas e bombas não guiadas
- Depois que o Lavender marcava alvos de assassinato, que o pessoal militar confirmava se eram homens e que o software de rastreamento detectava sua localização dentro da residência, a próxima etapa era escolher a bomba
- A CNN informou em dezembro de 2023, citando estimativas da inteligência dos EUA, que cerca de 45% das munições usadas pela Força Aérea israelense em Gaza eram bombas não guiadas (dumb bombs)
- Três fontes de inteligência disseram que, nos assassinatos de operativos de baixo escalão marcados pelo Lavender, usavam-se apenas bombas não guiadas para poupar munições de precisão mais caras
- Uma fonte explicou que, se um alvo de baixo escalão morasse em um prédio alto, não se queria usar uma “floor bomb” mais precisa e cara, então o alvo não era atacado; mas, se morasse em um edifício de poucos andares, aprovava-se um ataque com bomba não guiada que matava também as pessoas dentro do prédio
- Outra fonte disse que, por causa do sistema, os alvos nunca acabavam e, se um ataque era cancelado, passava-se imediatamente ao próximo
Tolerância a mortes de civis
- Segundo as fontes, nas primeiras semanas da guerra, o número aceitável de civis mortos para cada combatente de baixo escalão marcado pelo sistema de IA era fixado em 15 ou 20 pessoas
- Esse “collateral damage degree” era amplamente aplicado a todos os suspeitos de baixo escalão, independentemente de patente, importância militar ou idade, e não se comparava, caso a caso, o ganho militar com o dano civil previsto
- Um oficial de uma sala de operações de alvos disse que o departamento militar de direito internacional nunca havia dado antes uma aprovação geral para esse nível de dano colateral
- Ele disse que qualquer pessoa que tivesse usado uniforme do Hamas nos últimos 1 ou 2 anos podia ser bombardeada com dano colateral de 20 civis sem autorização especial, e que, na prática, o princípio da proporcionalidade não existia
- Outra fonte sênior explicou que, na primeira semana da guerra, quase não se levava em conta o dano colateral; depois os limites foram reduzidos, e mais tarde voltaram a subir
Alvos de comandantes de alto escalão e danos civis ainda maiores
- As fontes disseram que o método atual dos militares de gerar em massa human targets de baixo escalão em residências civis para bombardeio já não é mais usado
- Algumas disseram que a pressão dos EUA teve influência
- Como muitas casas em Gaza já foram destruídas ou danificadas e quase toda a população foi deslocada, ficou mais difícil depender do banco de dados de inteligência e de programas automáticos de rastreamento residencial
- Há fontes que afirmam que o bombardeio em massa de operativos de baixo escalão ocorreu sobretudo nas primeiras 1 a 2 semanas da guerra e depois foi interrompido para economizar bombas
- No entanto, os ataques aéreos contra comandantes seniores do Hamas continuaram e, nesses casos, as fontes dizem que os militares aprovam centenas de mortes de civis por alvo
- Sobre o bombardeio de 2 de dezembro contra Wisam Farhat, comandante do Batalhão de Shuja’iya, uma fonte lembrou que já se sabia que mais de 100 civis morreriam
- Também há relatos de que, em 17 de outubro, para assassinar Ayman Nofal, comandante da Brigada Central de Gaza do Hamas, no campo de refugiados de Al-Bureij, foi aprovada a morte de cerca de 300 civis, e vários prédios foram destruídos
- O general Peter Gersten disse em 2021 a um veículo de defesa dos EUA que, em operações contra o ISIS, um ataque com 15 civis de dano colateral já fugiria do procedimento e exigiria autorização especial de Lloyd Austin, então comandante do Comando Central dos EUA
O clima interno nas Forças Armadas após 7 de outubro
- Todas as fontes disseram que o massacre e o sequestro de reféns pelo Hamas em 7 de outubro influenciaram fortemente a política de poder de fogo e os limites de dano colateral do Exército israelense
- Uma fonte descreveu o clima inicial como doloroso e vingativo, com regras muito frouxas
- Outra fonte disse que havia “histeria” dentro da organização profissional e que os militares, sem saber como responder, começaram a bombardear furiosamente para desmantelar a capacidade do Hamas
- Uma fonte de inteligência afirmou que não havia uma instrução explícita de que o objetivo era “vingança”, mas que, quando todos os alvos ligados ao Hamas são legitimados e quase todo dano colateral é aprovado, era evidente que milhares morreriam
- O Exército israelense respondeu que cada alvo é revisado individualmente, que se avaliam o benefício militar do ataque e o dano colateral esperado e que, se o dano colateral esperado for excessivo em relação ao benefício militar, o ataque não é realizado
A automação do cálculo de danos colaterais
- Segundo as fontes, o cálculo do número esperado de civis que morreriam em cada casa junto com o alvo também era feito com uma ferramenta automatizada e imprecisa
- Em guerras anteriores, profissionais de inteligência gastavam muito tempo verificando quantas pessoas estavam dentro da casa prestes a ser bombardeada, e esse número era registrado no “target file”
- Depois de 7 de outubro, essa verificação minuciosa foi em grande parte interrompida e substituída por automação
- O método descrito pelas fontes estimava o número de moradores de cada casa antes da guerra com base no tamanho do edifício e na lista de residentes, e depois reduzia esse número de acordo com a proporção estimada de moradores que haviam evacuado o bairro
- Por exemplo, se se estimasse que metade dos moradores do bairro havia saído, uma casa onde normalmente vivem 10 pessoas passava a ser calculada como tendo 5
- Para economizar tempo, os militares não confirmavam o número atual de ocupantes por meio de vigilância real da casa, como em operações anteriores
- Uma fonte disse que esse modelo não tinha conexão com a realidade e que os moradores registrados antes da guerra não correspondiam necessariamente às pessoas que de fato estavam dentro da casa durante a guerra
- A mesma fonte afirmou que os militares sabiam da possibilidade desses erros, mas adotaram o modelo impreciso porque era mais rápido
Ausência de verificação em tempo real e redução da checagem após o bombardeio
- As fontes disseram que podia haver um intervalo considerável entre o momento em que um sistema de rastreamento como o Where’s Daddy? informava que o alvo havia voltado para casa e o momento real do bombardeio, o que às vezes resultava na morte de toda a família sem que o alvo estivesse presente
- Três fontes de inteligência disseram ter visto casos em que o Exército israelense bombardeou residências familiares e depois se confirmou que o alvo do assassinato não estava dentro de casa
- Uma fonte explicou que às vezes a casa era bombardeada porque o alvo estivera ali algumas horas antes; em alguns casos a localização era reconfirmada, em outros não
- Outra fonte disse que, às 20h, foi identificado que o alvo estava em casa, mas a Força Aérea bombardeou às 3h da manhã; nesse intervalo, o alvo foi com a família para outra casa, e no prédio atingido havia outras duas famílias com crianças
- Em guerras anteriores em Gaza, depois do assassinato de um human target era realizado o procedimento de avaliação de danos do bombardeio, ou BDA, mas as fontes disseram que, na guerra atual, esse procedimento foi abolido nos ataques ligados a combatentes de baixo escalão marcados pela IA para economizar tempo
- As fontes disseram que, nos ataques contra suspeitos de baixo escalão do Hamas e da PIJ, não sabiam quantos civis realmente morreram, nem sequer se o próprio alvo havia morrido
1 comentários
Comentários do Hacker News
Há muito tempo estudiosos como Didier Bigo vêm levantando preocupações sobre o fato de indivíduos serem alvejados apenas por sua associação indireta com “terroristas” ou “criminosos”
Originalmente isso era usado no contexto de vigilância revelado pelas denúncias de Snowden, e permitia mirar até pessoas que estivessem, por exemplo, a três graus de distância de alguém identificado, destruindo o sentido de devido processo legal e de vigilância direcionada
Agora, esse tipo de sistema de IA não está sendo usado apenas para vigilância, mas para efetivamente matar pessoas
O direito internacional humanitário proíbe matar pessoas que não sejam combatentes ou “combatentes” de grupos armados. Apenas pessoas com uma “função contínua” de “participação direta” nas hostilidades podem ser atacadas a qualquer momento
Ou seja, apenas membros da ala armada do Hamas podem ser alvo de ataque; recrutadores, fabricantes de armas, responsáveis por propaganda, responsáveis por financiamento etc. devem ser presos ou julgados. Caso contrário, até em guerra convencional quase todo civil poderia virar alvo, como um funcionário de banco que concedeu empréstimos a militares
O que assusta no Lavender é que ele permite a Israel alvejar em massa pessoas que são protegidas contra ataques pelo direito internacional, oferecendo apenas a justificativa política superficial de associação com terroristas
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
Um dos primeiros usos de computadores pela Alemanha na Segunda Guerra Mundial também foi criar e processar listas de pessoas a serem enviadas para campos de concentração. A diferença hoje é apenas que se pode coletar e processar muito mais dados, muito mais rápido e em escala maior
Claro que tudo é classificado como sigiloso e o acesso é restringido, para que ninguém possa investigar e fazer perguntas
No artigo do Guardian, o porta-voz das IDF disse que esse sistema existe, mas é usado apenas para fins auxiliares, e talvez essa fosse mesmo a intenção original ou a percepção da cúpula. Mas parece provável que, na prática, tenha se transformado na segunda opção
Afinal, a maior parte da população tem serviço obrigatório nas IDF
O direito internacional permite alvejar esse tipo de infraestrutura se a vantagem militar obtida for proporcional às mortes de civis
Então a conclusão é que talvez não se possa alvejar os indivíduos, mas, em termos de direito internacional, atacar o prédio enquanto essas pessoas estão dentro pode ser aceitável se isso tiver valor militar
Nunca pensei que chegaria a pensar nisso, mas isso me faz questionar se as pessoas que criaram e desenvolveram esse software deveriam ser julgadas por homicídio ou crimes contra a humanidade
Pelo que entendo, a IA em sua forma atual é uma tecnologia que não deveria chegar perto desse tipo de uso
Modelos de inferência são inerentemente bastante não determinísticos no sentido de que é possível avaliá-los com precisão apenas em relação a um resultado específico desejado, e mesmo para obter baixa precisão é preciso um volume enorme de dados de treinamento. Só que é bem provável que esses dados de treinamento nem existam, então parece que tudo foi construído sobre uma grande alucinação
Eu ficaria surpreso se esse modelo de IA tivesse 10% de precisão, e não me surpreenderia se fosse menos de 1%. Pelo que li, nem parece que a precisão seja o ponto central
Ao ver a reportagem do Guardian https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai..., cheguei até a pensar se o próprio desenvolvimento de IA deveria ser permitido
Esta aplicação específica e sua justificativa parecem estar entre os exemplos mais explícitos de uso malicioso deliberado de uma tecnologia já revelada publicamente. Será que isso é uma visão ingênua?
No meio disso também existem coisas como árvores de decisão, que fornecem resultados explicáveis
A “IA” é um dispositivo para justificar depois certos atos genocidas; na prática, isso parece mais um massacre indiscriminado à moda antiga, movido por raiva e racismo
E depois vai alegar que não tem responsabilidade, culpando um fantasma dentro da máquina
Por pior que essa história faça Israel parecer, ainda assim soa como uma tentativa de fugir da responsabilidade, como se pelo menos estivessem tentando matar combatentes armados
Desde o início, parecia claro que o objetivo era tornar a vida impossível em Gaza, mirando jornalistas, profissionais de saúde e pessoas envolvidas na distribuição de ajuda
Se houvesse uma política deliberada de matar jornalistas, trabalhadores humanitários e profissionais de saúde, o número de mortos teria sido muito maior
Se você não percebe que o Hamas usa esses papéis como cobertura para operações, então está sendo extremamente ingênuo ou tendencioso
Não estou tentando justificar as ações de Israel, que foram desastrosas, mas pelas evidências até agora a alegação original me parece claramente errada
O simples fato de estarmos falando disso muito provavelmente não é acidental, e parece uma estratégia para convencer os israelenses de que o Exército está tecnicamente à frente e sabe o que está fazendo, então não deve ser questionado
Com ou sem IA, eles teriam cometido genocídio e violado todo o direito humanitário internacional, mas para quem ainda acredita que esse genocídio é justificável isso pode ajudar a melhorar a imagem
A ideia de que a IA possa ser usada para tomar a decisão de matar alguém preventivamente é perturbadora
Por exemplo, como na navegação de carros autônomos, talvez computadores já estejam tomando decisões que matam pessoas de forma passiva. Neste caso, foi dito que havia um processo de aprovação humana, mas isso está a um passo de robôs matando pessoas sem intervenção humana, e a um passo do enredo de Terminator
Fico me perguntando qual seria a alternativa nesses casos. Não sei quase nada de estratégia militar, mas não sei se, sem IA, Israel teria escolhido menos alvos ou os teria escolhido de forma ainda mais aleatória
Também parece haver uma leitura equivocada deste artigo imaginando que, se Israel não tivesse usado IA, não teria lançado bomba nenhuma, mas considerando que estão em guerra isso claramente parece pouco provável. Em guerras, pessoas morrem, inclusive inocentes, e é por isso que todos odeiam a guerra e querem que a guerra atual termine o mais rápido possível
Mesmo com auditorias internas considerando que a precisão dos cálculos do Lavender era de apenas 90%, essa falta de supervisão foi permitida; em outras palavras, eles já sabiam de antemão que 10% dos alvos humanos marcados para assassinato não eram membros da ala militar do Hamas
Portanto, não havia processo real de aprovação humana. A política em si pode ter sido ordenada por alguém, mas os alvos de assassinato gerados continuamente foram, na prática, aprovados apenas pela previsão do sistema de IA
A frase “para economizar tempo e permitir a produção em massa de alvos humanos sem obstáculos” é horrivelmente distópica
Aí não teria sido preciso nem uma IAzinha
Também pode ser verdade que a alternativa fosse pior. Talvez os criadores do Lavender até consigam provar isso com dados
Mesmo assim, em qualquer caso, deve haver pressão moral para manter humanos dentro do processo. Tentativas de justificar isso não vão chamar tanta atenção do público quanto uma cena de apocalipse ao estilo SkyNet acontecendo sobre as cabeças dos civis de Gaza
Se você parte da perspectiva de não construir o Torment Nexus, fica muito mais fácil não construir o Torment Nexus
Muita gente vai passar só pelo título, mas eu realmente queria que lessem o texto
O segundo parágrafo diz o seguinte: “Além de falarem sobre o uso de um sistema de IA chamado Lavender, as fontes afirmaram que autoridades militares israelenses permitiram a morte de um grande número de civis palestinos, especialmente nas primeiras semanas e meses do conflito”
Recomendo ouvir toda a temporada atual do podcast Serial
“Ele processava grandes volumes de dados para identificar rapidamente potenciais agentes ‘de baixo escalão’ a serem alvejados. Quatro fontes disseram que, em algum momento do início da guerra, o Lavender listou até 37.000 homens palestinos ligados ao Hamas ou à PIJ por meio do sistema de IA”
Isso não é muito diferente de como se escolhiam pessoas para enviar a Guantanamo ou para prisões ainda mais secretas em 2001, e depois se bombardeavam esses locais
Acima de tudo, passa a sensação de que, como no mundo corporativo, engenheiros do Exército estão inflando chavões de IA para descrever exatamente o mesmo que já faziam antes de existir IA
Se você mandar dinheiro da sua conta do PayPal para uma conta identificada como ligada ao ISIS, uma agência americana de três letras vai aparecer rapidinho. Pelos relatos dos usuários, isso também soa exatamente assim. A decisão de bombardear ou não um lugar foi tomada por humanos, não pela IA
“NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’”
https://www.computerworld.com/article/2475921/whistleblower-...
“Não estávamos interessados em matar agentes do [Hamas] apenas quando estivessem dentro de prédios militares ou envolvidos em atividades militares”, disse o oficial de inteligência A. à +972 e à Local Call
“Pelo contrário, as IDF os bombardeavam sem hesitação em suas casas, e essa era a primeira opção. É muito mais fácil bombardear a casa da família. O sistema foi criado para encontrá-los nessas situações”
Em Gaza vivem cerca de 2 milhões de civis, e muitos deles não têm acesso a comida, água, remédios ou abrigo seguro. Algumas dessas pessoas azaradas moram em cima ou embaixo de agentes do Hamas e de suas famílias
É tipo: “ah, foi mal kkk”, “não era a intenção kkk, sério”, “não se preocupe, nossa doutrina permite matar X civis por cada agente hostil”
A guerra em Gaza é diferente da Ucrânia. Na Ucrânia, os moradores das cidades e vilarejos podem se deslocar da linha de frente para o lado russo ou para a Galícia ocidental, e os principais centros populacionais não são completamente arrasados
Em Gaza, parece que qualquer um pode morrer a qualquer momento, por qualquer motivo ou sem motivo nenhum. A “estratégia” de Israel faz até Ucrânia e Rússia parecerem exemplos de moderação e civilidade
Só que esta guerra também mostra que o Hamas não segue as regras e fica perto demais de civis
Fico me perguntando o quão precisa essa tecnologia realmente é, ou se quase não há interesse nos resultados e há mais interesse na imagem de algo avançado
Por um lado, é assustador pensar que essa tecnologia exista; por outro, a saída pode ser tão enviesada que talvez seja só um monte de lixo
O mais assustador é a evidência de que os poderosos não se importam com “precisão”; eles se importam com uma justificativa que confirme seus próprios preconceitos. Sempre foi assim, mas o fato de isso ser ampliado pela IA é ainda mais letal
Antes, havia um limite para o número de humanos capazes de mentir; agora, o limite é a velocidade com que a caixa-preta mágica consegue rodar
Essa pessoa não estava armada e, por causa do trabalho, avisava as autoridades israelenses para onde a equipe beneficente iria, para abrir caminho, e sua morte foi confirmada por familiares no Reino Unido. Então naturalmente surge a pergunta de quem aprovou um assassinato direcionado nessa situação
Pelas fotos pós-incidente, o míssil perfurou o teto do veículo e, ironicamente, foi bem ao lado do logotipo da instituição beneficente de alimentos, claramente visível no carro
O ministro da Defesa de Israel agora afirma que foi um erro, mas segundo a investigação, se o alvo real tivesse sido atingido, as regras de engajamento talvez permitissem de 15 a 100 mortes colaterais sem relação com ele
Isso vale ainda mais se for difícil auditar como a “IA” chegou à conclusão. Agora qualquer um pode virar alvo
É parecido com a polícia nos EUA dizer que “sentiu cheiro de maconha” ou que um cão farejador “deu sinal”. Isso fornece um meio de justificar qualquer busca — ou, neste caso, qualquer morte. A máquina continua moendo tudo
Em 2018, o CEO do Google Sundar Pichai, a SVP Diane Greene, o SVP Urs Hölzle e o principal engenheiro Jeff Dean criaram um sistema como o Lavender para as Forças Armadas dos EUA. Era o Project Maven
Os militares dos EUA queriam usar esse sistema para analisar imagens de drones de vigilância em massa e selecionar suspeitos para assassinato no Paquistão. Isso depois de já terem lançado bombas sobre centenas de casas e veículos, matando milhares de suspeitos e seus familiares e amigos [0]
Na época, eu trabalhava no departamento de Google Technical Infrastructure do Urs. Li sobre o projeto nas notícias, e o Urs mentiu para nós em reuniões relacionadas dizendo que o contrato era de apenas 9 milhões de dólares. Ele já tinha sido ampliado para 18 milhões e estava a caminho de 270 milhões
Urs e Jeff Dean tentaram minimizar o impacto do que fizeram. Jeff Dean piscava sem parar quando falava minimizando o impacto, e de repente parou de piscar quando começou a falar dos aspectos técnicos. Naquele momento perdi todo o respeito por ele e pela liderança da empresa
Ser excelente em engenharia e negócios não significa que venha junto uma moralidade madura. Infelizmente, nossa sociedade não está estruturada para garantir que líderes recebam a formação moral de que precisam, nem para removê-los quando fracassam completamente no julgamento moral
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
O Guardian também colocou essa história na primeira página e recebeu os detalhes antes da publicação
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
Pessoalmente, acho que esse tipo de história é uma questão de interesse público. Não vou pedir diretamente, mas espero que as flags sejam removidas e que a discussão siga adiante
Espero que as flags sejam removidas e que ela seja mesclada. Parece uma história importante sobre um novo modo de usar tecnologia
[0] https://news.ycombinator.com/item?id=39917727