Polícia armada cerca estudante após IA confundir pacote de Doritos com arma

• Em uma escola de ensino médio dos EUA, ocorreu um caso em que uma falha de um sistema de detecção de armas por IA fez com que um estudante fosse cercado por policiais armados
• O sistema em questão usa uma tecnologia que analisa imagens de câmeras de vigilância para reconhecer o formato de armas de fogo, mas na prática interpretou erroneamente um pacote de salgadinho Doritos como se fosse uma arma
• O estudante foi algemado sob a mira de armas, e depois a imagem capturada pela IA mostrada pela polícia confirmou o falso positivo
• A Omnilert, empresa que desenvolveu o sistema, afirmou que “foi um falso positivo, mas o sistema funcionou como pretendido”, e a escola também divulgou uma posição em apoio a essa visão
• O caso desencadeou um debate sobre a confiabilidade e os limites éticos da tecnologia de vigilância por IA nas escolas, revelando os riscos de uma sociedade dependente de IA

---

Visão geral do caso

• Na Kenwood High School, em Baltimore, Maryland, EUA, o estudante de 16 anos Taki Allen foi abordado por policiais armados após um falso positivo de um sistema de vigilância por IA
  • O caso ocorreu em 20 de outubro, quando Allen estava com amigos depois do treino de futebol
  • Várias viaturas chegaram em frente à escola e apontaram armas para os estudantes, ordenando: “deitem no chão”
• Allen foi revistado enquanto estava ajoelhado e algemado, e a polícia não encontrou nenhuma arma
  • Na imagem capturada pela IA mostrada pela polícia, um pacote amassado de Doritos no bolso dele havia sido identificado como arma de fogo
• Allen disse que, naquele momento, pensou que “poderia morrer”, e afirmou que desde então tem medo de voltar à escola

Como o sistema de IA funciona e quais são os problemas

• O sistema em questão é a Gun Detection Technology da Omnilert, uma solução de vigilância por IA adotada no ano passado pelas escolas públicas do condado de Baltimore
  • Ele analisa em tempo real imagens de CFTV já existentes e, ao detectar um objeto estimado como tendo formato de arma de fogo, envia imediatamente um alerta à polícia
• A Omnilert reconheceu o caso como um “false positive (falso positivo)”, mas afirmou que o sistema “funcionou como pretendido”
  • A empresa sustenta que o objetivo é “garantir segurança por meio de rápida verificação humana”, e que isso não representa um problema fundamental da tecnologia
• No entanto, os materiais promocionais da empresa destacam “detecção imediata de armas” e uma “taxa de falso positivo próxima de zero”, o que fez deste caso um fator que abala essa confiabilidade

Resposta da escola e da comunidade local

• As Baltimore County Public Schools repetiram em carta aos pais a posição da Omnilert, explicando que “foi uma medida para a segurança dos estudantes e para aumentar a conscientização”
  • A escola anunciou que ofereceria serviços de aconselhamento aos alunos que testemunharam o incidente
• No entanto, Allen afirmou que não recebeu pedido de desculpas nem contato direto da escola
  • Segundo ele, “disseram apenas que era protocolo”, expressando frustração com a resposta da escola
• Depois do caso, Allen disse: “Agora tenho medo de que, se eu voltar a comer salgadinho ou beber alguma coisa, a polícia apareça de novo”, e tem evitado retornar à escola

Debate ampliado sobre tecnologia de vigilância por IA

• O caso desencadeou um debate sobre a confiabilidade e os limites éticos dos sistemas de vigilância por IA
  • Em especial, ficou claro que, em espaços sensíveis como escolas, falsos positivos da IA podem ameaçar a segurança dos estudantes
• Especialistas alertam que, quando erros de julgamento da IA levam a uma resposta armada real, há risco de o caso evoluir para vítimas humanas
• O episódio também reacende a discussão sobre a responsabilidade social da tecnologia de IA e a importância dos procedimentos de verificação humana

Tendências internacionais relacionadas à expansão da IA

• No mesmo período, o major-general do Exército dos EUA William ‘Hank’ Taylor afirmou publicamente que usa o ChatGPT para tomar decisões militares, o que gerou controvérsia
  • Isso mostra que a dependência de IA está se espalhando rapidamente também em órgãos públicos e organizações militares
• No Reino Unido, foi introduzido um sistema de verificação etária com reconhecimento facial para acesso a conteúdo adulto, gerando outra controvérsia envolvendo IA
  • Um homem com muitas tatuagens alegou ter recebido do sistema a mensagem “remove your face”, expondo efeitos colaterais de erros de reconhecimento por IA
• Esses casos são vistos como exemplos representativos de consequências imprevisíveis geradas à medida que a IA se infiltra profundamente no cotidiano humano e na área de segurança pública

[onixboox]

O estudante que foi detido por acaso não era negro, era?

[GN⁺]

Opiniões no Hacker News

• A Omnilert admitiu que o incidente foi um false positive, mas ainda assim alegou que o sistema “funcionou como planejado”
  Na prática, porém, isso significa que pessoas armadas foram enviadas após receberem a informação errada de que “algum adolescente estava com uma arma”, criando uma situação extremamente perigosa
  O estudante pode acabar traumatizado. Ironicamente, as falas citadas na matéria fazem os adultos que criaram essa tecnologia parecerem mais imaturos do que o próprio estudante

  • Em outro caso, a matéria sobre o processo contra o sistema de vigilância por IA do distrito escolar de Lawrence mostra que um aluno fez uma piada em um chat em grupo, a IA denunciou isso, e ele foi preso e mantido detido por 24 horas sem acesso aos pais nem a um advogado
    Agora há um processo contra a Gaggle, e a concorrente Lightspeed oferece uma opção paga em que alertas são revisados por humanos
  • Dizem “garantir segurança com verificação humana rápida”, mas no fim isso parece apenas fuga de responsabilidade
  • Isso é, na prática, uma situação de AI swarm em que “a IA alocou recursos de forma autônoma”. Houve execução sem julgamento humano
  • Todo sistema tem false positives e false negatives, mas neste caso ambos são perigosos
    Além de melhorar a qualidade do modelo de detecção, é preciso uma estrutura que reduza o custo da falha. Verificação humana ou um procedimento de segunda checagem seriam formas de fazer isso
  • Os engenheiros o construíram como uma “ferramenta para ajudar na segurança pública”, mas marketing e vendas o empacotaram como um “sistema de tomada de decisão totalmente automatizado”, e a realidade acabou virando uma sátira: uma falha apontando armas para pessoas

• Isso parece, basicamente, uma leve adaptação do modelo open source de reconhecimento de objetos YOLO para comercialização
  Ninguém sabe quão preciso ele é de fato, com quais dados foi treinado nem qual é sua taxa de falso positivo
  Para implantar sistemas assim, a divulgação de estatísticas e dos dados de treinamento deveria ser obrigatória

  • No fim, ignoraram completamente o conceito de human in the loop. Um dia essa empresa provavelmente vai enfrentar um processo por homicídio culposo

• Parece provável que John Bryan, do The Civil Rights Lawyer, comente esse caso
  Ele vem criticando legalmente a prática de policiais apontarem armas com informações insuficientes, classificando isso como “uso excessivo da força”
  Se tanto a IA quanto a polícia viram a foto e a confundiram com uma arma, isso até poderia ser justificável, mas se a IA acionou tudo automaticamente, a justificativa fica muito mais fraca

  • Talvez um dia a gente ouça em tribunal o argumento de que “evidência de IA é confiável porque é uma tecnologia na qual foram investidos dezenas de bilhões de dólares”
  • Fico pensando se o uso de força sem motivo legítimo já configura imediatamente abuso policial, ou se existe alguma zona cinzenta

• É perigoso colocar sistemas assim nas mãos de pessoas que não entendem tecnicamente de IA
  Elas têm grande chance de confiar cegamente na saída da IA
  O que as equipes de segurança em IA realmente deveriam priorizar é fazer a sociedade entender que “computadores podem errar”

• A escola disse que “oferecerá apoio psicológico aos estudantes”, mas mais do que isso, deveria haver responsabilidade financeira por falsos positivos
  Esse tipo de tecnologia ainda deveria ficar restrito ao laboratório

  • Decisões erradas precisam ter responsáveis. Responsabilização de quem decide é a única forma de conter julgamentos ruins
  • Já houve desperdício de pessoal e recursos numa resposta equivocada. Agora é preciso renúncia ou punição
  • Dá até para ser cínico e perguntar se, em vez de aconselhamento, deram ao menos um gift card para terapia
  • Claro que toda tecnologia envolve risco, mas não acho que um único falso positivo invalide todos os benefícios
    Ainda assim, a proporção entre alertas falsos e detecções reais precisa ser divulgada com transparência

• Está chegando uma era em que plataformas de vigilância como a Palantir vão se espalhar por toda a sociedade
  Sistemas de ML não determinísticos, quando falham, podem levar a perda de vidas
  Em sociedades autoritárias, esses erros são encobertos, então é preciso exigir regulação legal agora

  • Mas este caso não é da Palantir, e sim da Omnilert. Não dá para confundir o foco da discussão

• A Omnilert disse que “o sistema funcionou como planejado”, mas na prática foi como se a IA tivesse feito swatting contra uma pessoa
  É mais seguro simplesmente evitar lugares onde sistemas assim estejam instalados

  • É o exemplo clássico da desculpa corporativa de “não é bug, é feature”
  • Esse tipo de tecnologia vai acabar levando ao sacrifício de estudantes inocentes. O nível técnico ainda não chegou lá
  • A alegação de que a prioridade foi a segurança humana é claramente falsa

• Falaram em “verificação humana rápida”, mas na prática foi verificação na mira de uma arma

  • A ideia de “não desperdiçar tempo verificando e eliminar imediatamente a ameaça” é ainda mais perigosa
  • Quando a polícia é acionada, ela deveria poder ver imediatamente o vídeo original detectado pela IA. Isso ajudaria a reduzir falsos positivos e a entender a situação com precisão
  • Talvez o próximo passo seja um CAPTCHA em que provam com uma arma que você não é um robô

• Toda vez que passo pelo scanner da TSA no aeroporto eu fico tenso à toa. Calças com zíper frequentemente me rendem inspeções extras
  Agora estamos entrando numa era em que câmeras de segurança com IA pelas ruas vão sinalizar pessoas de forma arbitrária
  Como esses sistemas dão dinheiro, há grande risco de se espalharem sem controle

  • Usar Precheck ou Global Entry pode reduzir a frequência das inspeções. É irritante, mas é uma solução realista
  • Tentar evitar inspeções mudando a forma de se vestir é um efeito colateral do teatro de segurança. Talvez um dia tenhamos de ajustar até a roupa do dia a dia
  • Os cidadãos precisam enviar suas opiniões por e-mail diretamente. Se algumas centenas de pessoas se mobilizarem, os políticos reagem. O silêncio é o maior problema
  • Uma vez apresentei uma licença de porte de arma em vez do documento de identidade e fui submetido a inspeção adicional, mas felizmente tudo terminou bem
  • Um amigo, enquanto me esperava após passar pelo scanner, foi investigado de novo por “estar circulando sem rumo”. Parece ter havido viés racial

• A frase “o sistema funcionou como planejado” parece uma versão do mundo real do meme “Not a hotdog”
  Só que desta vez era uma distinção entre “arma / não é arma”, e a precisão foi ainda pior que isso