Mulher do Tennessee é presa por engano por acusação criminal em Dakota do Norte devido a erro em reconhecimento facial por IA

• Angela Lipps (50 anos), do Tennessee, foi presa como suspeita de um caso de fraude bancária em Dakota do Norte, um estado que ela nunca havia visitado, por causa de tecnologia de reconhecimento facial por IA, e ficou detida por mais de 5 meses
• O sistema Clearview AI identificou erroneamente Lipps como uma pessoa parecida, e a polícia de Fargo emitiu um mandado de prisão com base nisso
• Depois, foi confirmado por registros bancários de que Lipps estava no Tennessee na época do caso, e a acusação foi rejeitada por falta de indícios, levando à sua libertação
• A polícia de Fargo reconheceu erros no repasse de informações de IA e a não apresentação de vídeo de vigilância e decidiu reforçar os procedimentos para uso de dados de IA
• O caso é visto como um exemplo que destaca a confiabilidade das tecnologias investigativas com IA e a necessidade de procedimentos de verificação humana

---

Caso de prisão por engano de mulher do Tennessee devido a erro de reconhecimento facial por IA

• Angela Lipps (50 anos), moradora do Tennessee, foi presa como suspeita de um caso de fraude bancária em Dakota do Norte, um estado onde nunca esteve, por causa de tecnologia de reconhecimento facial por IA, e ficou detida por mais de 5 meses
  • A polícia de Fargo admitiu que houve “alguns erros” no processamento do caso, mas não fez um pedido oficial de desculpas
  • A prisão ocorreu em 14 de julho, na casa de Lipps no Tennessee, e já havia um mandado de prisão emitido semanas antes em Fargo

• Andamento do caso

  • Durante a investigação de um caso de fraude bancária ocorrido na região de Fargo, a polícia usou “tecnologia de reconhecimento facial de uma agência parceira” para identificar a suspeita
  • A polícia de West Fargo usou o sistema Clearview AI, e esse sistema incluiu em seu relatório uma pessoa identificada como parecida com Lipps
  • Com base nessa informação, a polícia de Fargo considerou Lipps suspeita e enviou o relatório ao Ministério Público do condado de Cass
  • Depois, a polícia de Fargo anunciou que o uso do sistema de IA por West Fargo não havia sido reportado ao setor superior e que, atualmente, seu uso está proibido

• Detenção e libertação

  • Em 1º de julho, um juiz de Dakota do Norte emitiu um mandado de prisão com possibilidade de extradição nacional
  • Lipps foi presa em 14 de julho e, após ficar mais de 3 meses em uma prisão no Tennessee, foi extraditada para Dakota do Norte
  • Após a extradição, a defesa obteve registros bancários de que Lipps estava no Tennessee no momento do crime
  • Em 23 de dezembro, a polícia de Fargo, o Ministério Público estadual e um juiz decidiram em conjunto rejeitar a acusação por falta de indícios, e Lipps foi libertada em 24 de dezembro
  • A equipe de defesa criticou que “apesar de haver prova exculpatória clara, a longa detenção continuou desnecessariamente”

• Resultado da investigação interna da polícia de Fargo e resposta

  • A polícia apontou como principais erros falhas no processo de transmissão de informações do sistema de IA e a não apresentação do vídeo de vigilância
  • A polícia de Fargo disse que deixará de usar dados de IA de West Fargo e passará a cooperar com centros estaduais e federais de informação
  • Os procedimentos foram reforçados para que todos os resultados de reconhecimento facial sejam reportados mensalmente ao diretor de investigações
  • Também foi apontada como problema a falta de um sistema adequado de notificação sobre presos com o condado de Cass e o Ministério Público estadual, e melhorias estão sendo avaliadas
  • A polícia está analisando se haverá medidas disciplinares contra os investigadores envolvidos e afirmou que “ninguém quer uma prisão desnecessária”

• Vítima e resposta legal

  • Lipps, avó de três filhos e cinco netos, afirma nunca ter ido a Dakota do Norte
  • Durante o período de detenção, registrou em sua página no GoFundMe que sofreu “medo, exaustão e vergonha”
  • A defesa criticou que “o reconhecimento facial por IA foi usado como atalho para substituir a investigação básica” e está avaliando a possibilidade de uma ação por direitos civis

• Críticas à tecnologia investigativa com IA

  • Embora departamentos de polícia em todo os Estados Unidos estejam adotando rapidamente tecnologia de IA, há críticas de que faltam evidências sobre sua eficácia
  • O professor Ian Adams, da Universidade da Carolina do Sul, analisou que “os erros relacionados à IA são, em sua maioria, uma combinação de problemas técnicos e humanos”
  • Ele enfatizou que “os detetives não devem confiar cegamente no resultado do algoritmo e precisam passar obrigatoriamente por procedimentos de verificação humana”
  • Já houve antes casos repetidos de erro de IA, como um episódio em que um sistema de segurança com IA confundiu um saco vazio de salgadinho com uma arma e levou à prisão de um estudante

• Situação atual do caso

  • A polícia de Fargo afirmou que o caso “ainda está em andamento e a acusação pode ser retomada conforme os resultados de novas investigações”
  • A defesa disse acolher positivamente a promessa de melhorias futuras por parte da polícia, mas avaliou que “a ausência de procedimentos investigativos básicos continua sendo um problema”

[GN⁺]

Comentários do Hacker News

• Independentemente de ser IA ou não, há só uma coisa que eu quero perguntar — quem realmente investigou?
  Ninguém verificou o IP dela, testemunhas ou sequer se o alerta da IA fazia sentido. Simplesmente olharam os dados e disseram “pegamos”.
  O mais terrível é a parte em que ela diz que “nunca mais voltará para North Dakota”. A lição não deveria ser ‘não vá para esse estado’, e sim que o sistema inteiro precisa ser questionado.
  Já houve casos antes, como a prisão equivocada pela Apple e o homem levado na frente da família. Se a gente não lutar contra isso, vamos acabar num mundo em que todos são ‘presumidos culpados e obrigados a provar a própria inocência’

  • O problema do sistema jurídico é que não há incentivo para encontrar a verdade.
    Eu mesmo já liguei para o 911 e acabei sendo tratado como autor de falsa denúncia. As imagens da bodycam contradiziam isso claramente, mas as autoridades só se importavam com ‘processar’. Felizmente, o júri tomou a decisão correta
  • Claro que uma investigação era necessária. Mas o problema maior é que as pessoas acreditam na ilusão de que a IA é infalível.
    Mesmo quando se diz “é preciso verificar o resultado”, há gente, inclusive no HN, dizendo “não precisa”
  • Já aprendemos essa lição com DNA e impressões digitais. Prender alguém porque ‘o computador deu correspondência’ é perigoso.
    Esses sistemas deveriam ser usados apenas para gerar pistas. Mas hoje estão sendo tratados como se, em série de TV, ‘a IA dissesse a verdade’.
    As pessoas querem tirar só a lição simplista de “melhor nunca ir a North Dakota”. Mas o problema real é a taxa de falso positivo e as limitações estruturais do sistema jurídico
  • Há um ponto que você deixou passar. Os advogados disseram que “trauma, perda de liberdade e dano à reputação não se recuperam facilmente”.
    Isso claramente soa como preparação para uma ação de indenização. Ela provavelmente só quer voltar à vida normal. Dizer “enfrente o sistema” é, na prática, difícil demais
  • Não sou especialista em direito, mas nos EUA interrogatório sob custódia aciona os direitos de Miranda.
    Talvez fosse melhor evitar o problema usando software do Musk ou do Altman

• O fornecedor usado foi a Clearview AI. Segundo a política oficial, exceto em alguns estados onde a lei obriga, não é possível pedir exclusão dos dados.
  Por isso, de repente passei a me interessar pelo S1422 Biometric Privacy Act de New York

  • No caso de residentes de Illinois, a política exige coleta e retenção de dados biométricos. Mas, no caso das forças de segurança, é bem provável que haja exceções por mandado administrativo e afins
  • Também há o caso da denúncia criminal da noyb sobre reconhecimento facial
  • Para pedir exclusão, é preciso enviar uma foto sua, mas eu não quero confiar isso a uma empresa ligada ao Peter Thiel
  • No fim, por enquanto, não há alternativa além de repetir pedidos de exclusão. E, mesmo que apaguem, há uma boa chance de os dados voltarem ao banco depois

• Só neste mês já vi vários casos de prisão equivocada por reconhecimento facial. Já está num nível de acontecer com frequência.
  Num país com 350 milhões de habitantes, há muita gente parecida; então, no momento em que a IA pergunta “quem se parece com a pessoa deste vídeo?”, cria-se uma estrutura em que a pessoa é presa só por ‘se parecer’.
  ‘Se parecer’ pode até atingir o nível de suspeita razoável, mas não basta como base para prisão (Probable Cause). Isso precisa ser combinado com outras provas.
  O problema não é a IA em si, e sim a forma de pensar que conclui que aparência semelhante significa ser a mesma pessoa

• O mais chocante é que o juiz aprovou o mandado só com base no resultado de correspondência da Clearview.
  Juízes e o processo de mandado deveriam existir justamente para conter abusos policiais, mas nem isso funcionou

• A discussão anterior está aqui

• Este caso é uma cobertura exagerada sobre IA.
  O sistema usado foi o FaceSketchID, que existe desde 2014 e é separado da IA mais recente. O sistema apenas sugere candidatos; investigação e acusação são responsabilidade humana.
  A verdadeira questão é por que ela ficou presa por 4 meses. Em geral, a extradição/transferência deveria ocorrer em até 30 dias; será que isso aconteceu porque ela estava em liberdade condicional?

  • Nos EUA, mesmo quando quem está no poder viola o procedimento, quase nunca há punição real. Depois, no máximo, pagam indenização com dinheiro de impostos
  • Se a pessoa contestar o processo de extradição/transferência, o período de detenção pode ser estendido de 30 para até 90 dias. Além disso, erro de identidade nem pode ser discutido nessa audiência
  • Provavelmente ela ficou presa separadamente por violação da liberdade condicional
  • A investigação deve ser feita por humanos, mas o problema é que os ‘erros confiantes’ da IA paralisam o julgamento das pessoas. As pessoas se deixam enganar facilmente pela confiança

• Achei marcante a citação do artigo: “isso não é um problema de tecnologia, e sim de tecnologia e de pessoas”

  • Hoje em dia, a expressão “It’s not just X, it’s X and Y” me soa como um padrão de frase escrito por IA. Se a matéria tiver sido escrita por IA, essa frase também pode ser uma citação alucinada

• Eu não imaginava que o padrão para emitir um mandado de prisão fosse tão baixo. Ainda mais a ponto de buscar alguém em outro estado.

  • Este é um caso típico de falácia da taxa-base (Base Rate Fallacy).
    Mesmo que um sistema tenha 99,999% de precisão, se você examinar 300 milhões de pessoas, vai gerar 3.000 falsos positivos. A maioria delas será inocente.
    Por isso, vigilância automatizada em larga escala é perigosa

• O realmente assustador não é o erro da IA, e sim o fato de que ninguém verificou o resultado.
  Denúncias anônimas são investigadas, mas correspondência de IA é aceita como verdade. No fim, criaram uma ferramenta para pular a investigação