Erro em reconhecimento facial por IA faz mulher inocente ficar presa por meses

• Uma mulher foi presa e ficou detida por meses apesar de não ter ligação com o crime, devido ao mau funcionamento de um sistema de reconhecimento facial por IA
• O caso foi causado por uma identificação incorreta feita pela IA durante a investigação de um caso de fraude em Dakota do Norte
• A vítima era uma avó inocente, e só mais tarde foi revelado que ela não tinha qualquer relação com o crime real
• O caso expõe problemas de confiabilidade e responsabilização em tecnologias investigativas baseadas em IA
• O episódio reforça a necessidade de verificação mais rigorosa da dependência de IA por parte das autoridades policiais

---

Caso de detenção injusta causado por identificação incorreta da IA

• Em Dakota do Norte, um erro na tecnologia de reconhecimento facial por IA levou uma mulher a ser apontada como suspeita de forma equivocada e presa
• A mulher não tinha relação com o caso de fraude e permaneceu detida por meses até que sua inocência fosse confirmada
• O caso destaca os limites de precisão da tecnologia de IA e a questão da responsabilidade legal

Erro técnico e impacto social

• O caso é apontado como um exemplo representativo de como falsos positivos de algoritmos de reconhecimento facial podem levar a violações de direitos humanos
• Também foi criticado o fato de as autoridades policiais terem confiado no resultado da análise por IA sem verificação adequada
• O episódio levou a discussões que enfatizam a necessidade de garantir equidade e transparência nas tecnologias de IA

Necessidade de resposta institucional

• Especialistas pedem critérios de uso mais rígidos e procedimentos de verificação mais fortes para ferramentas investigativas com IA
• Há alertas de que é urgente criar mecanismos para evitar erros de julgamento causados por falhas de inteligência artificial
• No futuro, a definição de responsabilidade legal e a indenização às vítimas podem se tornar pontos centrais do debate

[GN⁺]

Comentários do Hacker News

• Compartilharam o link do artigo original (archive.ph)

• Segundo documentos do tribunal, a polícia deu continuidade à prisão equivocada mesmo depois de verificar manualmente o resultado de reconhecimento facial sugerido pela IA
  A IA apenas indicou uma “possível correspondência”, mas o problema foi que os investigadores humanos trataram isso como se fosse prova conclusiva
  No fim, o fato de ela ter ficado presa por 5 meses sem sequer ser entrevistada se deve à negligência do sistema de justiça criminal

  • Na prática, agora só trocaram “o computador disse que estava certo” por “a IA disse que estava certa”
    As pessoas delegam autoridade e capacidade de julgamento em excesso às máquinas e tentam escapar da responsabilidade pelos erros
  • O problema não é simplesmente a IA, e sim o poder policial combinado com IA
    Tecnologias de vigilância como reconhecimento facial e leitura de placas são mal utilizadas, e mesmo que a vida da vítima seja destruída, ninguém é responsabilizado
  • No fim das contas, é a sociedade entrando em colapso porque humanos confiam cegamente em uma IA defeituosa
    A maioria das pessoas não consegue distinguir IA de inteligência real e toma decisões absurdas porque “o computador disse isso”
  • Em um caso parecido, houve uma prisão depois que um simples frasco de remédio foi confundido com droga
    Dá para conferir na matéria relacionada
  • Ao escanear milhões de fotos, a taxa de falsos positivos inevitavelmente sobe, então a probabilidade de prisões erradas é considerável

• Isso claramente é caso de processo contra a polícia de Fargo e órgãos governamentais
  A mulher no vídeo é visivelmente mais jovem, e por vários indícios não se trata da mesma pessoa
  Ela deveria receber pelo menos vários milhões de dólares em indenização

  • Mas, na prática, há muitas dificuldades por causa da qualified immunity
  • Os US Marshals talvez não tenham responsabilidade, já que apenas executaram o mandado
  • Também é amargo pensar que, no fim, esse tipo de indenização sai dos impostos dos cidadãos
  • O mais chocante é a frase: “Enquanto estava na prisão, perdeu a casa, o carro e até o cachorro de estimação”
    Fiquei me perguntando quem levou o cachorro
  • Mesmo que fossem parecidas como gêmeas, 6 meses de detenção não fazem sentido

• Segundo a matéria, o resultado do reconhecimento facial foi ao mesmo tempo um erro da IA e uma falha humana generalizada
  Polícia, promotor, juiz e xerife têm responsabilidade
  Nunca se deveria emitir um mandado com base apenas em reconhecimento facial

  • Não se pode esquecer que vários atores erraram ao mesmo tempo
    a) uso indevido da ferramenta e negligência por parte da polícia,
    b) falta de supervisão do Judiciário,
    c) tolerância ao uso indevido previsível por parte da empresa fornecedora da IA
    Falhas assim deveriam ser seguidas por perda de cargo e responsabilização institucional
  • Em uma população de 300 milhões nos EUA, há muita gente parecida
    Isso é o resultado de acreditar cegamente nos poderes místicos da IA e ignorar os direitos do suspeito
  • A IA não é um agente; a responsabilidade é exclusivamente humana
  • Na prática, o software funcionou apenas como uma ferramenta de filtragem de padrões
    Ele só apresentou uma ‘possível correspondência’, e os humanos confundiram isso com prova definitiva

• Esse caso faz lembrar o escândalo dos Correios do Reino Unido

  • Acompanhei as audiências no YouTube na época, e o nível de arrogância e incompetência foi chocante
  • Também recomendam a minissérie vencedora do BAFTA Mr Bates vs The Post Office
  • Só de lembrar desse caso de novo já dá raiva
  • Pelo menos o chefe da polícia de Fargo ainda não recebeu um título honorário, então menos mal

• Um caso parecido também é tratado no vídeo do The Civil Rights Lawyer
  A IA de um cassino apontou a pessoa errada, e a polícia prendeu sem qualquer verificação
  Mesmo depois de a inocência ter sido comprovada, o promotor continuou mantendo a acusação de invasão

  • Também compartilharam o link do vídeo no YouTube
    Como dizem que o mundo é pequeno, o conhecido de um conhecido era justamente a pessoa envolvida naquele caso

• Vendo as fotos do reconhecimento facial, parece o tipo de rosto parecido que daria para encontrar várias vezes por semana

• A reação inicial foi “Minha cidade natal apareceu no Hacker News!”, mas ao ver o conteúdo veio logo um mau pressentimento
  Disseram que o chefe de polícia renunciou hoje, e talvez isso tenha relação com o caso

  • Quando a nossa cidade aparece nas notícias nacionais, é sempre por causa desse tipo de ocorrência
  • Também houve gente perguntando qual era a fonte da notícia sobre a renúncia do chefe de polícia

• As pessoas dizem que “não foi a IA, foram os humanos que erraram”, mas isso na verdade é cair na estratégia de marketing das empresas de IA
  Polícia, políticos e operadores do sistema estão todos dentro de uma estrutura de imunidade, então ninguém pode ser realmente responsabilizado
  No fim, só sobram a ferramenta e quem a fabrica
  Dizer “o problema não é a IA, são os humanos” acaba ajudando justamente a fuga de responsabilidade das empresas
  Se a intenção é cobrar responsabilidade de verdade, então ela deve recair sobre o capital e os fornecedores da tecnologia

  • Concordo totalmente com isso
    Esse resultado era um desfecho previsível, e já era algo anunciado desde o momento em que venderam IA de reconhecimento facial para a polícia dos EUA