- Em fevereiro de 2021, era fim de semana e estávamos em plena pandemia, então uma enfermeira disse que, para atendimento de urgência, se enviassem vídeo/fotos o médico poderia revisar antes.
- Como a parte machucada do bebê era uma "área íntima", ele tirou e enviou fotos de modo que ficasse bem visível; depois de verificar, o médico prescreveu rapidamente antibióticos e o problema foi resolvido logo.
- Porém, por causa dessas fotos, o algoritmo do Google o identificou como alguém que trocava CSAM (material de abuso sexual infantil), e sua conta do Google foi suspensa.
- Gmail usado havia mais de 10 anos, Google Calendar, fotos e vídeos com backup na nuvem do Google, e o telefone era do Google Fi.
- O próprio Mark, inclusive, era engenheiro de software em uma empresa de tecnologia, trabalhando em uma ferramenta automatizada que remove conteúdo de vídeo sinalizado por usuários.
- Por isso, ele pensou que, como há pessoas por trás desses processos para evitar que o computador cometa erros, bastaria que alguém visse o caso para o problema ser resolvido.
- Ele enviou um e-mail explicando a situação, mas o Google respondeu que não restauraria a conta sem dar explicações adicionais.
- Todo o histórico de e-mails, fotos e contatos foi perdido, e ele também teve de mudar o número de telefone.
- Sem que Mark soubesse, a equipe de revisão do Google já havia denunciado as imagens que ele produziu, e a polícia de San Francisco começou a investigá-lo.
- Algo parecido também aconteceu com uma pessoa chamada Cassio, no Texas.
- Em 2021, houve mais de 600 mil denúncias de CSAM ao Google, e 270 mil contas foram desativadas.
- Em 2009, a Microsoft desenvolveu a tecnologia PhotoDNA, e em 2018 o Google desenvolveu uma ferramenta de IA capaz de reconhecer imagens de CSAM.
- Várias empresas, incluindo o Facebook, usam essa tecnologia.
- Em dezembro de 2021, Mark recebeu uma correspondência da polícia de San Francisco.
- Ela informava que ele havia sido investigado e incluía uma cópia do mandado de busca entregue ao Google.
- Tudo que estava na conta do Google de Mark foi investigado: pesquisas na internet, histórico de localização, mensagens, documentos, fotos, vídeos etc.
- Essa busca foi realizada apenas uma semana depois de ele ter tirado as fotos em fevereiro.
- Quando Mark entrou em contato com o investigador, foi informado de que o caso já havia sido encerrado sem acusação.
- O investigador disse que queria falar com Mark, mas não conseguia alcançá-lo por telefone nem por e-mail (porque estavam suspensos).
- Mark perguntou se seria possível restaurar a conta do Google por meio do investigador, mas ouviu: "você precisa falar com o Google".
- Ele enviou esse relatório policial ao Google, mas não adiantou.
- No caso de Cassio, o problema também foi resolvido da mesma forma, mas a conta do Google igualmente não pôde ser restaurada.
- Será que a IA consegue distinguir imagens médicas de imagens de abuso?
8 comentários
No fim das contas, isso acabou sendo noticiado também na mídia nacional, citando o New York Times.
"Google acusa de crime sexual pai que fotografou o órgão genital do filho bebê para atendimento médico"
Assim como, 70 anos atrás, ao verem a bomba nuclear, os cientistas começaram a praticar uma auto-vigilância sobre a ciência, talvez tenha chegado o momento de os desenvolvedores também exercerem uma auto-vigilância em relação às grandes empresas de tecnologia.
Isso já não é caso de processo..?.
De acordo com o artigo original arquivado, parece que Mark também consultou um advogado para saber se poderia processar o Google, mas desistiu ao descobrir que isso custaria cerca de US$ 7 mil.
Parece uma situação em que nem se arrastar pelo chão pedindo desculpas seria suficiente....
Nossa, nesse caso parece mais que ele deveria receber uma indenização pelo dano causado; será que estão reagindo assim para abafar essa questão?
A resposta e o tratamento do Google são bem fracos..
Apple adota novos recursos de segurança para proteção infantil
Apple lamenta a polêmica sobre a "varredura do iPhone"