They See Your Photos — informações reveladas por fotos

 (theyseeyourphotos.com)
1 pontos por GN⁺ 2024-12-15 | 1 comentários | Compartilhar no WhatsApp
  • Este é um experimento que mostra que fotos pessoais podem revelar não apenas os objetos visíveis, mas também informações privadas
  • Quando o usuário faz upload de uma única foto, é possível verificar quais informações a IA consegue extrair usando a Google Vision API
  • O ponto central não é uma análise de perfil que reúne vários dados, mas sim o fato de que é possível fazer mais inferências do que se imagina a partir de uma única foto
  • Não há conteúdo sobre várias fotos ou análise de comportamento de longo prazo; o escopo de entrada se limita a uma única foto
  • A experiência permite perceber diretamente que compartilhar ou enviar fotos, quando passa por análise de IA, pode levar à exposição não intencional de informações

Informações que uma única foto revela

  • They See Your Photos é um experimento criado para permitir que o usuário veja diretamente o que a IA enxerga em uma foto enviada
  • Fotos podem revelar muitas informações pessoais, e este experimento se concentra nas informações que podem ser inferidas a partir de uma única foto

Como usar

  • O usuário faz upload de uma foto
  • O sistema usa a Google Vision API para verificar quais informações podem ser extraídas da foto
  • Por meio da mensagem “veja o que eles veem”, a experiência mostra como a IA interpreta fotos

Leituras relacionadas

1 comentários

 
GN⁺ 2024-12-15
Opiniões no Hacker News

  • magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpg
    Esse comando remove todos os metadados EXIF, altera a qualidade do JPEG, simplesmente corta 10 pixels de cada borda, redimensiona por uma determinada proporção, aplica atenuação e então adiciona ruído do tipo Uniform
    Além disso, attenuate precisa vir antes do switch +noise na linha de comando, e quanto pior for o valor de qualidade do JPEG, mais difícil fica detectar a modificação da imagem[1]
    A proporção de redimensionamento também pode ser um número decimal, como 91,5% ou 92,1%. Independentemente da detecção de imagens de IA, além de remover os metadados, dá para tornar cada imagem publicada diferente das outras e claramente diferente da foto original
    [1] https://fotoforensics.com/tutorial.php?tt=estq

    • Mesmo dizendo AI image detection notwithstanding, não vale a pena tentar. Só torna a imagem pior para uma pessoa ver
    • Não há garantia de que esse método resista a hash perceptual (perceptual hashing)
      https://en.wikipedia.org/wiki/Perceptual_hashing
    • Com certeza é melhor do que não fazer nada, mas fico curioso sobre como isso funciona contra hash perceptual. Mexi por uns 5 minutos tentando rodar pHash localmente, mas não consegui resultados úteis; provavelmente usei errado
    • Recortar ou recomprimir a imagem também não ajuda muito
      Basta ver a busca reversa de imagens do TinEye: ela casa facilmente esse tipo de variação
      https://tineye.com/
    • Se houver marca-d'água na imagem, não dá para removê-la desse jeito. Marcas-d'água resistem facilmente até a ruído uniforme em nível insuportável para humanos e, como normalmente são armazenadas de forma redundante em várias posições e canais, o ruído uniforme em geral é diluído pela média, e recortar também não tem muito efeito
      Muitas vezes, marcas-d'água inserem sinais em modelos de cor diferentes de RGB ou em regiões da imagem fortemente transformadas, então o ruído nem está sendo adicionado ao longo do “eixo” do sinal da marca-d'água. Isso também tem pouco efeito em busca por imagens semelhantes, pois esses algoritmos encontram dezenas de pontos de referência e procuram imagens que compartilham uma alta proporção deles. Antigamente, esses pontos de referência eram características geométricas de alto contraste, como cantos, e quase não eram afetados por ruído; hoje, podem ser quaisquer pontos escolhidos por uma rede neural treinada para transformações comuns como compressão e ruído

  • Ao usar isto, é preciso lembrar que você abre mão do direito de processar o autor na Justiça: https://theyseeyourphotos.com/legal/terms
    PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.
    Cláusulas assim são comuns nos EUA e vêm sendo reconhecidas de forma consistente pelos tribunais americanos. Curiosamente, a Ente não incluiu aqui a cláusula de opt-out que existe nos termos gerais dela (https://ente.io/terms). Fico me perguntando por que criaram termos mais restritivos só para este serviço específico

  • Isso é simplesmente propaganda do próprio serviço de fotos deles. Se ele não analisa com IA, imagino que a busca também seja péssima, e essa é uma das melhores funcionalidades do Google Photos

    • Trabalho nesse serviço de fotos
      A Ente oferece uma busca[1] bastante decente, movida por machine learning no dispositivo[2]
      [1]: https://ente.io/blog/machine-learning
      [2]: https://ente.io/ml
    • Dizer que a busca fica péssima sem IA é um pouco exagerado. O Google também não tem monopólio de reconhecimento de objetos e rostos em fotos
      É perfeitamente possível oferecer esse tipo de recurso com uma solução auto-hospedada, sem alimentar uma IA sem rosto com suas fotos nem gastar um monte de eletricidade
    • O serviço chamado Ente também acaba vendo as fotos dos usuários de qualquer forma, então parece uma propaganda estranha
    • Como posso recusar que o Google atualize meu perfil de usuário/anúncios com informações obtidas das fotos?
    • Quanto mais empresas tratarem os usuários como seres humanos, e não como gado, melhor

  • Isso pode ser muito bom para gerar descrições de imagens para pessoas com deficiência visual, mas não oferece insights profundos além do que se percebe à primeira vista
    Há muita verborragia para “parecer inteligente”. Por exemplo, sobre uma foto de galhos de árvore, ele disse: “um observador atento também pode notar as mudanças sutis na espessura e na textura dos galhos, o que sugere um padrão de crescimento natural e orgânico”
    Obrigado. Sem isso, eu talvez tivesse pensado que aquela árvore era uma árvore inorgânica e antinatural

    • Parece que o prompt inclui instruções como “descreva em detalhes os aspectos sutis da foto” ou “que conclusões podem ser tiradas da situação?”
      Seja qual for a foto, havendo ou não detalhes notáveis ou implicações, ele parece tentar fazer isso. Entendo a intenção de mostrar uma dedução à la Sherlock Holmes inferindo fatos ocultos a partir da foto, mas fica ridículo quando o modelo não tem nada para encontrar
    • O Facebook já gera texto alternativo básico há alguns anos. Não é o melhor, mas é melhor do que nada; por exemplo, algo como “pode ser uma imagem com 4 pessoas, pessoas sorrindo e texto”

  • Teria sido mais assustador se não fosse algo como alucinar um brinco em uma orelha fora do enquadramento, ou dizer que o sapato esquerdo de uma criança descalça estava fora de foco

    • Agora tenho uma decoração de velas suspensas no estilo Harry Potter pendurada sobre a mesa de jantar. Enviei uma foto em que isso aparecia bem, e ele descreveu muito bem todo o resto do cômodo, mas ignorou completamente as velas
      Imaginei o modelo pensando desesperadamente: “não alucine velas suspensas, não alucine velas suspensas”
    • Tentou adivinhar a condição econômica de um leopardo-das-neves
      “A imagem é centrada em um leopardo-das-neves e não há pessoas. A expressão do leopardo é alerta e um pouco cautelosa, mas não agressiva. É difícil determinar a idade ou o estado exato de saúde do leopardo pela imagem, mas ele parece ser um adulto em condição física relativamente boa. Não há pistas que indiquem claramente condição econômica ou estilo de vida”
    • É assustador justamente porque ele alucina de imediato
    • Tentei algumas fotos e ele alucinou que havia alguma coisa na jaqueta, ou que havia outras peças de roupa
      Foi bem interessante ver os momentos de confusão. Não era como nos cálculos de palavras dos LLMs, em que dá para imaginar “sim, talvez desse para chegar a essa resposta”. A alucinação visual era simplesmente do tipo “isso não está na imagem de jeito nenhum…”

  • Agradeço os esforços para criar soluções técnicas que evitem big techs como o Google, mas ainda acho que a melhor abordagem é imprimir fotos
    Na família, geralmente sou eu o “responsável pelas fotos”, então, depois de eventos, peço fotos impressas para a casa dos familiares envolvidos ou as levo pessoalmente. Poucas coisas se comparam a segurar um objeto físico nas mãos
    Além disso, como imprimir custa um pouco, isso cria um incentivo para mostrar só algumas fotos realmente boas, em vez de deixá-las se perder em uma rolagem infinita

    • Você já verificou a política de privacidade do laboratório fotográfico ou da impressora que usa? Eles podem coletar cópias digitais das fotos, vendê-las a terceiros, vender informações obtidas a partir delas e repassá-las à polícia ou a órgãos governamentais
    • Se um app de armazenamento de fotos oferecer pedido de impressão de forma fácil, pode ser uma boa ideia de negócio
    • Onde você imprime?

  • Enviei uma foto de danos em uma chaminé causados por problema de rufo, e foi surpreendentemente perspicaz. Só que disse que minha casa era velha e negligenciada. Ei, aí já é demais
    De todo modo, sou bem cético em relação à maioria das IAs, mas usá-las para se orientar na direção certa em reparos domésticos parece bastante atraente. Porque é quase impossível encontrar um empreiteiro que não fale bobagem, seja barato e realmente apareça

  • Parece aquele estilo dos LLMs atuais de falar muito, mas na prática dizer pouca coisa. Enviei algumas fotos pessoais, e, fora descrições banais da cena, ele não deu muita informação identificável
    Ex.: “Ao fundo há uma mistura de prédios modernos e antigos, característica de cidades europeias, com diversos estilos arquitetônicos visíveis”

    • Minha experiência foi bem diferente. Coloquei esta foto:
      https://postimg.cc/yD4YZKFk
      Mesmo eu tendo certeza de que a foto não tinha dados de localização, a primeira frase foi: “Esta imagem mostra o interior da Union Station em Chicago, Illinois”. No fim veio uma crítica de arte meio imatura, mas acertou o local exato, a árvore de Natal e as pessoas sentadas nos bancos. Deixou passar o conjunto de jazz na lateral

  • O Ente parece o Immich[0], que eu auto-hospedo com minha família, mas com criptografia de ponta a ponta. Prefiro a opção sem criptografia, porque, se algo quebrar, os arquivos ficam armazenados no disco como estão e são fáceis de recuperar
    [0]: https://immich.app/

    • A CLI do Ente[0] tem um serviço de exportação que acessa a nuvem em modo somente leitura, e itens excluídos têm o nome alterado
      O binário em Go roda praticamente em qualquer lugar, incluindo a maioria dos NAS, mas, por causa do Argon2, são necessários pelo menos 1 GB de RAM para descriptografar a chave mestra
      [0] https://github.com/ente-io/ente/tree/main/cli
    • Fiquei surpreso com o quanto se parece com o Google Photos. Se o Google aumentar os preços de novo, o Immich pode ser uma alternativa perfeita

  • “No caso do cisne, não é possível confirmar idade e outros detalhes (características raciais, etnia, condição econômica, estilo de vida).”
    Ênfase adicionada por mim

    • Enviei vários desenhos, e em quase todos os retratos ele explicitou que não era possível confirmar “características raciais, etnia, condição econômica, estilo de vida”
      Não sou um grande artista, mas ele identificou muito bem detalhes de outras partes. Talvez o prompt esteja perguntando por essas coisas e a IA esteja relutante em responder. Ainda assim, disse que, pelo estilo do desenho, o autor provavelmente era homem. De fato sou homem, e talvez meu estilo de desenho seja mais masculino, mas não sei como quantificar isso