- Em uma foto de vestido de noiva da comediante e atriz britânica Tessa Coates, a pessoa real e os dois reflexos nos espelhos aparecem em poses diferentes, revelando uma falha no processamento de imagem do iPhone
- A causa não é um fenômeno surreal, mas um erro de fotografia computacional em que o iPhone não conseguiu agrupar os reflexos no espelho como sendo a mesma pessoa
- A foto foi tirada no modo panorama, e imagens de momentos diferentes foram compostas em uma única foto enquanto Coates se movia
- O algoritmo da Apple escolheu a “melhor” imagem para cada área com base em saturação, contraste, detalhes e ausência de desfoque, mas acabou selecionando momentos diferentes para cada espelho
- Em cenas que misturam espelhos e movimento, até smartphones modernos podem produzir composições diferentes da realidade, tornando difícil confiar totalmente no resultado da captura
Três poses em uma foto diante do espelho
- A comediante e atriz britânica Tessa Coates foi fotografada em frente ao espelho enquanto experimentava um vestido de noiva
- Na foto, Coates e os reflexos nos espelhos dos dois lados aparecem juntos, mas as três versões estão em poses diferentes
- Em um dos espelhos, ela aparece com os braços abaixados
- No outro, com as mãos juntas na frente da cintura
- A pessoa real aparece com o braço esquerdo ao lado do corpo
- À primeira vista parece algo muito estranho, mas a causa foi um erro no processo de captura e processamento do iPhone
O que aconteceu no pipeline de captura do iPhone
- No instante em que o botão do obturador é pressionado, o iPhone realiza bilhões de operações para criar uma única foto
- Neste caso, a câmera não reconheceu que estava fotografando espelhos e tratou as três aparições de Coates como se fossem pessoas diferentes
- Como Coates se moveu durante a captura, vários registros de momentos diferentes da mesma cena foram feitos
Modo panorama e composição de imagem
- Segundo uma atualização, a foto em questão foi tirada no modo panorama
- Em uma captura panorâmica, a câmera registra várias imagens enquanto percorre a cena, e depois o algoritmo as costura
- O algoritmo da Apple escolhe a melhor imagem para cada parte com base em saturação, contraste, detalhes e ausência de borrão
- A imagem final composta deveria ser a interpretação mais convincente e realista daquele momento, mas a presença dos espelhos fez com que momentos diferentes permanecessem em cada reflexo
Por que surgiram “três Tessas”
- O algoritmo não conseguiu agrupar a pessoa real e os dois reflexos como uma única pessoa
- Como julgou que quadros diferentes eram mais adequados para cada área dos espelhos, a foto final passou a conter poses diferentes ao mesmo tempo
- O resultado foi uma imagem composta em que a pessoa real e os dois reflexos executam movimentos diferentes
Reprodutibilidade e limites
- Esse tipo de resultado pode ser reproduzido não só em iPhones recentes, mas também em vários outros smartphones
- A causa está nas limitações da fotografia computacional ao lidar com espelhos
- Parte da geração mais jovem já percebeu esse fenômeno e o usa para criar imagens engraçadas para redes sociais
1 comentários
Comentários do Hacker News
Fico pensando se o artigo original[0] citado por este resumo curto talvez não seja uma fonte melhor
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
Os puristas sempre vão desgostar da ideia de fotografia computacional, mas eu realmente gosto de como o iPhone consegue tirar boas fotos noturnas, com pouca luz e com movimento na mão
Já consegui tirar fotos à noite que eu achava impossíveis com um sensor fisicamente tão pequeno
Isso reflete a cena real com perfeição de 100% no nível do pixel naquele momento? Não, mas não me importo muito
Antes disso, eu já tinha feito composição HDR de exposições, empilhamento de foco para profundidade de campo rasa e também tirado várias fotos de espaços movimentados para juntá-las numa imagem sem pessoas nem carros; nenhuma delas é uma reprodução perfeita do que os olhos viram, mas combinar várias exposições cumpre bem seu papel de capturar o assunto desejado
A própria lente cria defeitos e variações, e o filme e o processo de revelação também
Isso não quer dizer que querer decidir o que é capturado e como isso aparece torne alguém um purista
São essas escolhas que fazem da fotografia uma arte
No fim, essa tecnologia tira esse controle do usuário
Se você não se importa que a Apple decida o assunto e a aparência da foto, tudo bem, mas acho que muita gente se importa
Em breve, a câmera talvez não pare em escolher o melhor enquadramento de cada pessoa, mas também escolha os melhores olhos, corrija a simetria e selecione o tom de pele mais agradável esteticamente
Até certo ponto isso sempre existiu, mas agora que a fotografia abandonou a pretensão de ser “real”, isso parece inevitável
Isso me lembra a cena de WALL-E em que o retrato do capitão vai ficando cada vez mais gordo, mas na verdade, com o passar do tempo, o capitão nas fotos deveria parecer cada vez mais atraente e escultural
Na realidade ele continuaria obeso
Dá para tirar fotos à noite, mas em muitos casos elas ficam difíceis de reconhecer quando comparadas ao que meus olhos, que são meu sensor, viram
Em vez de uma realidade um pouco melhor, parece que a câmera está decidindo como distribuir a luz de um jeito sem relação com a composição à sua frente
Também houve textos dizendo que, em situações em que as suposições do iPhone sobre o que é uma boa iluminação falham, ele simplesmente estraga retratos
Às vezes eu prefiro fotos de um celular de 5 anos atrás às de um aparelho novo, não porque o hardware seja melhor, mas porque o ajuste ficou pior
Coisas interessantes acontecem quando você fotografa objetos pouco presentes no modelo, como espaços apertados para rastejar, tubulação ou close odontológico
Já tive resultados completamente inúteis fora do modo RAW, como se a etapa de fotografia computacional não tivesse a menor ideia do que estava fazendo
Mais do que limitação do sensor, às vezes o iPhone piora muito a foto em comparação com antes justamente por tomar liberdade demais
Talvez só policiais ou peritos de seguradora precisem de uma descrição pixel a pixel perfeitamente fiel do que o sensor viu
Como arte, a fotografia nunca foi sobre pureza, e a maioria das pessoas quer fotos que reflitam o que vimos e a forma como vimos, aceitando etapas técnicas para renderizar isso
Se a lua está bonita e ilumina suavemente a paisagem, queremos uma foto com a lua brilhante e o fundo escuro, e isso pode exigir muito processamento
Mas uma noiva doppelgänger, fotos com HDR exagerado ou paisagens em que pássaros e postes foram removidos não são cenas que alguém realmente viu
Pode ser uma imagem legal, mas pessoalmente isso já me parece entrar em outra forma de arte, diferente de fotografia
Passei por algo parecido alguns meses atrás com um Pixel 7
Nesta foto de um veado: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
Se você der zoom, tudo parece uma pintura a óleo no nível dos detalhes, especialmente o rosto do veado e a parede ao fundo
Nem a parede real nem o veado eram assim, e eu não usei filtro nenhum
Fotografia computacional é realmente incrível, mas também dá um pouco de medo
Fotos tiradas por volta de 2016 com um iPhone 6s também ficam parecidas quando ampliadas
Esse tipo de padrão parecido com mosaico é mais agradável aos olhos do que uma foto cheia de ruído
Pelas leis da física, uma lente e um sensor pequenos de celular têm limites para captar luz
O hardware melhorou bastante, mas ainda não chegou ao limite, e mesmo assim as pessoas provavelmente não gostariam se o celular simplesmente entregasse a imagem RAW cheia de ruído sem processamento
Também não dá para eliminar o processamento necessário para converter isso na grade correta de pixels e no espaço de cores adequado
O Pixel 7 não tem uma câmera dedicada para zoom, então se houve zoom foi digital, e a qualidade cai bastante
A etapa de processamento precisa trabalhar com frames de baixa qualidade, e esse tipo de resultado aparece com frequência
Não deveria ser necessário que usuários de celular se preocupassem com isso, mas, pela minha experiência, em aparelhos sem câmera de zoom muitas vezes é melhor fotografar sem zoom ou não passar de 2x e recortar depois
Talvez seja possível reduzir a intensidade da filtragem nas configurações
Isso vem acontecendo cada vez mais, e parece uma combinação sinistra de “compressão melhor, desde que você não olhe de fato para a imagem” com “melhoria por IA”
Algumas semanas atrás, tirei uma foto realmente linda do meu filho, e a composição, a expressão, o foco e a luz estavam perfeitos, mas havia um único problema
O algoritmo do celular decidiu que seria melhor arrancar a pele do meu filho e substituí-la pela textura da parede ao fundo
Claro, a culpa deve ser minha por ter comprado um celular barato como o Galaxy S22 Ultra, e o S23 Ultra deve ser melhor, mas naquela época ele ainda não tinha saído
Então ativei RAW para tentar ao menos salvar as fotos daqui para frente, mas RAW só funciona no modo de câmera “profissional”, que é inconveniente, e às vezes volta silenciosamente para o modo não profissional
No fim, desisti e instalei um app de câmera de terceiros
Pelo menos o Mark não estraga ativamente as minhas fotos, então acho que dá para confiar nele: https://play.google.com/store/apps/details?id=net.sourceforg...
Tirando a remoção de ruído padrão em baixa luz, a magia de aumentar o brilho e aquela função idiota de substituir a lua, nem parece que use fotografia computacional
Já tinha vencido a Apple só com a lente de 10x, então não precisava dessas besteiras relacionadas à lua
Acho o app de câmera padrão bom
Parece que esses exemplos, mesmo que ainda não sejam isso, vão acabar sendo acumulados e apresentados no futuro como parte de uma defesa legal
Seja válido ou não, casos extremos assim podem levar alguns juízes e jurados além do limiar da dúvida razoável
Manipulação por IA de fato acontece, e pode ser difícil prever onde estão os limites
Pior ainda, uma pessoa numa cena de bombardeio poderia parecer ter reagido antes da explosão
Temos pressupostos embutidos sobre causalidade, e essa IA quebra isso
Em algumas situações específicas, isso pode ser potencialmente enorme
Nossa família gosta de tirar fotos pano-Frankenstein
Se você fizer uma panorâmica atravessando o rosto de uma pessoa enquanto ela muda a expressão rapidamente de forma dramática, o celular tenta costurar o rosto em uma única imagem consistente, e o resultado fica bem engraçado
Os Google Pixel mais recentes começam a salvar quadros assim que você abre o app da câmera
Quando você realmente tira a foto, eles usam parte dos quadros anteriores para fazer uma composição HDR praticamente sem atraso
Talvez algo parecido tenha acontecido aqui também
Parece que, ao escolher a melhor exposição para cada parte da foto a partir de quadros diferentes, o processamento acabou produzindo esse efeito
Tem gente que anda por lugares novos com a câmera ligada por horas porque quer registrar algo legal na hora, e depois reclama que a bateria morreu na hora do almoço
Não sei bem se isso é verdade
A Apple nunca disse publicamente que faz esse nível de manipulação, e claro, isso não significa que não faça, mas não parece plausível o alcance de movimento que aquela mulher teria de percorrer dentro de uma única captura
Mesmo com Live Photos, não parece que algo assim aconteceria
Se for verdade, é bem bizarro, então eu até gostaria de acreditar, mas parece perfeito demais
Imagino que alguém já esteja tentando provar ou refutar isso
Eu estava num borboletário, e uma foto em close apagou as pernas da borboleta e deixou só as asas
Link da imagem: https://ibb.co/nwbw5xY
O celular assumiu que as pernas faziam parte do fundo
A mesma coisa acontece com cabelo
As pernas são finas, então é fácil interpretá-las como ruído
Especialmente se você usar zoom digital e pouca luz, haverá muito poucos pixels e muito ruído em cada pixel, então isso fica ainda mais provável
Pelo que ouvi num podcast recente[0], se você segurar o botão no app de câmera do iPhone, ele captura um conjunto de fotos e depois mostra uma que considera a “melhor”, por exemplo aquela em que todos estão de olhos abertos
Claro, não é o mesmo tipo de coisa que aconteceu aqui
Como eu tendo a tirar pessoas das fotos, acabo esquecendo de testar isso toda vez
[0] Acho que era este episódio: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
Agora, segurar o botão alterna para gravação de vídeo
Para quem não grava vídeo, isso é irritante
Com o botão na tela, você pode deslizar para a esquerda para fazer rajada, mas, até onde eu sei, não há como disparar fotos em rajada com o botão de volume
Talvez seja possível com o novo botão programável da linha iPhone 15
Tirar uma foto é, na prática, gravar um vídeo curto, e então escolher o melhor quadro dentre eles