- Pesquisadores da Princeton University e da University of Washington criaram uma câmera de meta-optics do tamanho de um grão de sal, propondo um dispositivo de imagem 500.000 vezes menor do que câmeras convencionais com nível semelhante de qualidade de imagem
- Em uma metasurface de 0,5 mm de largura, foram dispostas 1,6 milhão de nanoantenas cilíndricas, aumentando o potencial de miniaturização com uma estrutura que pode ser fabricada como um chip semicondutor
- Câmeras de meta-optics anteriores tinham limitações para imagens coloridas nítidas com amplo campo de visão, mas este dispositivo gera imagens coloridas e de grande angular com qualidade comparável à de câmeras convencionais
- A equipe usou um pipeline integrado de hardware e software, com otimização por IA para calcular rapidamente o projeto das nanoantenas e uma rede neural baseada em física para remover as aberrações produzidas pela câmera
- Isso pode levar a aplicações como endoscópios menores, câmeras para smartphones, wearables e AR/VR, drones, arranjos que transformam toda uma superfície em câmera e telescópios ultraleves para uso espacial
Câmera de meta-optics do tamanho de um grão de sal
- Pesquisadores da Princeton University e da University of Washington desenvolveram uma câmera de meta-optics do tamanho de um único grão de sal
- A câmera é muito menor que as convencionais, mas busca a mesma qualidade de imagem em cores
- Em comparação com uma câmera convencional capaz de capturar o mesmo nível de qualidade de imagem, ela é 500.000 vezes menor
- O dispositivo é um sistema de câmera ultraminiaturizado desenvolvido pela equipe e baseado em tecnologia de metasurface
- A metasurface contém 1,6 milhão de pilares cilíndricos
- O método de fabricação é semelhante ao da produção de chips de computador
Limites das lentes tradicionais e a abordagem com metasurface
- No projeto de câmeras, a principal restrição é o compromisso entre tamanho e quantidade de luz, ou seja, tornar o dispositivo o menor possível sem deixar de registrar muita luz
- Nos smartphones, mesmo com corpos mais finos, os módulos de câmera ficam maiores e mais salientes porque incorporam várias lentes para melhorar a qualidade das fotos
- Uma metasurface é um material artificial capaz de controlar a luz de forma incomum
- Trata-se de uma estrutura plana ultrafina com cerca de 0,5 mm de largura
- Em sua superfície há milhões de pilares cilíndricos chamados nano-antenna
- Cada nanoantena pode ser ajustada para moldar a luz de uma forma específica
- Lentes refrativas padrão melhoram seu desempenho por meio do formato da superfície e de variações no material, enquanto uma metasurface pode controlar a luz em nível subcomprimento de onda
- A lente meta-optics dessa câmera mede 0,5 mm, o sensor tem 1 mm, e a única metasurface foi projetada para ter maior capacidade de direcionamento da luz do que lentes tradicionais
Diferenças em relação às câmeras de meta-optics anteriores
- O foco da equipe não foi o conceito de usar metasurfaces em câmeras em si, mas sim alcançar uma qualidade utilizável em aplicações reais de imagem
- Abordagens anteriores não haviam chegado a um projeto de câmera de meta-optics capaz de capturar imagens coloridas nítidas e com amplo campo de visão
- Este dispositivo é apresentado como o primeiro imageador nano-óptico de alta qualidade independente de polarização para captura colorida e de grande angular
- O nível de qualidade de imagem é comparável ao de câmeras convencionais maiores em uma ordem de magnitude de um dígito
Pipeline de projeto com IA e pós-processamento
- A equipe reduziu as limitações de sistemas anteriores de imageamento com meta-optics ao melhorar conjuntamente o projeto de hardware e o pós-processamento por software
- A primeira etapa é calcular o projeto das nanoantenas sobre a metasurface com um algoritmo de otimização por IA
- Simular a resposta óptica da metasurface e calcular seus gradientes exige muito poder computacional
- Os pesquisadores criaram um “proxy” que aproxima rapidamente a física da metasurface para acelerar o cálculo do projeto
- A segunda etapa é processar as imagens capturadas pela câmera com uma rede neural baseada em física
- Essa rede neural é treinada com base na física da metasurface
- Ela consegue remover as aberrações criadas pela câmera
- A equipe tratou a metasurface como uma camada diferenciável e otimizável, como se fosse uma camada de rede neural óptica que calcula com luz
- O simulador físico da metasurface e o algoritmo de pós-processamento foram combinados em um único pipeline
- Esse pipeline é usado na fabricação de uma câmera meta-optics real
- Ele reconstrói as imagens capturadas em imagens coloridas de alta qualidade
- Para que a lente funcione adequadamente em aplicações de banda larga, é necessária uma abordagem combinada com processamento computacional
Aplicações em medicina, eletrônicos de consumo e drones
- A aplicação mais direta é em imagem médica
- Quanto menor a câmera, menos invasiva ela é
- Endoscópios ultrapequenos com câmeras de meta-optics podem viabilizar novos diagnósticos e cirurgias não invasivos
- Também pode haver a possibilidade de filmar partes do corpo difíceis de alcançar com a tecnologia atual
- Em hardware de consumo, câmeras e lentes poderiam ser projetadas em uma escala uma ordem de magnitude menor do que nos dispositivos atuais
- A própria tela do smartphone ou a parte traseira do aparelho pode se tornar uma câmera
- Superfícies de wearables, como óculos, poderiam incorporar câmeras de alta qualidade
- Headsets de VR podem ficar mais leves e mais elegantes
- Drones também podem ser impactados por câmeras menores
- Tanto finalidades militares, como reconhecimento, quanto usos civis, como entregas, dependem de câmeras
- Câmeras muito menores podem levar a drones mais leves e com menor consumo de bateria
A possibilidade de transformar uma superfície inteira em câmera
- A pequena câmera da equipe leva a repensar grandes câmeras como um arranjo plano de câmeras do tamanho de grãos de sal
- Esse tipo de arranjo pode levar a uma abordagem em que a própria superfície se transforma em câmera
- Metasurfaces maiores podem substituir lentes necessárias em telescópios
- A fabricação de telescópios pode ficar mais fácil
- Também pode se tornar mais simples enviar lentes mais potentes ao espaço
Método de fabricação e materiais
- A metasurface pode ser fabricada com o mesmo tipo de tecnologia madura usada na produção de chips de computador
- Hoje, chips de computador são produzidos em wafers, e um único wafer contém centenas de cópias do mesmo chip
- Como a metasurface pode ser produzida da mesma forma, há potencial para reduzir significativamente o custo por metasurface individual
- Os pesquisadores usaram silica wafer na superfície de montagem e silicon nitride nas nanoantenas
- Ambos os materiais são compatíveis com a atual tecnologia de fabricação de semicondutores usada para produzir chips
Leitura adicional
- Researchers shrink camera to the size of a salt grain: apresentação da pesquisa de 2021 pela Princeton University
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: artigo relacionado do The Independent
- Neural nano-optics for high-quality thin lens imaging: artigo relacionado publicado na Nature Communications
1 comentários
Opiniões no Hacker News
A frase “produz imagens coloridas de qualidade equivalente à de uma câmera comum” me deixou bem cético, porque o artigo não traz exemplos de fotos da nanocâmera, mas o artigo original tem exemplos bastante impressionantes
https://www.nature.com/articles/s41467-021-26443-0/figures/2
A nitidez e as cores parecem claramente insuficientes
Se for simplesmente restaurar a imagem com uma rede neural, não é muito impressionante, algo parecido com o que a Samsung fazia ao colar uma foto da Lua quando detectava um disco branco
Alguns anos atrás, ouvi isto em uma entrevista com um futurista: um dia, crianças comprariam uma cartela de adesivos em uma loja de brinquedos, e cada adesivo seria, na verdade, uma câmera com um endereço IPv6
Você colaria o adesivo em algum lugar e abriria aquele endereço no navegador para ver o vídeo da câmera em tempo real
Os componentes para montar uma tecnologia dessas já existem, só ainda não ficaram baratos o bastante para chegar ao mercado de massa; quando a economia de escala entrar em ação, a sociedade terá de repensar profundamente o significado de privacidade física
Talvez seja possível se mudarmos bastante o significado de “adesivo”
Acho que teremos de acrescentar mais uma coisa a Vernor Vinge
Esta tecnologia parece capaz de viabilizar diretamente a vigilância ubíqua de A Deepness in the Sky, então vale observá-la com atenção
Se minha memória não falha, eram mais ou menos do tamanho de sementes
https://en.wikipedia.org/wiki/The_Peace_War
Pode ser porque outros temas capturaram a atenção e o investimento, mas também parece possível que ela tenha chegado a um nível interessante o suficiente para que muitas equipes de P&D tenham passado para contratos governamentais sob sigilo
Além disso, o nome correto é “Vernor”
As câmeras eram sempre retratadas como muito maiores que um grão de areia
Nele, a névoa utilitária da orphidnet torna possível a percepção e a visualização ubíquas
Aqui todo mundo pensa em privacidade e vigilância, mas eu me pergunto se esta tecnologia poderia permitir acelerar nanocâmeras com lasers até velocidades relativísticas para fotografar outros sistemas solares de perto
Mesmo que não cheguemos a Proxima Centauri, seria bom ter mais câmeras dentro do nosso próprio Sistema Solar
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Se o tamanho for muito pequeno e o campo de visão for amplo, talvez seja possível colocar uma lente comum sobre a matriz e criar uma ultragrande-angular na faixa de 160×160 graus para câmeras de smartphones
Também seriam possíveis câmeras independentes 360×180 graus muito pequenas, e colocar algumas câmeras em óculos de AR permitiria compreender muito bem o entorno em uma faixa de 360×160 graus
Outra aplicação poderia ser uma pequena câmera de campo de luz
Não sei se esta tecnologia é aplicável diretamente ou se exigiria modificações, mas câmeras de campo de luz pequenas e baratas seriam úteis para ajustar o foco depois da captura e para detecção 3D e reconstrução de cena melhores que as obtidas com estéreo
Quando vejo a explicação de que “implementa pós-processamento de imagem baseado em IA proprietário para gerar imagens de alta qualidade a partir da câmera”, fica difícil dizer que ela seja comparável a uma câmera comum no sentido intuitivo
Upscaling, remoção de ruído, deblurring, ajuste de cor, correção de sombras e realces; depois de passar pelo pipeline de processamento, quase nada permanece exatamente como o sensor viu
Câmeras de celular fazem isso de forma muito mais extrema que câmeras profissionais, mas todas fazem esse tipo de processamento
Não parece ser novidade
É um artigo publicado em 2021, e já apareceu aqui também
https://news.ycombinator.com/item?id=29399828
Se for verdade, talvez seja possível colocar uma matriz de 10.000 câmeras (100×100) em um smartphone e fazer coisas interessantes com fotografia computacional
Aplicar isso de forma ingênua a 10.000 sensores levaria cerca de 10 minutos, mas certamente há margem para otimização e paralelização
Como o sensor gera uma imagem de 720×720 px, uma matriz 100×100 resultaria em 72.000×72.000 px, ou seja, uma imagem de cerca de 5 gigapixels
É uma quantidade enorme de pixels para um smartphone processar e armazenar
É por isso que profissionais ainda carregam câmeras full-frame grandes em vez de celulares
Também há questões de velocidade, como em fotografia esportiva, mas, simplificando, a velocidade também é afetada pela quantidade de dados a processar e pela resolução
Sensores de alta resolução têm o problema de gerar arquivos excessivamente grandes, serem mais lentos de processar que fotos pequenas de alta qualidade e ocuparem muito mais espaço de armazenamento
Em vídeo, isso fica ainda pior
É bem possível que esse seja o motivo pelo qual a Apple manteve a câmera principal em 12 megapixels por tanto tempo
Há uma descrição de óptica que parece bacana, mas não fica claro como a imagem é realmente registrada
E ainda há a parte da “rede neural”
Fico me perguntando se uma IA generativa está “melhorando” a imagem ao preencher as partes borradas com os pixels estatisticamente mais plausíveis
O artigo é bem ruim
Isso provavelmente também poderia ser feito com um modelo computacional padrão, mas imagino que exigiria muito processamento
Então talvez seja uma “melhoria” em um sentido parecido com o de JPEG armazenar imagens em formato com perdas
(2021) O texto original de verdade está aqui: https://light.princeton.edu/publication/neural-nano-optics/