Macro Splats 2025

• Gaussian splat é composto por vários elipsoides borrados e tem a característica de poder ser visto de diversos ângulos, como uma foto 3D
• É capaz de reproduzir com eficiência texturas complexas e minuciosas de objetos macro, como insetos
• Para resolver problemas causados pela profundidade de campo rasa, foi adotada a técnica de focus stacking
• Com equipamentos automatizados e um método de captura otimizado, a eficiência e a qualidade da fotografia foram aprimoradas
• Por fim, foi criado e publicado um modelo 3D de alta resolução com o uso de COLMAP e Postshot

---

Resumo de Macro Splats 2025

Conceito de Gaussian Splat e transformação em foto 3D

• Gaussian splat é uma técnica que sobrepõe elipsoides borrados no espaço 3D e atribui a cada elipsoide uma cor dependente da visualização
• Assim como no treinamento de modelos de inteligência artificial, ao inserir várias fotos e repetir a otimização, é possível gerar um resultado realista de foto 3D
• Como resultado desse método, obtêm-se imagens 3D que podem ser observadas de forma realista a partir de vários ângulos

Motivação para aplicar a objetos macro

• Objetos macro como insetos, com muitos pelos ou estruturas complexas, são muito adequados para a representação por Gaussian splat
• Destaca-se que essas texturas são difíceis de retratar com técnicas tradicionais de reconstrução 3D

Processo de captura com focus stacking

• Devido às características da fotografia macro, a profundidade de campo é muito rasa, o que dificulta registrar todas as partes com nitidez
• Focus stacking é uma técnica em que várias imagens com foco levemente diferente são capturadas no mesmo ângulo e depois combinadas em uma única foto completamente nítida
• Normalmente, um stack exige de 50 a 500 fotos, mas para melhorar a eficiência da captura esse número foi ajustado para 16 fotos por stack, usando abertura f/18
• O inseto é fotografado sistematicamente de vários ângulos com disco giratório, boom arm e trilho de foco automático
• No total, foram feitas 1776 fotos em 111 ângulos, e o tempo total de captura foi de cerca de 4 horas

Construção do modelo 3D e pós-processamento

• Todas as imagens foram processadas com focus stacking em lote, resultando em 111 fotos de alta resolução
• As informações de posição da câmera foram recuperadas com COLMAP, e foram realizados correção de cor e mascaramento de fundo
• Os dados finais foram treinados no Postshot para criar o modelo splat, e a parte de suporte/montagem foi removida com retoques mínimos

Publicação e uso do modelo 3D

• O modelo de inseto concluído pode ser visualizado livremente em 3D no superspl.at
• O modelo de cluster fly está disponível gratuitamente aqui e pode ser usado para fins comerciais e não comerciais, desde que haja atribuição ao autor

[GN⁺]

Opiniões no Hacker News

• Entre os gráficos de computador que já vi, acho que esta vespa mandarim é uma das obras mais impressionantes, além de estar no mais alto nível também como fotografia macro. O fato de poder ser renderizada em tempo real também é surpreendente. Houve uma discussão sobre o PS6 alguns dias atrás, e, se eu ainda estivesse envolvido com consoles ou desenvolvimento de jogos, estaria pensando muito em como introduzir assets assim em jogos
  • Gaussian splats não têm a flexibilidade exigida por videogames comuns. Como não são PBR de verdade, a iluminação fica quase toda hardcoded. Rigging não funciona bem, e editar também é muito difícil. É bom para visualizar um único objeto, mas não é adequado para construir cenas com vários elementos
• Ficou realmente incrível. Como feedback sobre o site, texto preto em fundo cinza tem pouca legibilidade, então precisei usar o modo leitor
  • A saturação das cores da página é tão forte que achei que talvez eu não estivesse vendo algum primeiro plano destacado, e tive a sensação de que a página inteira estava sendo tratada como plano de fundo
  • Eu tive exatamente a experiência oposta. Este site é um dos poucos em que consigo ler com clareza, sem as letras borrarem, mesmo usando óculos
• Este trabalho ficou realmente incrível, e eu nunca tinha pensado em combinar fotografia macro com Gaussian splatting. Sou muito grato por terem disponibilizado isso como arquivo de cultura livre (CC BY)
• Seria incrível ver uma colaboração com o artista de Exquisite Creatures Revealed. Ele preserva vários insetos e os exibe de uma forma que destaca as cores e o efeito iridescente da natureza. Fiquei tão impressionado com a exposição que voltei para vê-la de novo. Dá para ver informações sobre o artista aqui
• Fico me perguntando se existe pesquisa sobre ajustar gaussian splats dependentes da distância focal. Basicamente, um jeito de modelar bokeh, para que, ao alimentar as imagens raw originais, talvez se possa obter um modelo totalmente nítido
  • Várias equipes estão pesquisando esse tema: projeto dof-gs, projeto dof-gaussian
• Fico curioso sobre como capturam os reflexos iridescentes no corpo da mosca. Dá até a sensação de que se está vendo o fundo através das partes refletivas. Como o reflexo muda de cor conforme o ângulo, pensei que a geração de gaussian splats talvez tivesse dificuldade para encontrar uma resposta que satisfizesse todos os raios. Eu imaginava que, no mínimo, a superfície refletiva sairia toda bagunçada, então fico curioso se existe algum truque secreto, ou se sou eu que entendi errado como Gaussian splats funcionam
  • A cor muda de acordo com o ponto de vista, e isso significa que a iluminação está baked-in. Por isso, acho difícil usar isso diretamente em animação 3D ou em ambientes em tempo real, embora talvez já exista pesquisa sobre iluminação dinâmica. Às vezes a coisa parece errada; por exemplo, se você chega muito perto do modelo da mosca, partes do corpo parecem transparentes, e os specular highlights acabam aparecendo como splats na face de trás da superfície interna. No modelo do espelho isso fica ainda mais evidente, e dá até para atravessar o espelho e entrar nele
  • Gaussian splats podem receber cores dependentes do ponto de vista. Até onde eu sei, isso é implementado com harmônicos esféricos (spherical harmonics). A resolução angular depende do número desses componentes harmônicos; se forem poucos demais, todos os reflexos mudam lenta e suavemente, e os reflexos ficam borrados
  • Segundo a FTA, “um Gaussian splat é essencialmente um conjunto de elipsoides borrados, e cada elipsoide tem uma cor dependente do ponto de vista.” Espero que essa explicação ajude
  • Vale a pena ver a seção "View-dependant colors with SH": artigo relacionado
• O demo giratório que roda em tempo real no navegador, inclusive no celular, funciona muito bem. O custo de renderização de Gaussian splat não parece tão alto, e o grosso do processamento fica mesmo no pré-cálculo
  • O tamanho do arquivo também é impressionantemente pequeno. O link não está disponível agora, mas já divulgaram um splat 4D com movimento incluído, que pode ser visto como vídeo e também permite se mover pela cena, e esse arquivo também fica na casa de alguns megabytes
• Trabalho muito legal. Mas, no mobile, o 3D é completamente inutilizável. No modo órbita, no instante em que toco no 3D, ele trava numa visão do hemisfério sul, e, não importa como eu tente girar, a tela fica se mexendo loucamente
  • Sou desenvolvedor do PlayCanvas. Queria saber em que telefone/dispositivo isso aconteceu. Pode ser um bug (sem trocadilho)
• Isso também foi usado recentemente para revisitar "The Matrix": vídeo no YouTube
• Isto é um avanço gigantesco em relação à renderização em tempo real de 23.806 triângulos mostrada em Stars/NoooN [1]. [1] Vídeo no YouTube
  • Fico curioso sobre quando isso foi feito. O vídeo do YouTube é de 14 anos atrás, mas parece muito mais antigo