Show HN: o Gaussian splat de um morango
(superspl.at)- Strawberry é uma cena 3D de morango para download publicada por danylyon no SuperSplat, com licença indicada como CC BY 4.0
- Os dados da cena aparecem com 46.530 itens e tamanho de arquivo de 22,94 MB, e o horário de publicação é mostrado como há 13 horas
- A captura foi feita de 90 pontos de vista, e em cada ponto de vista foram usadas 88 imagens de focus stacking
- O equipamento é uma Nikon Z8 full-frame, f/7.1, 1/160 s, ISO 100, lente macro Laowa 180mm, iluminação LED e fundo blue screen
- O treinamento foi realizado com slang-splat, e COLMAP junto com o conjunto de dados do COLMAP são fornecidos
Visão geral da cena
- Strawberry é uma cena 3D de morango publicada no SuperSplat, e o autor é danylyon
- Os dados da cena aparecem com 46.530 itens, e o tamanho do arquivo é 22,94 MB
- O horário de publicação é mostrado como há 13 horas, e o download está disponível
- A licença é indicada como CC BY 4.0
Condições de captura
- A cena do morango foi capturada de 90 pontos de vista, e em cada ponto de vista foram usadas 88 imagens de focus stacking
- O equipamento e as configurações de captura são Nikon Z8, full-frame, f/7.1, 1/160 s, ISO 100, lente macro Laowa 180mm
- A iluminação é composta por luz LED, e o fundo é blue screen
Treinamento e dados
- O treinamento foi realizado com slang-splat
- COLMAP aparece como software usado
- O conjunto de dados do COLMAP também é fornecido e pode ser usado gratuitamente no Patreon
Condições de uso
- A cena pode ser baixada sob a licença CC BY
- É informado que a atribuição não é um requisito, mas é recomendada como forma de agradecimento
- Também é indicado que este trabalho pode ser usado mesmo sem atribuição
1 comentários
Comentários do Hacker News
Em 2011 eu criei o PlayCanvas para rodar videogames, e em 2026 estou rodando um morango
Uau, isso faz o tempo voar. No fim cheguei até aqui, e é lindo: https://superspl.at/scene/ff1d0393
Ainda assim, foi um pequeno choque quando descobri que dá para subir a escada andando. Precisa de Shift para correr
As bordas da cena precisam muito de clipping. Se você usar um app como o Scaniverse, dá para adicionar uma caixa delimitadora para remover pontos distantes que normalmente não são bem reconstruídos
Recomendo muito se você tiver um iPhone recente com scanner LiDAR. Dá para renderizar sua casa ou jardim como uma casa de bonecas, e isso é surpreendentemente útil para planejar e medir paredes ou estruturas
É uma cena muito legal, com resolução bem decente e ainda permitindo passear por ela
Li [1], mas ainda não entendo exatamente o que estou vendo. Meu palpite é que seja um modelo 3D reconstruído a partir de muitas fotos em alta resolução
[1] https://en.wikipedia.org/wiki/Gaussian_splatting
Não existe malha nem modelo. A superfície visual do morango pode, em termos de posição física real, ser composta por aglomerados distantes entre si, e não por algo que pareça uma superfície
É por isso que chamam essas coisas de campo de radiância (radiance field). Porque o que está sendo modelado é a luz, não a geometria
Na prática, também dá para restringir a posição e a rotação dos aglomerados para que combinem melhor com a forma geométrica do morango
O importante é que não existe uma superfície geométrica definida, ou seja, uma malha. E também é muito difícil fazer um splat bom, porque você precisa tirar um número enorme de fotos de muitos ângulos diferentes; já um splat ruim é facílimo de fazer. Mas, quando dá certo, é maravilhoso
Lindo
O que eu gosto no Gaussian splatting é a forma como ele se degrada. Em vez de cortar bruscamente ou trocar o nível de detalhe e transformar esferas em cubos, ele vai ficando cada vez mais “onírico”. A forma básica permanece, e só os detalhes diminuem
Por exemplo, esta cena: https://superspl.at/scene/e721ea7c
Quando você se aproxima das árvores, o entorno vai ficando borrado, como se o tecido da realidade estivesse se desfazendo
https://bayardrandel.com/gaussographs
Os trabalhos mais recentes estão no Instagram
https://www.instagram.com/bayardrandel/
Em vez daquele “falso detalhe” extra que você esperaria ao ampliar, a sensação é de atravessar a pele e entrar em um interior imaginado
Quanto menos consistência há, mais difícil e imprevisível fica a exploração
Parece muito mais próximo de como a mente armazena e processa informações espaciais do que um modelo 3D comum
Se você só vê uma imagem borrada e nada carrega ou funciona, vale conferir se aparece "WebGL not supported" no console de JavaScript
Isso aqui também é interessante: https://github.com/apple/ml-sharp
É um modelo da Apple que gera Gaussian splats a partir de uma única imagem. Leva cerca de 30 segundos em um M1 Pro
Se você se mover demais, ele se desfaz, mas para uma leve oscilação lateral ou para o ponto de vista do segundo olho em VR ele funciona muito bem. É muito mais bonito do que o método antigo de mapa de profundidade + vertex shader que eu uso em https://github.com/combatwombat/tiefling
Só que o ml-sharp tem pesos de 2,6 GB, então é meio grande para rodar no navegador
Agora parece funcionar muito mais rápido do que 30 segundos em iDevice e Mac
Conheci Gaussian splatting há algumas semanas e talvez esta seja uma pergunta engraçada, ingênua ou boba. Existe algum avanço em iluminação dinâmica, ou ao menos isso é teoricamente possível?
Mas é difícil obter materiais corretos em casos mais complexos do que reflexão difusa
Reiluminação baseada em IA provavelmente deve começar a funcionar bem em breve
Talvez o resultado se pareça com iluminação em tempo real de engine de jogo antiga aplicada a assets bem modernos. Algo como a era do Quake 2~3
Ou talvez fosse possível fazer algum tipo de “pré-passe de oclusão”, criando um volume voxel esparso a partir do splat e atribuindo a cada voxel um valor de opacidade voxel para absorver luz. Não seria tão diferente da iluminação global pré-calculada de hoje em dia
Só para constar, não sou especialista em renderização; sou só um esquisito que já brincou com OpenGL no passado
Simplesmente uau!
Fuçando pelo site, fiquei ainda mais impressionado com esta cena: https://superspl.at/scene/c67edb74
Eu consegui explorar e usar vários outros links postados nos comentários, então é estranho
Se li o Chrome direito, o site e os dados juntos têm 171 MB
Se a conta estiver certa, isso dá algo como 40 segundos de largura de banda na taxa máxima do Netflix
Dependendo de quão estranho você for, a sensação é de ser o Quasimodo ou Deus
Isso me jogou numa toca de coelho, até chegar nesta empresa que faz vídeo com Gaussian splats: https://www.4dv.ai/. Interessante
Parece uma miniatura linda. É legal ver Gaussian splatting aplicado a objetos pequenos e detalhados, em vez de cenas grandes
O aspecto provavelmente mais chato deste morango para mim é a licença. Está escrito “disponível para download sob licença CC BY, mas a atribuição não é obrigatória; eu só agradeceria se você atribuísse”, e eu não sou advogado, mas não me parece que dê para licenciar como CC-BY e ao mesmo tempo dispensar a exigência de BY na descrição
Se a intenção é tornar a atribuição opcional, não faria mais sentido usar uma licença mais permissiva, como CC0, e apenas pedir o crédito?
Até certo ponto, sim. Em países como a França, o direito de atribuição é, em essência, inalienável, então mesmo depois de o autor renunciar permanentemente ao direito de ser creditado, ele ainda poderia exigir crédito a qualquer momento
Mas, nos EUA, a parte beneficiada por uma cláusula contratual geralmente pode ignorá-la ou renunciá-la. Se isso ainda poderia ser chamado de “CC BY” é discutível, já que a atribuição é central ali
Ainda assim, parece legítimo licenciar como CC BY e logo em seguida dispensar essa exigência