"Gaussian splatting" é bem legal

• Artigo sobre o paper intitulado "3D Gaussian Splatting for Real-Time Radiance Field Rendering"
• Gaussian splatting é um método de representar cenas 3D com milhões de partículas que têm posição, rotação, tamanho, opacidade e cor
• As partículas são renderizadas como gaussianas 2D no espaço de tela, e não como esferas expandidas
• Os autores do paper desenvolveram uma forma de gerar milhões de partículas que representam uma cena descrita por fotografias usando descida de gradiente e renderização diferenciável
• Os autores também desenvolveram uma forma de renderizar rapidamente esses milhões de partículas escaladas
• O autor do artigo está implementando a parte de visualização em tempo real de gaussian splatting no Unity e pensando em maneiras de reduzir o tamanho dos dados
• O artigo também discute a história do gaussian splatting e aplicações anteriores, inventadas por volta de 2001-2002
• O autor compartilha no GitHub uma implementação de gaussian splatting, observando que ela funciona, mas não é tão rápida quanto a implementação oficial
• O autor também menciona que tamanho dos dados e uso de memória são considerações importantes ao usar gaussian splatting, e que a cena de exemplo usada no artigo requer 1,5 GB de dados em disco

[GN⁺]

Comentários no Hacker News

• Artigo sobre o potencial do Gaussian splatting, uma técnica para reconstruir cenas 3D a partir de várias imagens, gerando empolgação entre entusiastas de tecnologia
• Gaussian splatting é visto como uma ferramenta promissora para recriar ambientes do passado, com potencial para despertar ondas de nostalgia
• Usa descida de gradiente e "renderização diferenciável", evitando o uso de termos ligados a "neural"; alguns leitores elogiam isso por não seguir a tendência dominante
• No entanto, alguns leitores argumentam que evitar redes neurais talvez não seja algo a ser elogiado, já que elas são populares por um motivo e são bons aproximadores de função
• O artigo também menciona renderização baseada em pontos, núcleo dos sistemas de partículas em jogos, e os leitores observam mudanças recentes nos sistemas de partículas dos games
• Alguns leitores questionam se o Gaussian splatting pode suportar iluminação dinâmica e movimento, já que cenas/campos radiantes normalmente são estáticos e têm iluminação embutida
• A técnica é comparada ao conceito de braindance de Cyberpunk 2077, que permite ao jogador se mover dentro das memórias visuais de outra pessoa
• Os leitores demonstram expectativa pela primeira implementação otimizada para WebGPU de renderização com 3D Gaussian splatting e por compressão/descompressão eficiente dos dados da cena
• Alguns leitores compartilham materiais sobre como usar Gaussian splatting, como um guia para iniciantes no YouTube
• A técnica não é nova, com referência ao splatting para renderização volumétrica em 1991 e menções ao uso de iso-superfícies de voxel no fim dos anos 90
• Os leitores têm curiosidade sobre o estado da arte em structure from motion, a técnica de converter vídeos de um espaço em uma cena 3D.