CityGaussian: renderização em tempo real de grandes cenas com alta qualidade usando gaussianas

CityGaussian: técnica gaussiana para renderização rápida e de alta qualidade de cenas em grande escala

• CityGaussian (CityGS) apresenta uma nova abordagem para treinamento eficiente e renderização em tempo real de 3D Gaussian Splatting (3DGS) em grande escala.
• Por meio de conhecimento prévio global da cena e seleção adaptativa de dados de treinamento, possibilita treinamento eficiente e composição sem emendas.
• Com base em dados primitivos gaussianos, gera de forma compactada vários níveis de detalhe e, com a estratégia proposta de seleção e agregação de nível de detalhe por bloco, viabiliza renderização rápida em diferentes escalas.
• Resultados de experimentos extensivos em cenas de grande escala mostram que essa abordagem alcança qualidade de renderização de ponta e consegue renderizar em tempo real, de forma consistente, grandes cenas em escalas muito distintas.

Comparação com o SOTA

• Sem a técnica de LoD do CityGS: o MatrixCity é representado com 25 milhões de gaussianas e, quando testado em uma A100, apresenta velocidade de 18 FPS, resultando em uma experiência de navegação desagradável.
• Com CityGS e técnica de LoD: com suporte a LoD, o CityGS pode ser renderizado em tempo real em escalas muito diferentes, com velocidade média de 36 FPS em testes na A100.

Comparação visual

• A qualidade superior de renderização do CityGS é comparada visualmente com técnicas existentes como MegaNeRF, SwitchNeRF, GPNeRF e 3DGS.

Opinião do GN⁺

• O CityGaussian representa um avanço técnico importante na renderização em tempo real de grandes cenas 3D. Isso amplia seu potencial de aplicação em áreas como realidade virtual, desenvolvimento de jogos, planejamento urbano e simulação.
• A renderização em tempo real é um fator que melhora significativamente a experiência do usuário, e a alta taxa de quadros oferecida pelo CityGaussian deve tornar essa experiência mais fluida e realista.
• No entanto, tecnologias de renderização em tempo real geralmente exigem recursos computacionais de alto desempenho, o que pode ser uma limitação em termos de custo e acessibilidade.
• Para que essa tecnologia seja amplamente adotada, será necessário avanço de hardware junto com melhorias contínuas nas técnicas de otimização.
• Além disso, outros projetos ou produtos no mercado podem usar tecnologias semelhantes ao CityGaussian, por isso os usuários devem comparar várias opções para escolher a solução mais adequada às suas necessidades.

[GN⁺]

Opiniões no Hacker News

• É apresentado um projeto experimental que combina tiles 3D do Google Maps com Gaussian Splatting. Com essa técnica, foi alcançado um efeito semelhante ao real, e são fornecidos exemplos com código relacionado.
  • Exemplo 1: link do Twitter de kfarr
  • Exemplo 2: link do Twitter de 3dstreetapp
• O conjunto de dados usado no vídeo é o "Matrix city" e parece ter sido extraído da demo de Matrix no Unreal Engine 5 lançada há alguns anos. Presume-se que tenha sido produzido com técnicas de fotorrealismo, e não com fotografias.
  • site do Matrix city
• A taxa média de quadros é de 36 fps, testada em uma placa gráfica A100. Essa placa custa cerca de US$ 8.000.
• A técnica chamada Gaussian Splatting recebeu esse nome em homenagem a Gauss; embora não tenha sido inventada diretamente por ele, ele contribuiu muito para a base matemática da técnica.
• Há uma pergunta técnica sobre se a tecnologia que permitiu ao Unreal Engine apresentar demos impressionantes recentemente é o Gaussian Splatting.
• Há expectativa sobre sob qual licença essa tecnologia será publicada, e a opinião de que seria interessante vê-la sendo usada em jogos de código aberto.
• Há reações de curiosidade sobre a técnica avançada de renderizar cenas grandes usando gaussianas 3D, além do interesse em testar o código.
• Há uma opinião de que essa tecnologia não parece oferecer uma melhoria perceptível em relação ao jogo de simulação urbana existente "Cities: Skylines", e de que, como só mostra quadros limitados, é difícil avaliar o efeito real.
• Há um comentário questionando se o Gaussian Splatting 3D será realmente útil. Junto com a preocupação de que a renderização é lenta demais e gera dados demais para ser prática, há a afirmação de que a rasterização sempre será mais rápida que o ray tracing. Também é mencionado que é interessante gerar geometria e materiais tradicionais a partir de uma nuvem de pontos gaussiana, mas que a fotogrametria já é usada há muito tempo.
• Há uma pergunta sobre os requisitos de memória e computação dessa tecnologia.