- Novo pipeline rápido e de ponta para gerar assets 3D a partir de texto
- O 3DGen pode gerar geometria 3D e texturas de alta qualidade, com alta fidelidade ao prompt, em menos de 1 minuto
- Suporta PBR (renderização baseada em física), necessário para relighting de assets 3D em aplicações do mundo real
- Também pode modificar de forma generativa a materialidade de geometrias 3D previamente geradas (ou criadas por artistas) usando entrada de texto adicional fornecida pelo usuário
- O 3DGen integra dois componentes tecnológicos centrais desenvolvidos pela Meta: Meta 3D AssetGen e Meta 3D TextureGen, para geração de 3D a partir de texto e geração de texturas a partir de texto
- Ao combinar essas duas tecnologias, o 3DGen representa objetos 3D simultaneamente de três formas: no espaço de visão, no espaço volumétrico e no espaço UV (ou de textura)
- Alcançou uma taxa de vitória de 68% em comparação com modelos de etapa única
- O 3DGen é muito mais rápido e supera benchmarks da indústria em fidelidade ao prompt e qualidade visual para prompts de texto complexos
Artigos relacionados
Meta 3D AssetGen: geração de texto para malha com geometria, textura e materiais PBR de alta qualidade
- O AssetGen é um avanço importante na geração 3D a partir de texto, criando meshes fiéis e de alta qualidade com controle de textura e material
- Em comparação com o baking de sombreamento na aparência de objetos 3D, o AssetGen produz materiais PBR que permitem relighting real
- O AssetGen primeiro gera múltiplas views do objeto com canais de aparência de sombreamento fatorado e albedo, depois reconstrói cor, metalicidade e rugosidade em 3D usando uma perda de sombreamento diferido para supervisão eficiente
- Também usa uma signed distance function para representar geometrias 3D de forma mais estável e introduz a perda correspondente para supervisão direta da geometria
- Após a extração da mesh, um transformador de refinamento de textura que opera no espaço UV melhora significativamente nitidez e detalhes
- O AssetGen alcança melhorias de 17% em distância de Chamfer e 40% em LPIPS em relação ao melhor trabalho simultâneo para reconstrução com poucas views, além de obter 72% de preferência humana sobre o melhor concorrente da indústria com velocidade semelhante e suporte a PBR
Meta 3D TextureGen: geração de textura rápida e consistente para objetos 3D
- A recente disponibilidade e adaptabilidade de modelos de texto para imagem abriu uma nova era em muitos campos relacionados, como a geração de texturas
- Métodos recentes de geração de textura alcançam resultados impressionantes usando redes de texto para imagem, mas a combinação entre consistência global, qualidade e velocidade é essencial para levar a geração de textura a aplicações reais
- É apresentado o Meta 3D TextureGen, um novo método feed-forward composto por duas redes sequenciais para gerar texturas de alta qualidade e globalmente consistentes em menos de 20 segundos para geometria arbitrária
- O 3DGen alcança resultados de ponta em qualidade e velocidade ao condicionar modelos de texto para imagem à semântica 3D no espaço 2D e fundi-los em mapas de textura UV completos e de alta resolução
- Também introduz uma rede de aprimoramento de textura capaz de escalar texturas em proporções arbitrárias para gerar texturas com resolução de 4k pixels
Opinião do GN+
- O 3DGen parece ser um avanço inovador na área de geração de assets 3D. A tecnologia de gerar rapidamente modelos 3D de alta qualidade com base em prompts de texto pode ser aplicada em várias áreas, como jogos, cinema e design
- Em especial, o suporte a materiais PBR e a capacidade de alterar a textura de modelos 3D já criados devem aumentar sua utilidade prática
- No entanto, entender com precisão o significado de prompts de texto e gerar modelos 3D conforme pretendido ainda deve ser um desafio difícil. Também parece necessário avançar em técnicas de prompt engineering
- Fica a curiosidade sobre como especialistas em modelagem 3D usarão essa tecnologia e que impacto ela terá na expressão criativa. Também parece necessário comparar seus diferenciais, vantagens e desvantagens em relação às ferramentas tradicionais de modelagem 3D
- Também existem outras soluções com funcionalidades semelhantes, como o GET3D da Nvidia e o Imagine 3D da Luma Lab. É necessária uma análise comparativa sobre vantagens e desvantagens em termos de desempenho e usabilidade
- Com a evolução das tecnologias de geração de modelos 3D, qualquer pessoa poderá criar facilmente o modelo 3D que desejar, o que pode trazer à tona novas questões, como direitos autorais de modelos 3D e possibilidade de abuso. Parece necessária uma discussão social e a construção de consenso sobre isso
1 comentários
Comentários do Hacker News
Um usuário vê com bons olhos o avanço da modelagem 3D como um aspecto importante da IA generativa e menciona especialmente a dificuldade de criar ativos para VR
Outro usuário diz que a criação de conteúdo para VR exige muita mão de obra e espera que ferramentas de geração de modelos 3D se tornem um grande impulsionador do metaverso
Outro usuário avalia que todos os serviços recentes de conversão de texto/imagem para modelos 3D produziram resultados inúteis
Um usuário comenta que é muito impressionante executar todo o sistema usando um pipeline de texturização PBR
Outro usuário menciona que dá para perceber que a topologia não é boa pela falta de wireframes
Um usuário considera isso mais uma etapa pioneira na recriação digital da realidade
Outro usuário espera que uma conversão simples de 3D para 3D seja possível em breve
Um usuário imagina que, com a contribuição de um artista, os modelos gerados poderiam ser editados depois ou usados como ponto de partida
Avalia que o Meta 3D Gen representa um avanço importante na geração de conteúdo 3D para aplicações de VR
Por fim, um usuário diz que gostaria de ver uma técnica alternativa à reconstrução de superfície Screened Poisson usando redes neurais