Tecnologia MeshAnything que converte representações 3D em malhas 3D eficientes

MeshAnything: geração de malhas feitas por artistas

Visão geral

• O MeshAnything imita a forma como artistas humanos extraem malhas de representações 3D.
• Ele pode ser combinado com diversos pipelines de produção de ativos 3D para gerar malhas feitas por artistas (AM) aplicáveis à indústria 3D.

Comparação com métodos existentes

• O MeshAnything gera malhas com centenas de vezes menos faces, melhorando significativamente a eficiência de armazenamento, renderização e simulação.
• Ele alcança um nível de precisão semelhante ao dos métodos existentes.

Método

• O MeshAnything é um transformer autorregressivo que gera malhas feitas por artistas adaptadas a uma determinada forma 3D.
• Ele amostra uma nuvem de pontos do ativo 3D fornecido, codifica isso em características e as injeta em um transformer apenas com decodificador.
• Em vez de aprender distribuições complexas de formas 3D, ele constrói a forma de maneira eficiente por meio de topologia otimizada.

Mais resultados

• Integrando-se a vários métodos de produção de ativos 3D, ele alcança uma geração de malhas feitas por artistas altamente controlável.
• O MeshAnything gera malhas com melhor topologia e menos faces, podendo criar uma topologia completamente diferente enquanto mantém uma forma semelhante.

Opinião do GN⁺

• Eficiência: o MeshAnything gera malhas com muito menos faces do que os métodos tradicionais de geração de malhas, melhorando bastante a eficiência de armazenamento e renderização.
• Aplicabilidade: como pode ser integrado a diversos pipelines de produção de ativos 3D, tem alto potencial de uso em toda a indústria 3D.
• Vantagem técnica: consegue construir formas de maneira eficiente por meio de topologia otimizada sem precisar aprender distribuições complexas de formas 3D.
• Visão crítica: ao introduzir uma nova tecnologia, pode haver problemas de compatibilidade com sistemas existentes ou uma curva de aprendizado inicial.
• Alternativa recomendada: outros projetos com funcionalidades semelhantes incluem o MeshGPT; vale comparar os prós e contras de cada projeto.

[GN⁺]

Comentários no Hacker News

• Em um cenário em que artigos sobre geração de modelos 3D costumam ser criticados, esta pesquisa é bem-vinda. Mas a licença não comercial deixa a desejar. Segundo as informações no GitHub, a geração da malha em uma GPU A6000 consome cerca de 7 GB e 30 segundos, e só é possível gerar malhas com menos de 800 faces.
• É o melhor resultado de geração low-poly até agora. Ainda é uma malha triangular, mas está melhorando aos poucos.
• O objetivo final é ter polígonos majoritariamente quadrangulares, edge smooth/crease, UV de textura natural e geração de textura PBR por meio de texturas repetidas. Depois disso, é preciso avançar para inferir modelos CAD a partir de imagens.
• Para lidar com malhas grandes ou nuvens de pontos geradas por escaneamento LiDAR ou fotogrametria, são necessários PCs de alto desempenho e software caro. Seria útil reduzir a malha para que ela possa ser compartilhada na web.
• Já tive experiência processando manualmente escaneamentos de nuvem de pontos. Foram gerados 450 GB de dados, e um projeto anterior tinha 2,1 TB. A escala deste artigo parece de brinquedo, mas começar é importante.
• Chamar malhas geradas por IA de algo "feito por artista" pode ser enganoso.
• Gostei que o parágrafo sobre impacto social menciona a redução do custo de mão de obra. É importante destacar que isso não significa reduzir a necessidade de artistas.
• Pretendo testar alguns modelos complexos.
• O MeshAnything gera malhas com centenas de vezes menos faces, melhorando bastante a eficiência de armazenamento, renderização e simulação.
• Tentei o demo online, mas surgiram buracos na malha de saída que não existiam no original. Fico em dúvida se há algum problema no algoritmo.
• A malha convertida não é eficiente e tem muitos n-gons, então exige trabalho de retopologia.