MyMallow - Diário emocional de personagem 3D criado com RealityKit

Apresentamos o MyMallow, um app para iOS em que o usuário personifica suas emoções como um personagem 3D e pode personalizá-lo diretamente. Foi um projeto desenvolvido ao longo de 2 meses, com foco não apenas em escrever um diário, mas em "produção de conteúdo 3D participativa pelo usuário".

Principais recursos

• Texturas personalizadas: os desenhos que o usuário faz em uma tela são analisados pelo framework Vision e mapeados em tempo real no material do modelo 3D.
• Captura de movimento própria: além de 195 movimentos integrados, também é possível gravar diretamente os movimentos do usuário com o Body Position Tracking do ARKit e aplicá-los ao personagem.
• NPCs com comportamento autônomo: combinando a State Machine e pathfinding do GameplayKit, os personagens agem de forma autônoma de acordo com o ambiente, como dançar perto de uma fogueira.

Pontos centrais da implementação técnica

• RealityKit & 3D pipeline: os modelos criados no Blender são convertidos para .usdz, e a textura e a estrutura de rigging do modelo são controladas dinamicamente em runtime.
• Otimização de movimento: para reduzir o ruído dos dados capturados, foram aplicados filtro passa-baixa e Slerp (interpolação linear esférica) para criar animações suaves.
• Física e áudio espacial: foi construído um espaço 3D imersivo por meio de simulação física baseada em Collision Detection e de um sistema de partículas com suporte a Spatial Audio.
• Integração da estrutura de bones: para resolver o problema das diferentes estruturas de bones entre Mixamo (65) e Apple ARBody (91), foi adotada uma abordagem de trocar o modelo com rigging conforme a situação.

Este é um projeto que vai além de uma simples ferramenta de registro e explora as diversas possibilidades do RealityKit.

👉 App Store

[ffdd270]

Muito impressionante. Eu não tinha dado atenção a essa biblioteca, mas graças ao artigo bem organizado consegui ampliar um pouco mais minha perspectiva.