- Artigo sobre uma nova abordagem de modelagem com prioridade no espaço da imagem para a dinâmica de cenas, desenvolvida por pesquisadores do Google
- Treinamento do modelo com trajetórias de movimento extraídas de sequências de vídeo reais que incluem movimentos oscilatórios naturais
- O modelo usa um processo de amostragem por difusão ajustado por frequência para prever representações de movimento de longo prazo por pixel no domínio de Fourier, chamadas de texturas neurais estocásticas de movimento
- Essa representação pode ser convertida em trajetórias densas de movimento que abrangem o vídeo inteiro
- O modelo pode ser usado em várias aplicações, como transformar imagens estáticas em vídeos dinâmicos com repetição fluida ou permitir que usuários interajam de forma realista com objetos em fotos reais
- O modelo pode simular a resposta da dinâmica de objetos à excitação de usuários em interação
- É possível reduzir ou ampliar os movimentos ajustando a amplitude das texturas de movimento
- É possível gerar vídeos em câmera lenta interpolando as texturas de movimento previstas
- Os pesquisadores reconhecem as contribuições de Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo e Lucy Chai pela revisão, comentários e discussões
- O site usado na demonstração foi emprestado do nerfies, com agradecimentos a Keunhong
Ainda não há comentários.