Dinâmica de Imagens Generativas

• Uma abordagem que aplica um prior no espaço da imagem para o movimento de cena a uma única imagem estática, transformando-a em um vídeo em loop ou em uma cena dinâmica interativa
• No treinamento, são usadas trajetórias de sequências de vídeo reais contendo movimentos oscilatórios naturais, como árvores, flores, velas e roupas balançando ao vento
• O modelo lida com movimentos de longa duração no domínio de Fourier e, a partir de uma única imagem de entrada, prevê um volume espectral por meio de amostragem por difusão com ajuste de frequência
• O volume espectral previsto é convertido em uma textura de movimento de todo o vídeo, sendo usado na geração de vídeos em loop e na interação com objetos em fotos reais
• A demo requer um navegador com suporte a WebGL2 e, por velocidade, usa mesh-warping em vez do modelo de renderização de alta qualidade do artigo

---

Criando cenas dinâmicas a partir de imagens estáticas

• Generative Image Dynamics é um método para modelar um prior no espaço da imagem para o movimento de cena
• A entrada é uma única imagem estática, e a saída é um vídeo em loop suave ou uma cena dinâmica com a qual o usuário pode interagir
• É possível ver o artigo, arXiv e material suplementar
• Este trabalho recebeu o CVPR 2024 Best Paper Award

Prior de movimento e método de renderização

• Os dados de treinamento são uma coleção de trajetórias de movimento extraídas de sequências de vídeo reais
  • Exemplos incluem movimentos naturais e oscilatórios, como árvores, flores, velas e roupas balançando ao vento
• O modelo representa um prior denso e de longa duração para movimento no domínio de Fourier
  • Dada uma única imagem, ele prevê um volume espectral com amostragem por difusão com ajuste de frequência
  • O volume espectral pode ser convertido em uma textura de movimento ao longo de todo o vídeo
• Quando combinado com um módulo de renderização baseado em imagem, várias aplicações se tornam possíveis
  • Converte uma imagem estática em um vídeo em loop suave
  • Ao interpretar o volume espectral como uma base modal no espaço da imagem, é possível fazer objetos em fotos reais interagirem de forma realista
  • A resposta dinâmica dos objetos a estímulos do usuário é simulada usando a análise modal de Davis e colaboradores

Demo e usos adicionais

• Na demo, ao clicar, arrastar e soltar um ponto sobre a imagem, é mostrado como a cena se move
  • O navegador deve oferecer suporte a WebGL2
  • Para ganhar velocidade, usa-se mesh-warping em vez do modelo de renderização de alta qualidade apresentado no artigo
• É possível ajustar a amplitude da textura de movimento para reduzir ou aumentar o movimento da animação
• Ao interpolar a textura de movimento prevista, é possível gerar vídeos em câmera lenta
• Trabalhos relacionados incluem Animating Pictures with Stochastic Motion Textures, Image-space Modal Bases for Plausible Manipulation of Objects in Video, Visual Vibration Analysis

[GN⁺]

Opiniões no Hacker News

• Muito legal. Sempre gostei muito de cinemagraphs e, seja em marketing ou em filmagens, venho tentando incluir uma sensação sutil de imobilidade no trabalho, então isso parece poder virar uma ferramenta que eu usaria com frequência
  O segredo de um cinemagraph nota 10 é que quanto mais sutil, maior o impacto. É melhor fazer com que a pessoa que está vendo primeiro pense que é uma foto estática e só depois o cérebro perceba: “espera, tem algo estranho aqui, não é uma foto, é um vídeo”
• As árvores ficam com muita distorção quando você arrasta pelas bordas. Ainda assim, é uma ideia interessante
  • Provavelmente isso precisaria ser combinado com segmentação e preenchimento generativo para a camada de fundo. Felizmente, essa área também avançou bastante
• Na rosa vermelha da primeira foto, as flores do fundo também se movem; fiquei curioso por que o mesmo efeito não aparece na árvore da terceira foto
  Também é interessante que a quantidade de movimento seja diferente na primeira e na segunda fotos, e pode ser algo relacionado a considerar a densidade ao redor do ponteiro. Os exemplos com movimentos lentos são realmente relaxantes de ver
  • Não sei por quê, mas o exemplo da rosa pareceu um pouco assustador
• É bom ver pesquisadores do Google continuarem publicando artigos abertos junto com demos. Não vou repetir de novo aquela história de que o Google falha em transformar pesquisa de IA em produtos ou em liberá-la como open source
• Muito legal. Não vai abalar o mundo nem aumentar a produtividade, mas ainda assim é muito legal
  Parece algo que poderia virar um recurso padrão de papéis de parede de desktop e celular. Se também conseguir lidar com movimentos suaves de água ou nuvens, parece uma boa opção para aplicar seletivamente em fotos em coisas como documentários históricos
• Usaram WebGL na demo. Legal
  • Em videogames isso poderia ser incrível. Dá para imaginar você caminhando por arbustos e as plantas sendo puxadas junto com o corpo
• Isso tem a limitação, assim como o EbSynth, de exigir movimentos vetoriais baixos
  • Acho que a contribuição aqui está principalmente na geração da dinâmica da imagem. Por exemplo, se houver um gato na imagem, o modelo entende que o gato deveria estar respirando, cria o movimento de contração dos pulmões, e o artigo parece tratar de como transformar essa dinâmica da imagem e a imagem original em um vídeo fluido. Posso estar errado
• Parece que falta só um passo para fotos estáticas virarem fotos emolduradas ao estilo Harry Potter
• Uau, parece surreal. Mal posso esperar para testar quando for integrado ao Photoshop