Edição de Vídeo Open Source sem Treinamento

Compartilharam em open source tanto o método quanto o código para permitir edição de vídeo livre, sem treinamento (training-free).🌱

• Edição de vídeo: refere-se a gerar um vídeo adicionando ao vídeo de entrada aquilo que o usuário deseja por meio de um prompt de texto. (Ou seja, a consistência entre o vídeo de entrada e o de saída é importante.)
• Edição de vídeo sem treinamento: sem treinamento, durante o processo de inferência, manipula-se o vetor latente dentro do modelo de diffusion para induzir a geração do vídeo de acordo com o prompt de texto desejado pelo usuário.🐬

Foi criado código para possibilitar video editing com base no modelo WAN2.1-T2V-1.3B, que vem ganhando destaque recentemente em video generation.🔮

• Aplicaram ao WAN2.1 métodos sem treinamento que já eram usados em image editing.
  • FlowEdit & FlowAlign

Além disso, o autor propõe um método chamado WANAlign2.1🌠.🛠️

• É uma abordagem que aplica masking apenas às áreas a serem editadas no attention map, melhorando ainda mais a consistência com o vídeo de entrada.

🌟🌟Espero que usem à vontade e, se achou interessante, deixe uma estrela🌟🌟!!