AniSora: modelo open source de geração de vídeos de animação

• AniSora é um modelo open source de IA para geração de vídeo desenvolvido pela Bilibili, com suporte a vários estilos como animação, mangá e VTuber
• Permite criar com facilidade vídeos de animação em alta qualidade e alta definição a partir de imagens ou prompts de texto
• Com algoritmos especializados em mangá e animação e uma base em grandes datasets, entrega movimentos realistas e resultados expressivos
• Tem como pontos fortes uma interface intuitiva que até não especialistas podem usar facilmente e um ambiente de colaboração baseado em comunidade
• É adequado para diversos casos de uso, como episódios curtos, PVs, VTubers e concept art

---

O que é AniSora

• AniSora é o mais poderoso modelo open source de geração de vídeos de animação desenvolvido pela Bilibili
• Com um único clique, é possível produzir vídeos em vários estilos, como séries de animação, donghua, obras adaptadas de mangá, VTubers e PVs de anime
• Apenas com uma imagem ou um prompt de texto, cenas estáticas podem ser transformadas em animações dinâmicas e detalhadas
• A pesquisa que fundamenta o AniSora tem como base um artigo técnico de ponta aceito na IJCAI’25

Exemplos do AniSora

• Os vídeos de exemplo gerados com o AniSora mostram a capacidade de transformar imagens estáticas em animações com movimento natural
  • Ex.) uma cena dentro de um carro com o cabelo balançando ao vento, várias garotas levantando as mãos e dançando, motion blur nos movimentos de um personagem correndo em alta velocidade
• O modelo reproduz com realismo diversos elementos importantes para mangás e animações, como expressão emocional, dinamismo corporal e transições de cena

Principais vantagens do AniSora

Algoritmos especializados em estilo de animação/mangá

• Usa uma arquitetura de modelo especializada, treinada com grandes datasets de animação e mangá
• Reproduz com precisão estilos visuais e direções artísticas únicos
• Possibilita saída de alta qualidade que também reflete obras originais de mangá recentes e tendências atuais

Interface intuitiva

• Foi projetado para que até usuários sem familiaridade técnica possam gerar vídeos diretamente
• Com apenas um clique, qualquer pessoa pode experimentar facilmente a criação de vídeos de mangá e VTuber

Suporte a vídeos de animação de alta qualidade

• O AniSora oferece por padrão saída de vídeo em 1080p de alta definição
• Os vídeos são otimizados para várias plataformas e podem ser usados em projetos, redes sociais, PVs e diversos outros canais

Resumo do FAQ do AniSora

O que é AniSora?

• AniSora faz parte do Project Index-AniSora e é um modelo open source de geração de vídeos de animação lançado pela Bilibili
• Apenas com imagens ou prompts de texto, é possível produzir automaticamente vídeos em alta resolução com estilo de animação
• Incorpora resultados de pesquisa recentes com foco em consistência de movimento e expressividade

Diferenças em relação a outras ferramentas de geração de vídeo com IA

• O AniSora foca em desempenho especializado em estilos de animação e mangá
• Como um projeto open source centrado em comunidade e apoiado pela especialização da Bilibili, ele é otimizado para produção de vídeos com propósito específico, como séries de anime, obras adaptadas de mangá e VTubers

Suporte a vídeo e áudio

• Atualmente, o AniSora é um modelo focado em geração de vídeo
• Para saber se há recursos adicionais, como síntese de áudio, é necessário consultar a documentação mais recente

É adequado para criadores de animação/mangá?

• O AniSora é ideal para criadores, especialmente nas áreas de animação, PV, mangá e VTuber, por ser otimizado para consistência de personagens e movimentos expressivos

Principais casos de uso

• Permite uso amplo em curtas de animação, vídeos para redes sociais, PVs, animação de painéis de mangá, VTubers, concept art, storyboards e mais

Qualidade e duração dos vídeos

• O AniSora se destaca na geração de vídeos curtos em alta resolução (1080p)
• Em geral, clips curtos são o formato mais adequado, e as restrições específicas podem ser verificadas na documentação oficial mais recente

Como controlar estilo e movimento

• O usuário pode orientar o estilo visual e o movimento desejados por meio de imagens ou prompts de texto
• Com base em dados da área de animação, há suporte a controles avançados como customização de movimento, consistência de personagens e aplicação de estilos detalhados
• O escopo operacional pode variar de acordo com a versão ou a interface

Conclusão

• O AniSora é um modelo open source de alto desempenho para geração de vídeo com IA, especializado na produção de vídeos de animação, mangá e VTuber
• Seus principais benefícios são reprodução de estilo diferenciada, uso intuitivo e geração de vídeo em alta qualidade
• Com foco em cultura open source de comunidade e apoio a criadores, ele tem alto valor de uso tanto no campo do anime japonês quanto no da animação chinesa

[GN⁺]

Comentários no Hacker News

• Alguns resultados parecem claramente treinados com webtoons, mangás e talvez pixiv, entre outros. Dá para ver isso facilmente em prédios em CG e em vários outros artefatos artificiais. No fim, a conclusão é que foi treinado com material protegido por direitos autorais. Como a arte não é uma área que possa ser gerada de forma sintética do mesmo jeito que texto, artistas humanos sempre vão ocupar um lugar importante, ou então isso só vai continuar produzindo artefatos estranhos. Por isso, fico pensando se no futuro os artistas não acabarão sendo rebaixados a uma categoria profissional voltada ao treinamento de "IA". Mas, por outro lado, também acho que não seria tão ruim se a estrutura fosse as pessoas desenharem o que gostam e isso ser aproveitado no treinamento dos modelos. Sou bastante favorável à IA em questões de direitos autorais e marcas, mas continuo me perguntando o que vai acontecer com muitas das pessoas que nos divertiam. A qualidade vai continuar melhorando, ou estilos mais desafiadores vão desaparecer sob a lógica de que 'é difícil demais para a IA', fazendo tudo ficar parecido? Isso passa uma sensação diferente de PCs e máquinas substituindo pessoas, como se estivéssemos chegando a um ponto final.

  • Sinto compaixão por ilustradores e artistas. Mas acho que não há tanta diferença se os dados de treino forem romances, pinturas, músicas, código ou até documentos jurídicos. Minha mãe também passou da era da máquina de escrever, como tradutora, para um ambiente de corpora e bases de dados de tradução automática, e o volume de trabalho foi diminuindo enquanto os salários caíam. No fim, trabalhos mecânicos e repetitivos estão destinados a ser feitos por robôs mais baratos.
  • Falando como artista que desenha há mais de 30 anos: essa ideia de ser rebaixado a um cargo de apoio ao treinamento de IA não faz sentido. Artistas muitas vezes não desenham só para ganhar dinheiro, mas também por "diversão". Nos últimos 3 anos, esse aspecto essencial sempre ficou de fora das discussões sobre IA, e isso é algo de que sempre senti falta.
  • Rebaixar artistas à categoria de trabalho para "treinamento de IA" não parece tão ruim? Para mim isso é cenário de romance distópico. A maioria dos artistas odeia a ideia de seu trabalho ser usado para alimentar modelos e ser desmontado desse jeito. Isso já não é mais arte, é só servir como peça de uma máquina. Arte não é simplesmente fazer alguns desenhos aleatórios. Numa situação dessas, como os artistas vão sobreviver, quem vai pagar para que cada um desenhe "o que quiser" e entregue isso ao modelo, e quantas pessoas seriam contratadas para isso? Existe uma dúvida fundamental aí. A internet já está cheia de imagens fracassadas, e tenho certeza de que o mercado de spam e fraude para enganar pessoas com isso já ficou maior do que o de criadores de verdade. E isso só vai piorar.
  • O problema que sinto nas discussões sobre IA e direitos autorais é que só as grandes empresas se beneficiam. Em coisas como ChatGPT, obras famosas são bloqueadas automaticamente, mas trabalhos de artistas pequenos não. Ou deve ser aberto para todos, ou para ninguém.
  • Concordo com a defesa dos direitos autorais dos artistas e, ao mesmo tempo, acho muito interessante essa postura de apoiar fortemente a IA em termos de copyright. Para muita gente esse é um tema carregado de emoção, então o normal são opiniões extremas; é raro ver alguém olhando para os dois lados. Fiquei curioso sobre o que você pensa do papel dos direitos autorais na era da IA.

• Será que finalmente estamos chegando à era em que poderemos gerar a tão desejada terceira temporada de Haruhi? Dá mesmo uma sensação de que é um ótimo tempo para estar vivo.

  • Vamos conversar de novo daqui a 5 ou 10 anos. Ainda não parece algo tão próximo assim. Mas fico curioso para ver a direção que isso vai tomar.
  • Esse foi justamente o primeiro anime seriado que eu acompanhei de verdade, sem contar filmes ou coisas como DBZ. Ainda tenho memórias muito vivas. É uma pena enorme que tenha parado por causa do diretor. Se alguém concluísse essa série ou a reiniciasse e levasse até o fim, seria um presente maravilhoso.
  • Ou então eu queria um remake de Neon Genesis Evangelion.
  • Não... espera... isso ainda não terminou? Estou vendo a primeira temporada agora...
  • Eu tinha esquecido completamente desse anime por mais de 10 anos, e só de ouvir falar dele de novo já bateu uma nostalgia enorme.

• Testei com uma ilustração promocional de <i>Neon Genesis Evangelion</i>. O resultado ficou razoável, mas surgiram artefatos temporais na animação do cabelo enquanto a cabeça gira. Também há uma página com coletânea de exemplos e referências.

  • O link não funciona.

• Resumo de um trecho do artigo: "foi introduzido um método de treinamento com comprimento variável, treinando em segmentos de 2 a 8 segundos. Com essa estratégia, é possível gerar vídeos em 720p com duração de 2 a 8 segundos." Quero comparar com o FramePack. Na prática, acho que em animação 2D existe a vantagem de quase não haver restrições de duração de frame.

• Se você se interessa por conteúdo de animação com IA, recomendo participar da competição AniGen.

  • O prazo termina em 20 de maio, então parece que é melhor correr.

• Fico curioso para saber se ele consegue representar o mesmo personagem de forma consistente em diferentes cenas e ângulos. Acho que esse tem sido o limite da geração de imagens até agora.

• Já no primeiro exemplo dá para ver muitos erros. A manga da camisa fica quebrada, e o cabelo em movimento some e reaparece. No fim, em geral só os braços e as nuvens se movem.

• Mesmo trocando a conta e os inputs, sempre aparecem erros estranhos, então não está funcionando direito.

• Fico curioso sobre a situação dos direitos autorais de vídeos feitos com esse tipo de serviço. Quero saber se recebem proteção autoral. A posição atual do Escritório de Direitos Autorais dos EUA é que "resultados de IA generativa só são protegidos por direitos autorais quando um autor humano determinou de forma suficiente os elementos criativos". Se não houver proteção, então ao fazer filmes e similares com esse serviço haveria o risco de serem simplesmente copiados ou plagiados. E, claro, estou deixando de lado a questão de com que dados essa ferramenta foi treinada.

• Queria ver o quanto as cenas de luta de <i>The Beginning After the End</i> mudariam ao passar por essa ferramenta. Estou sinceramente curioso sobre a direção futura disso. Mesmo que haja um pouco mais de erros visuais e artefatos, as pessoas aceitariam isso se significasse ter uma nova temporada de uma franquia de que gostam, ou reagiriam com rejeição, como acontece com o uso desajeitado de modelos 3D?

  • A Toei Animation tem planos de aplicar IA em várias áreas. Por exemplo, na criação de storyboards (geração de layouts simples e ângulos de câmera), designação de cores e correção automática de cor, douga/in-between (line drawing e geração automática de quadros intermediários) e cenários (geração automática a partir de fotos). Como o diretor ainda será responsável pela qualidade final, acho que o resultado pode sair bem, sem artefatos, e também vejo isso de forma positiva porque criadores independentes poderão fazer suas próprias obras, ainda que não sejam perfeitas.
  • Faz sentido discutir isso com seriedade se ainda não houve novas tentativas ou avanços nesse nível? Eu usei na prática e os problemas antigos da IA de geração de vídeo continuam os mesmos. Ela é especialmente fraca para lidar com cenas de ação encadeadas ou dinâmicas, justamente muito comuns em anime. Essa ferramenta também não me satisfez, e a maioria dos modelos fechados (comerciais) também não é grande coisa.
  • Imagino um futuro em que a IA possa ser usada para douga/in-between.