MusicLM, IA que gera música a partir de texto

• Artigo publicado pelo Google Research
• Gera músicas muito fiéis à descrição em texto: "melodia de violino calma sobre um riff de guitarra com distorção"
• Gera música de vários minutos em 24 kHz ao formular a tarefa como modelagem hierárquica entre sequências
• Supera com folga os sistemas existentes tanto em qualidade de áudio quanto em aderência à descrição em texto
• Também consegue transformar estilos de melodia como assobio ou humming
• É possível gerar áudio em modo história fornecendo vários prompts em sequência
• Foi lançado o dataset MusicCaps, composto por 5,5 mil pares de música-texto

[jin225675]

É realmente impressionante conseguir tirar um nível de qualidade desses só com texto!
Mas ainda há muitas coisas que soam bem estranhas, então talvez isso acabe sendo mais usado por criadores para obter ideias.

[xguru]

Riffusion - Stable Diffusion ajustado com fine-tuning para gerar música