Riffusion - Stable Diffusion ajustado para gerar música

• Usa o SD 1.5 como está e ajusta finamente o modelo para gerar imagens de espectrograma usando img2txt
• As imagens geradas podem ser convertidas em clipes de áudio reproduzíveis
• É possível modificar o som usando img2img
• Interpolação para permitir loop infinito de clipes curtos de áudio
• Foi transformado em um app web para facilitar o uso, e o código também foi publicado (Next.js + React + Three.js + Tailwind)

Espectrograma : Waveform + Spectrum

• Uma forma de visualizar e representar o espectro de um som usando frequência, amplitude (intensidade) e tempo
• Pode ser calculado a partir do áudio usando STFT (Short-Time Fourier Transform)