tts-bench - benchmark para comparar modelos de TTS localmente

• Benchmark open source para comparar 55 modelos locais de TTS em qualquer hardware sob três perspectivas
• Composto por três lentes: Speed (velocidade)/Listen (escuta)/Scores (métricas objetivas), com medições em CPU/CUDA/Apple Silicon
  • Em Speed, mede TTFA frio/quente (tempo até o primeiro áudio), RTF (multiplicador em relação ao tempo real) e memória
  • Listen reproduz inline todos os modelos e prompts com voz padrão + clonagem, para escolher o modelo diretamente pelo ouvido
  • Scores avalia UTMOS (naturalidade), WER (clareza) e SIM (fidelidade da clonagem) no estilo seed-tts-eval
• Oferece um site de demos onde é possível ouvir todos os modelos sem instalação, com navegação por prompt/modelo
• Entre os 55, 41 modelos permitem clonagem de voz (voice cloning) com clipe de referência, com suporte a 3 formatos de referência (apenas wav / wav + transcrição / wav com gate no HF)
• Nem todos os 55 oferecem suporte a coreano, mas inclui modelos multilíngues/com suporte a coreano como Supertonic, VoxCPM, OmniVoice
  • Porém, como os prompts padrão do benchmark são centrados em inglês/francês, para verificar a qualidade em coreano é melhor rodar Listen/compare com frases em coreano separadamente e confirmar ouvindo
  • Nos testes, os modelos acima, Supertonic, VoxCPM e OmniVoice, mostraram uma qualidade aceitável
• Top na votação A/B de clonagem — OmniVoice (melhor correspondência de timbre, mas pode embaralhar/omitir palavras), Echo-TTS (nível de 1º lugar empatado, 44.1kHz), IndexTTS-2 (3º lugar, mantém a entonação)
• O código do benchmark é licenciado sob MIT; cada modelo de TTS segue sua própria licença