Subs AI - Gerar automaticamente legendas de vídeos com o OpenAI Whisper

 (github.com/abdeladim-s)
29 pontos por xguru 2023-08-17 | 5 comentários | Compartilhar no WhatsApp
  • Gerador automático de legendas que funciona totalmente offline
  • Linux/macOS/Windows
  • Suporte a várias implementações do Whisper: whisper-timestamped, whisper.cpp, faster-whisper, whisperX
  • Recurso de edição de legendas
  • Oferece funcionalidade de tradução usando o dl-translate (modelo M2M do Facebook)
  • Web-UI + CLI + pacote Python
  • Processamento em lote via CLI e possibilidade de desenvolver seus próprios scripts com o pacote Python
  • Suporte a formatos de legenda como SubRip(SRT), WebVTT, MicroDVD, MPL2, TMP etc.

Leituras relacionadas

5 comentários

 
markmc 2023-08-18

Também existe um app para Mac com função semelhante. Ele captura a saída de áudio do Mac para gerar texto e permite traduzir ao integrar as APIs do Google Tradutor/DeepL.
https://apps.apple.com/us/app/id6450404233
 
xguru 2023-08-18

Eu também testei o WhisperMate e achei bem caprichado. No Mac, parece ser uma ótima opção. Tomara que no Windows também saia algo tão bem feito assim.
 
botplaysdice 2023-08-18

Como o caption gerado automaticamente fornecido pelo YouTube é criado? O Whisper é realmente incrível. Uma das coisas que mais impressionam no app do ChatGPT é que, além das respostas do ChatGPT, o reconhecimento de voz para entrada é realmente impressionante. Fico admirado toda vez que uso...
 
jujumilk3 2023-08-17

Se usar isso junto com o DeepL que saiu hoje, dá até arrepios.
 
xguru 2023-08-17

Eu testei executando com Docker no Windows e funcionou bem.
Também dá para alternar entre os modelos e testar o reconhecimento, e ele gera as legendas direitinho.
Para inglês, o resultado é excelente, mas em coreano ainda há alguns erros.
O desempenho de tradução não é grande coisa, então acho melhor gerar em inglês e usar outro tradutor.