FFmpeg 8.0 adiciona suporte ao Whisper

• A versão 8.0 do FFmpeg adiciona oficialmente suporte ao modelo de reconhecimento de voz Whisper
• O Whisper é um modelo open source de reconhecimento de voz desenvolvido pela OpenAI, usado para transcrição automática de fala em vários idiomas
• Com a introdução desse recurso, aumenta a possibilidade de automatizar diretamente fluxos de trabalho de fala para texto em tarefas de processamento de vídeo e áudio
• A utilidade e a eficiência do FFmpeg foram bastante reforçadas para desenvolvedores e para a área de automação de mídia
• Ao incorporar recursos mais recentes de reconhecimento de voz, reduz-se a necessidade de ferramentas externas adicionais ou de processos complexos de integração

---

Visão geral do suporte ao Whisper no FFmpeg 8.0

• A versão 8.0 do FFmpeg, ao adicionar suporte ao modelo de reconhecimento de voz Whisper, passa a oferecer a capacidade de converter automaticamente dados de áudio em texto em diversos idiomas
• O Whisper utiliza um algoritmo baseado em deep learning criado pela OpenAI, garantindo alto nível de precisão na transcrição de fala para texto
• Usuários atuais do FFmpeg passam a contar com a praticidade de gerar legendas ou extrair conteúdo falado de arquivos de vídeo e áudio por meio do suporte embutido ao Whisper, sem precisar recorrer a ferramentas externas

Principais benefícios da integração do Whisper

• Com a integração do Whisper, torna-se possível implementar fluxos de trabalho de reconhecimento de voz eficientes e altamente escaláveis em pipelines de processamento e automação de mídia baseados em FFmpeg
• Com o algoritmo de reconhecimento de voz embutido, os desenvolvedores ganham a vantagem de obter resultados de transcrição com comandos simples, sem o peso de integrações adicionais complexas ou da criação de scripts separados

Importância industrial da combinação FFmpeg + Whisper

• Em áreas como gestão de grandes acervos de mídia, geração de legendas e arquivamento de dados de vídeo, a combinação FFmpeg + Whisper tem como ponto forte entregar ao mesmo tempo eficiência de custos e automação
• Antes era necessário integrar ao FFmpeg uma ferramenta open source separada de reconhecimento de voz, mas agora, com o processamento direto no próprio FFmpeg, é possível esperar simplificação do fluxo de trabalho e melhora na velocidade de processamento

Detalhes técnicos

• Foi adicionado ao FFmpeg um filtro de áudio baseado na biblioteca Whisper.cpp, capaz de realizar reconhecimento automático de fala (ASR) diretamente dentro do FFmpeg
• Pode ser ativado com a opção --enable-whisper, e o caminho do modelo (model) é obrigatório
• Principais opções: configuração de idioma (language), uso de GPU (use_gpu), tamanho da fila (queue), formato de saída (format: text/srt/json) e configuração de modelo e limite de VAD (detecção de atividade de voz), entre outras
  • Se o valor de queue for pequeno, a resposta em tempo real melhora, mas a precisão cai e a carga de CPU aumenta; se for grande, a precisão sobe, mas a latência aumenta
  • Com a opção destination, é possível salvar os resultados em arquivo, URL ou metadados de saída, e o protocolo AVIO também é suportado
• Estão incluídos exemplos de cenários como geração de legendas SRT, envio HTTP em formato JSON e transcrição em tempo real com entrada de microfone (usando VAD)
  • Exemplo de geração de arquivo de legenda SRT

    ffmpeg -i input.mp4 -vn \  
    -af "whisper=model=../whisper.cpp/models/ggml-base.en.bin:language=en:queue=3:destination=output.srt:format=srt" \  
    -f null -