1 pontos por GN⁺ 4 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Ao processar 5.559 áudios do LibriSpeech no Apple M2 Pro com o mesmo código de produção, o SpeechAnalyzer foi mais preciso que todos os mecanismos testados, com taxa de erro de palavras (WER) de 2,12% em áudio limpo e 4,56% em áudio com mais ruído
  • O WER do SFSpeechRecognizer existente foi de 9,02% e 16,25%, respectivamente; a nova API reduziu os erros em 3,5 a 4 vezes no mesmo áudio, além de aplicar pontuação e maiúsculas/minúsculas
  • O SpeechAnalyzer foi mais preciso que o Whisper Small e cerca de 3 vezes mais rápido, mas seu suporte é limitado a cerca de 30 localidades e a plataformas Apple com OS 26 ou superior
  • Todos os mecanismos rodaram no M2 Pro cerca de 12 a 40 vezes mais rápido que o tempo real, processando 1 hora de áudio em 1,5 a 5 minutos, mas velocidades precisas por mecanismo não foram divulgadas porque havia trabalho de desenvolvimento em paralelo no ambiente
  • Se hoje você transcreve inglês on-device em um iPhone ou Mac, o SpeechAnalyzer pode ser a primeira opção; o Inscribe também alterou a configuração padrão para usar SpeechAnalyzer nos idiomas compatíveis e Whisper nos demais

Resultados do benchmark de precisão

  • A taxa de erro de palavras (WER) é a proporção em que o mecanismo substitui, omite ou inventa palavras incorretamente; quanto menor, mais preciso
  • Todos os mecanismos foram executados totalmente on-device em um Apple M2 Pro com 32 GB e macOS 26.5.1
  • Foram usados dois conjuntos de avaliação do LibriSpeech
    • test-clean: 2.620 áudios narrados de forma limpa
    • test-other: 2.939 áudios mais difíceis e com mais ruído
  • O WER e o tamanho do modelo por mecanismo foram os seguintes
    • Apple SpeechAnalyzer: test-clean 2,12%, test-other 4,56%, modelo do sistema
    • Whisper Small: 3,74%, 7,95%, cerca de 460 MB
    • Whisper Base: 5,42%, 12,51%, cerca de 140 MB
    • Whisper Tiny: 7,88%, 17,04%, cerca de 40 MB
    • Apple SFSpeechRecognizer: 9,02%, 16,25%, modelo do sistema
  • A Apple substituiu o SFSpeechRecognizer por SpeechAnalyzer·SpeechTranscriber no iOS 26 e macOS 26, mas não divulgou números de precisão
  • O Inscribe oferece os dois mecanismos da Apple e três modelos Whisper, permitindo comparar os cinco mecanismos no mesmo computador, com o mesmo áudio e o mesmo caminho de código de produção

Por que migrar do SFSpeechRecognizer

  • O SpeechAnalyzer reduz o WER em 3,5 a 4 vezes em relação à API anterior no mesmo áudio
    • Áudio limpo: queda de 9,02% para 2,12%
    • Áudio com mais ruído: queda de 16,25% para 4,56%
  • Além da precisão, ele gera texto com pontuação e maiúsculas/minúsculas, produzindo resultados mais bem formatados que o mecanismo anterior
  • Ao transcrever a mesma 1 hora de áudio, a API anterior reconhece incorretamente cerca de 4 vezes mais palavras que o SpeechAnalyzer
  • Para apps que processam áudios mais longos do que comandos de voz, a diferença de precisão por si só já é uma razão suficiente para migrar

Critérios para escolher entre SpeechAnalyzer e Whisper

  • O SpeechAnalyzer registrou WER menor que o Whisper Small, o maior modelo Whisper entre os testados, em ambos os conjuntos de dados
  • O tempo de processamento por segundo de áudio também foi cerca de um terço do Whisper Small, superando-o tanto em precisão quanto em velocidade
  • Ao processar inglês em hardware Apple, o SpeechAnalyzer apresentou o resultado mais forte entre os mecanismos on-device testáveis
  • O Whisper ainda mantém duas vantagens
    • Suporta muito mais idiomas, enquanto o SpeechTranscriber oferece suporte a cerca de 30 localidades
    • Pode ser executado em vários ambientes, sem ficar limitado a plataformas Apple com OS 26 ou superior
  • Com base nos resultados medidos, o mecanismo Auto do Inscribe foi alterado para priorizar SpeechAnalyzer nos idiomas compatíveis e Whisper nos demais

Velocidade de processamento e limitações da medição

  • Todos os cinco mecanismos rodaram no M2 Pro cerca de 12 a 40 vezes mais rápido que o tempo real
  • Foi possível transcrever 1 hora de áudio on-device em cerca de 1,5 a 5 minutos
  • O SpeechAnalyzer foi cerca de 3 vezes mais rápido que o Whisper Small e registrou WER menor
  • Durante as medições de precisão, também havia trabalho de desenvolvimento rodando no mesmo computador, adicionando ruído aos tempos de processamento por mecanismo
    • Essa carga de trabalho não afeta o WER
    • Uma tabela precisa de velocidade por mecanismo será adicionada após nova medição em um ambiente dedicado e ocioso

Reprodutibilidade e dados públicos

  • As medições do Whisper ficaram próximas dos resultados do LibriSpeech publicados pela OpenAI, confirmando a consistência do harness de benchmark
    • Whisper Tiny test-clean: medido 7,88%, OpenAI 7,6%, diferença +0,28 p.p.
    • Whisper Base test-clean: 5,42%, 5,0%, +0,42 p.p.
    • Whisper Small test-clean: 3,74%, 3,4%, +0,34 p.p.
    • Whisper Tiny test-other: 17,04%, 16,9%, +0,14 p.p.
    • Whisper Base test-other: 12,51%, 12,4%, +0,11 p.p.
    • Whisper Small test-other: 7,95%, 7,6%, +0,35 p.p.
  • O motivo de todas as medições terem ficado ligeiramente mais altas é um normalizador de texto mais rigoroso e a quantização CoreML
  • Como o mesmo corpus, normalizador e avaliador foram aplicados também aos mecanismos da Apple, a correspondência com os resultados do Whisper serve de base para validar as medições da Apple
  • Os resultados reconhecidos por frase, os textos de referência e o WER por frase foram publicados para permitir nova pontuação com outros métodos de normalização

Como o WER foi medido e validação on-device

  • Cada mecanismo foi executado não com uma configuração experimental, mas com o caminho de código de produção e as configurações de buffering realmente usados pelos usuários do Inscribe
  • Os textos de referência do LibriSpeech estão em maiúsculas, sem pontuação e com números escritos por extenso, mas mecanismos modernos retornam saída com pontuação e números
    • O mesmo normalizador, que trata maiúsculas/minúsculas, pontuação, conversão de números em palavras e contrações, foi aplicado aos dois textos
    • Para não penalizar mecanismos que geram formatação agradável, o texto bruto não foi pontuado diretamente; foi seguido o método de normalização de inglês da OpenAI
  • Para evitar que frases curtas tivessem peso excessivo, foi usado o WER de corpus, dividindo o total de erros pelo total de palavras de referência, em vez da média de WER por frase
  • O SFSpeechRecognizer pode, por padrão, enviar áudio para servidores da Apple, então o reconhecimento on-device foi forçado
    • Como uma troca automática para a nuvem invalidaria a comparação, o harness foi configurado para recusar a execução
    • Também foi uma medida para evitar o upload de 5.559 áudios para servidores em um produto focado em privacidade
  • Casos em que não houve retorno de resultado não foram ocultados, e o WER da frase correspondente foi calculado como 100%
    • Isso ocorreu uma vez entre 27.795 transcrições, em um caso do test-other do SFSpeechRecognizer

Bug de produto encontrado no benchmark

  • O recurso de importação de arquivos com o mecanismo da Apple no Inscribe entregava o áudio ao SpeechAnalyzer e fechava o fluxo de entrada, mas não chamava finalizeAndFinishThroughEndOfInput()
  • Sem essa chamada, o analisador não entregava o resultado final, fazendo a importação de arquivos travar indefinidamente
  • Como a configuração Auto priorizava o Whisper até então, esse bug ainda não havia sido descoberto
  • O problema foi identificado durante o benchmark, e a correção foi distribuída no mesmo dia

Limitações e aplicabilidade prática

  • Como apenas fala lida em inglês foi avaliada, os resultados não podem ser aplicados aos mais de 100 idiomas compatíveis com o Whisper, mas não com o SpeechTranscriber
  • O LibriSpeech é um corpus padrão comparável, mas não é áudio de reuniões
    • Vozes com sotaque, áudio gravado à distância e reuniões com vários participantes serão alvo de avaliações futuras
  • As medições foram feitas em apenas uma máquina com M2 Pro e macOS 26.5.1
    • Espera-se que a precisão se mantenha em outros Apple Silicon, mas a velocidade varia conforme o chip
  • O Whisper foi executado com os modelos quantizados WhisperKit CoreML que o Inscribe realmente oferece
    • A implementação de referência em GPU pode ter resultados ligeiramente diferentes, e a diferença em relação aos valores públicos da OpenAI está refletida na tabela de reprodutibilidade
  • Atualmente, se você transcreve inglês em um iPhone ou Mac, o SpeechAnalyzer embutido no sistema operacional foi a opção on-device mais precisa nas medições
  • O Inscribe usa SpeechAnalyzer nos idiomas compatíveis e Whisper nos demais, executando todo o processamento dentro do dispositivo e sem fazer upload do áudio

1 comentários

 
GN⁺ 4 시간 전
Comentários do Hacker News
  • Whisper não é um bom parâmetro de comparação e, hoje, já existem modelos mais recentes e superiores, como Nvidia Nemotron·Parakeet, Voxtral da Mistral e Cohere Transcribe
    Enquanto isso, muitos apps pagos que basicamente só empacotam o Whisper devem ser prejudicados. Se a Apple lançar uma GUI nativa, como um app de gravação para macOS, a maioria desses apps wrapper feitos hoje em dia com vibe coding provavelmente vai se tornar desnecessária

    • Este teste avaliou apenas inglês, mas um ponto forte de outros modelos é reconhecer vários idiomas sem precisar especificar antes qual idioma será usado. No dia a dia, ao ditar em três idiomas, não é preciso ter três atalhos diferentes
    • Fico em dúvida se o Parakeet é mesmo um modelo de ponta. Se alguém gagueja e diz “m-m-m-map”, o Parakeet transcreve literalmente como “m m m map”, o que pode ser vantagem ou desvantagem dependendo do uso. O Whisper não faz isso, e gosto bastante do Cohere Transcribe
    • O Voice Memos da Apple já oferece transcrição automática desde o macOS 15 e o iOS 18
    • Entre esses modelos, só o Parakeet tem menos de 1 bilhão de parâmetros, e ele parece melhor que o modelo da Apple, mas não é integrado ao sistema. Fico curioso para saber como latência e eficiência se comparam
    • Tomara que também substituam o péssimo recurso de digitação por voz do teclado da Apple. É um software simplesmente insuportável
  • Para gravação no Mac, recomendo o Willow. Ele já organiza o conteúdo e processa quase instantaneamente, então para mim fica num nível de ‘melhor do que uma transcrição perfeita’. Eu também gostava do Superwhisper, mas a diferença foi grande o bastante para eu migrar para o Willow
    É tão bom que chega a fazer pensar se ainda há muito espaço para melhorar, e reconhecimento de fala parece um problema já resolvido, ou que no máximo será resolvido em até 5 anos. Não sei se as empresas da área vão sobreviver no longo prazo, mas para o consumidor isso é excelente, e se o Apple SpeechAnalyzer de 2030 ficar bom o bastante, talvez nem seja mais necessário software de terceiros

  • No meu principal uso, gerar legendas para aulas de matemática, comparado ao Whisper-Large-V2, ele foi muito mais rápido e teve precisão um pouco menor. Para transcrição em tempo real, é perfeitamente utilizável, mas como eu não preciso gerar legendas imediatamente, por enquanto pretendo continuar usando o Whisper

    • Estou usando isso em um app de podcast que desenvolvo há seis meses, e na prática é realmente muito rápido. Se você dividir o áudio em vários trechos e executar sem ultrapassar o limite de fluxos de decodificação simultâneos, a velocidade fica absurda; mesmo perdendo um pouco nas bordas entre os trechos, para podcasts isso é totalmente aceitável
      Num iPhone 17 Pro, ele processa 1 hora de áudio em 1 minuto
    • Se é mais rápido, mas com qualidade inferior, talvez o certo não seria comparar com um modelo menor do Whisper?
  • Seria mais adequado comparar com o Voxtral. Nas minhas transcrições de reuniões, nenhum modelo, aberto ou fechado, teve uma taxa de erro de siglas (AER) tão baixa, e ele entende ou infere quase todos os termos técnicos que uso no trabalho, então quase não preciso corrigir nada. O Whisper foi desastrosamente ruim

    • Por isso, normalmente desativo a autocorreção em produtos da Apple. Tenho esperança cautelosa com modelos de voz melhores, mas receio que eles ‘corrijam’ termos técnicos especializados para palavras comuns
  • Whisper small·tiny·base são modelos com quase 4 anos, e nem mesmo no Whisper v2 ou v3 foram atualizados; talvez já seja hora de usar comparações melhores

    • Há muitas opções, e em https://artificialanalysis.ai/speech-to-text/non-streaming dá para pesquisar e filtrar só por suporte a streaming e pesos abertos. No momento, Voxtral e Nvidia Nemotron parecem os melhores
    • Existem muitos modelos e, entre os que me vêm à cabeça recentemente, o Parakeet chamou atenção por ter ganhado até implementações leves independentes
  • Impressionante. A Apple disse que melhorou o modelo no 27, então também fiquei curioso com os resultados medidos da versão beta

  • Esse é o novo motor de ditado que não roda num iPhone 17 comum de 1 ano atrás só porque ele não é Pro?

  • Uso o Spokenly com modelos da Nvidia em modo somente offline. Tudo é processado localmente e é totalmente grátis, então recomendo bastante

  • Seria bom incluir no benchmark o Whisper large e o large v3 turbo. Eles rodam localmente sem problema até em MacBook mais antigo, têm fator em tempo real (RTF) menor que 1 e, ao contrário do que dizem os rankings de ASR, na prática de ditado são bem mais precisos que a linha Parakeet

    • Recomendo testar o MOSS-Transcribe-Diarize, lançado há poucos dias. Ele dá resultados melhores que esses modelos Whisper, é muito rápido e pequeno, e também se sai melhor com áudio cheio de ruído
  • É estranho o Whisper large v3 turbo ter ficado de fora da comparação, já que ele roda localmente sem problema até em iPhones recentes