- Ao processar 5.559 áudios do LibriSpeech no Apple M2 Pro com o mesmo código de produção, o SpeechAnalyzer foi mais preciso que todos os mecanismos testados, com taxa de erro de palavras (WER) de 2,12% em áudio limpo e 4,56% em áudio com mais ruído
- O WER do SFSpeechRecognizer existente foi de 9,02% e 16,25%, respectivamente; a nova API reduziu os erros em 3,5 a 4 vezes no mesmo áudio, além de aplicar pontuação e maiúsculas/minúsculas
- O SpeechAnalyzer foi mais preciso que o Whisper Small e cerca de 3 vezes mais rápido, mas seu suporte é limitado a cerca de 30 localidades e a plataformas Apple com OS 26 ou superior
- Todos os mecanismos rodaram no M2 Pro cerca de 12 a 40 vezes mais rápido que o tempo real, processando 1 hora de áudio em 1,5 a 5 minutos, mas velocidades precisas por mecanismo não foram divulgadas porque havia trabalho de desenvolvimento em paralelo no ambiente
- Se hoje você transcreve inglês on-device em um iPhone ou Mac, o SpeechAnalyzer pode ser a primeira opção; o Inscribe também alterou a configuração padrão para usar SpeechAnalyzer nos idiomas compatíveis e Whisper nos demais
Resultados do benchmark de precisão
- A taxa de erro de palavras (WER) é a proporção em que o mecanismo substitui, omite ou inventa palavras incorretamente; quanto menor, mais preciso
- Todos os mecanismos foram executados totalmente on-device em um Apple M2 Pro com 32 GB e macOS 26.5.1
- Foram usados dois conjuntos de avaliação do LibriSpeech
test-clean: 2.620 áudios narrados de forma limpatest-other: 2.939 áudios mais difíceis e com mais ruído
- O WER e o tamanho do modelo por mecanismo foram os seguintes
- Apple SpeechAnalyzer:
test-clean2,12%,test-other4,56%, modelo do sistema - Whisper Small: 3,74%, 7,95%, cerca de 460 MB
- Whisper Base: 5,42%, 12,51%, cerca de 140 MB
- Whisper Tiny: 7,88%, 17,04%, cerca de 40 MB
- Apple SFSpeechRecognizer: 9,02%, 16,25%, modelo do sistema
- Apple SpeechAnalyzer:
- A Apple substituiu o SFSpeechRecognizer por SpeechAnalyzer·SpeechTranscriber no iOS 26 e macOS 26, mas não divulgou números de precisão
- O Inscribe oferece os dois mecanismos da Apple e três modelos Whisper, permitindo comparar os cinco mecanismos no mesmo computador, com o mesmo áudio e o mesmo caminho de código de produção
Por que migrar do SFSpeechRecognizer
- O SpeechAnalyzer reduz o WER em 3,5 a 4 vezes em relação à API anterior no mesmo áudio
- Áudio limpo: queda de 9,02% para 2,12%
- Áudio com mais ruído: queda de 16,25% para 4,56%
- Além da precisão, ele gera texto com pontuação e maiúsculas/minúsculas, produzindo resultados mais bem formatados que o mecanismo anterior
- Ao transcrever a mesma 1 hora de áudio, a API anterior reconhece incorretamente cerca de 4 vezes mais palavras que o SpeechAnalyzer
- Para apps que processam áudios mais longos do que comandos de voz, a diferença de precisão por si só já é uma razão suficiente para migrar
Critérios para escolher entre SpeechAnalyzer e Whisper
- O SpeechAnalyzer registrou WER menor que o Whisper Small, o maior modelo Whisper entre os testados, em ambos os conjuntos de dados
- O tempo de processamento por segundo de áudio também foi cerca de um terço do Whisper Small, superando-o tanto em precisão quanto em velocidade
- Ao processar inglês em hardware Apple, o SpeechAnalyzer apresentou o resultado mais forte entre os mecanismos on-device testáveis
- O Whisper ainda mantém duas vantagens
- Suporta muito mais idiomas, enquanto o SpeechTranscriber oferece suporte a cerca de 30 localidades
- Pode ser executado em vários ambientes, sem ficar limitado a plataformas Apple com OS 26 ou superior
- Com base nos resultados medidos, o mecanismo
Autodo Inscribe foi alterado para priorizar SpeechAnalyzer nos idiomas compatíveis e Whisper nos demais
Velocidade de processamento e limitações da medição
- Todos os cinco mecanismos rodaram no M2 Pro cerca de 12 a 40 vezes mais rápido que o tempo real
- Foi possível transcrever 1 hora de áudio on-device em cerca de 1,5 a 5 minutos
- O SpeechAnalyzer foi cerca de 3 vezes mais rápido que o Whisper Small e registrou WER menor
- Durante as medições de precisão, também havia trabalho de desenvolvimento rodando no mesmo computador, adicionando ruído aos tempos de processamento por mecanismo
- Essa carga de trabalho não afeta o WER
- Uma tabela precisa de velocidade por mecanismo será adicionada após nova medição em um ambiente dedicado e ocioso
Reprodutibilidade e dados públicos
- As medições do Whisper ficaram próximas dos resultados do LibriSpeech publicados pela OpenAI, confirmando a consistência do harness de benchmark
- Whisper Tiny
test-clean: medido 7,88%, OpenAI 7,6%, diferença +0,28 p.p. - Whisper Base
test-clean: 5,42%, 5,0%, +0,42 p.p. - Whisper Small
test-clean: 3,74%, 3,4%, +0,34 p.p. - Whisper Tiny
test-other: 17,04%, 16,9%, +0,14 p.p. - Whisper Base
test-other: 12,51%, 12,4%, +0,11 p.p. - Whisper Small
test-other: 7,95%, 7,6%, +0,35 p.p.
- Whisper Tiny
- O motivo de todas as medições terem ficado ligeiramente mais altas é um normalizador de texto mais rigoroso e a quantização CoreML
- Como o mesmo corpus, normalizador e avaliador foram aplicados também aos mecanismos da Apple, a correspondência com os resultados do Whisper serve de base para validar as medições da Apple
- Os resultados reconhecidos por frase, os textos de referência e o WER por frase foram publicados para permitir nova pontuação com outros métodos de normalização
- summary.json: resumo legível por máquina de 3 KB com 10 medições
- raw-transcripts-apple.json.gz: 5.559 resultados do SpeechAnalyzer, 620 KB
- raw-transcripts-legacy.json.gz: 5.559 resultados do SFSpeechRecognizer, 620 KB
Como o WER foi medido e validação on-device
- Cada mecanismo foi executado não com uma configuração experimental, mas com o caminho de código de produção e as configurações de buffering realmente usados pelos usuários do Inscribe
- Os textos de referência do LibriSpeech estão em maiúsculas, sem pontuação e com números escritos por extenso, mas mecanismos modernos retornam saída com pontuação e números
- O mesmo normalizador, que trata maiúsculas/minúsculas, pontuação, conversão de números em palavras e contrações, foi aplicado aos dois textos
- Para não penalizar mecanismos que geram formatação agradável, o texto bruto não foi pontuado diretamente; foi seguido o método de normalização de inglês da OpenAI
- Para evitar que frases curtas tivessem peso excessivo, foi usado o WER de corpus, dividindo o total de erros pelo total de palavras de referência, em vez da média de WER por frase
- O SFSpeechRecognizer pode, por padrão, enviar áudio para servidores da Apple, então o reconhecimento on-device foi forçado
- Como uma troca automática para a nuvem invalidaria a comparação, o harness foi configurado para recusar a execução
- Também foi uma medida para evitar o upload de 5.559 áudios para servidores em um produto focado em privacidade
- Casos em que não houve retorno de resultado não foram ocultados, e o WER da frase correspondente foi calculado como 100%
- Isso ocorreu uma vez entre 27.795 transcrições, em um caso do
test-otherdo SFSpeechRecognizer
- Isso ocorreu uma vez entre 27.795 transcrições, em um caso do
Bug de produto encontrado no benchmark
- O recurso de importação de arquivos com o mecanismo da Apple no Inscribe entregava o áudio ao SpeechAnalyzer e fechava o fluxo de entrada, mas não chamava
finalizeAndFinishThroughEndOfInput() - Sem essa chamada, o analisador não entregava o resultado final, fazendo a importação de arquivos travar indefinidamente
- Como a configuração
Autopriorizava o Whisper até então, esse bug ainda não havia sido descoberto - O problema foi identificado durante o benchmark, e a correção foi distribuída no mesmo dia
Limitações e aplicabilidade prática
- Como apenas fala lida em inglês foi avaliada, os resultados não podem ser aplicados aos mais de 100 idiomas compatíveis com o Whisper, mas não com o SpeechTranscriber
- O LibriSpeech é um corpus padrão comparável, mas não é áudio de reuniões
- Vozes com sotaque, áudio gravado à distância e reuniões com vários participantes serão alvo de avaliações futuras
- As medições foram feitas em apenas uma máquina com M2 Pro e macOS 26.5.1
- Espera-se que a precisão se mantenha em outros Apple Silicon, mas a velocidade varia conforme o chip
- O Whisper foi executado com os modelos quantizados WhisperKit CoreML que o Inscribe realmente oferece
- A implementação de referência em GPU pode ter resultados ligeiramente diferentes, e a diferença em relação aos valores públicos da OpenAI está refletida na tabela de reprodutibilidade
- Atualmente, se você transcreve inglês em um iPhone ou Mac, o SpeechAnalyzer embutido no sistema operacional foi a opção on-device mais precisa nas medições
- O Inscribe usa SpeechAnalyzer nos idiomas compatíveis e Whisper nos demais, executando todo o processamento dentro do dispositivo e sem fazer upload do áudio
1 comentários
Comentários do Hacker News
Whisper não é um bom parâmetro de comparação e, hoje, já existem modelos mais recentes e superiores, como Nvidia Nemotron·Parakeet, Voxtral da Mistral e Cohere Transcribe
Enquanto isso, muitos apps pagos que basicamente só empacotam o Whisper devem ser prejudicados. Se a Apple lançar uma GUI nativa, como um app de gravação para macOS, a maioria desses apps wrapper feitos hoje em dia com vibe coding provavelmente vai se tornar desnecessária
Para gravação no Mac, recomendo o Willow. Ele já organiza o conteúdo e processa quase instantaneamente, então para mim fica num nível de ‘melhor do que uma transcrição perfeita’. Eu também gostava do Superwhisper, mas a diferença foi grande o bastante para eu migrar para o Willow
É tão bom que chega a fazer pensar se ainda há muito espaço para melhorar, e reconhecimento de fala parece um problema já resolvido, ou que no máximo será resolvido em até 5 anos. Não sei se as empresas da área vão sobreviver no longo prazo, mas para o consumidor isso é excelente, e se o Apple SpeechAnalyzer de 2030 ficar bom o bastante, talvez nem seja mais necessário software de terceiros
No meu principal uso, gerar legendas para aulas de matemática, comparado ao Whisper-Large-V2, ele foi muito mais rápido e teve precisão um pouco menor. Para transcrição em tempo real, é perfeitamente utilizável, mas como eu não preciso gerar legendas imediatamente, por enquanto pretendo continuar usando o Whisper
Num iPhone 17 Pro, ele processa 1 hora de áudio em 1 minuto
Seria mais adequado comparar com o Voxtral. Nas minhas transcrições de reuniões, nenhum modelo, aberto ou fechado, teve uma taxa de erro de siglas (AER) tão baixa, e ele entende ou infere quase todos os termos técnicos que uso no trabalho, então quase não preciso corrigir nada. O Whisper foi desastrosamente ruim
Whisper small·tiny·base são modelos com quase 4 anos, e nem mesmo no Whisper v2 ou v3 foram atualizados; talvez já seja hora de usar comparações melhores
Impressionante. A Apple disse que melhorou o modelo no 27, então também fiquei curioso com os resultados medidos da versão beta
Esse é o novo motor de ditado que não roda num iPhone 17 comum de 1 ano atrás só porque ele não é Pro?
Uso o Spokenly com modelos da Nvidia em modo somente offline. Tudo é processado localmente e é totalmente grátis, então recomendo bastante
Seria bom incluir no benchmark o Whisper large e o large v3 turbo. Eles rodam localmente sem problema até em MacBook mais antigo, têm fator em tempo real (RTF) menor que 1 e, ao contrário do que dizem os rankings de ASR, na prática de ditado são bem mais precisos que a linha Parakeet
É estranho o Whisper large v3 turbo ter ficado de fora da comparação, já que ele roda localmente sem problema até em iPhones recentes