Nvidia 4090 e M1/M2/M3 comparados com o Whisper usando MLX

• Benchmark de desempenho do framework de machine learning MLX, apresentado pela Apple
• Transcrição de um áudio de 10 minutos com o Whisper
  • M1 Pro (modelo de 2021) + MLX + 32 GB de RAM: 216 segundos
  • i7 + 4090 + 64 GB de RAM: 186 segundos
    • A GPU de 2.000 € é 30 segundos (16%) mais rápida que o M1
  • M2 Ultra (76 GPU): 95 segundos
  • M3 Max (40 GPU): 100 segundos
• Usando o insanely-fast-whisper, otimizado para a Nvidia, o 4090 conclui em apenas 8 segundos
  • Ao rodar esse modelo no M1, ele leva mais tempo: 359 segundos

[xguru]

MLX - framework de arrays semelhante ao Numpy para Apple Silicon