2 pontos por wedding 13 일 전 | 1 comentários | Compartilhar no WhatsApp

Estou desenvolvendo um LLM on-device para Android.

Antes eu usava whisper.cpp, mas como não havia aceleração por GPU, sentia falta de mais velocidade.
Depois que o LiteRT-LM foi lançado, e especialmente com a aplicação de MTP, concluí que a velocidade era bastante superior, então avancei com o trabalho de portabilidade
e consegui um resultado satisfatório.

Também executei os resultados de benchmark de vários modelos publicados na comunidade LiteRT.

Estou publicando caso isso possa ser útil para alguém.

1 comentários

 
wedding 10 일 전

O suporte ao Parakeet ASR foi implementado e o suporte ao Whisper ASR está em implementação.