LiteRT-LM-Unity - Wrapper Android para Unity do LiteRT-LM
(github.com/Leuconoe)Estou desenvolvendo um LLM on-device para Android.
Antes eu usava whisper.cpp, mas como não havia aceleração por GPU, sentia falta de mais velocidade.
Depois que o LiteRT-LM foi lançado, e especialmente com a aplicação de MTP, concluí que a velocidade era bastante superior, então avancei com o trabalho de portabilidade
e consegui um resultado satisfatório.
Também executei os resultados de benchmark de vários modelos publicados na comunidade LiteRT.
Estou publicando caso isso possa ser útil para alguém.
1 comentários
O suporte ao Parakeet ASR foi implementado e o suporte ao Whisper ASR está em implementação.