llama-tokenizer-js - Tokenizador LLaMA executado no navegador

• Pode ser usado para calcular tokens com precisão no lado do cliente
• Fácil de usar como um único arquivo, sem nenhuma dependência
• Compatível com a maioria dos modelos baseados em LLaMA
• Consegue tokenizar cerca de 2 mil tokens em até 20 ms