tiktoken - Tokenizer da OpenAI

• Tokenizer BPE (Byte pair encoding) rápido para uso com os modelos da OpenAI
• 3 a 6 vezes mais rápido em comparação com tokenizers existentes (Huggingface)
• Pode ser instalado via PyPI
• Open source em Python + Rust