Implementação em TypeScript do LLMLingua-2

Projeto open source que porta do Python para TypeScript o LLMLingua, um "compressor de prompts universal baseado em LLM" desenvolvido pela Microsoft, para que possa ser usado em ambientes mais diversos.

O que é o LLMLingua?

• GeekNews: "Microsoft LLMLingua - Compactando prompts para acelerar a inferência e reduzir custos"
• Página oficial do LLMLingua-2
• Atualmente distribuído com implementação oficial na linguagem Python.

Implementação em TypeScript do LLMLingua-2

• Demo de compressão de prompts (GitHub Pages)
  • JavaScript + React + Vite
  • Requisitos para testar a demo: navegador com suporte a WebGPU (Google Chrome no Windows/macOS etc.)
• Código-fonte: disponível no GitHub e no HuggingFace
• Pacote (npm): npm install @atjsh/llmlingua-2

Destaques

• Port da pipeline do LLMLingua-2, que era escrita em Python, para TypeScript puro
• Bibliotecas usadas na implementação: js-tiktoken, transformer.js e TensorFlow.js
• Suporte a Node.js ainda está em desenvolvimento adicional (mas já pode ser testado agora)
• Open source sob licença MIT

Ainda em estágio inicial

• Alguns recursos, como use_context_level_filter e return_word_label, ainda não foram implementados
• Até mesmo o recurso principal de compressão de prompts pode ter partes implementadas incorretamente em comparação com o LLMLingua-2 original...