CRoM v1.0.2 toolkit open source - menos consumo de tokens, mais velocidade e prevenção de degradação em conversas longas

Estou lançando a nova versão v1.0.2 do CRoM (Context Rot Mitigation for Efficient LLMs), que criei e venho atualizando continuamente.

CRoM é um toolkit em Python que ajuda a mitigar problemas de Context Rot em prompts longos (perda de clareza nas instruções, desvio de raciocínio e perda de memória), permitindo que LLMs usem o contexto de forma mais estável e eficiente.

🔑 Principais recursos:
▫️Budget Packer: comprime com estabilidade apenas os textos importantes dentro do orçamento de tokens
▫️Hybrid Reranker: reordenação de documentos com base em TF-IDF + embeddings densos
▫️Drift Estimator: monitora mudanças semânticas entre respostas
▫️Observability: monitoramento com base em métricas do Prometheus
▫️Extensão por plugins: suporte a FlashRank, LLMLingua e Evidently
▫️Benchmarking: avaliação end-to-end e análise de desempenho via CLI

📊 Na versão mais recente v1.0.2, foram incluídas correções de ImportError e SyntaxError, melhorias na consistência do gerenciamento de versões, testes de integração (mais de 10 casos) e validação de desempenho com mais de 1.000 documentos.

🔗 Links
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️História de criação: https://medium.com/p/ab356e656d88