Biblioteca de chunking ultrassimples para Node.js

Hoje eu tinha apresentado um banco de dados vetorial simples que fiz para prototipagem com LLM..(https://pt.news.hada.io/topic?id=10798)

No embalo, também criei uma biblioteca de chunking de texto ultrassimples para Node.js.

Quase não existe nada simples para usar ao fazer embeddings de documentos com LLM, e para Node.js menos ainda, então eu sempre ficava incomodado de ter que usar bibliotecas grandes toda vez. (Sem nem pensar em usar no Edge)

Como já tinha feito o VectorDB de forma simples, acabei criando isso para usar junto; e, já que a ideia é usar com LLM, na maioria dos casos não precisa ser algo extremamente preciso, então deixei pronto apenas o essencial: cortar por frases/parágrafos de forma simples e permitir ajustar o overlap de maneira adequada.

Depois de usar por um momento, fica claro mais uma vez: seja o que for, It just works, simple is the best. hahaha

[golbin]

Produto irmão: vetorDB ultrassimples para Node.js -> https://pt.news.hada.io/topic?id=10798