Kit de automação de newsletter com LLM criado por um desenvolvedor formado em arqueologia

Olá. Sou um engenheiro que se formou em arqueologia na universidade, mas virou desenvolvedor para tentar resolver o trabalho manual sem fim (literalmente cavar e fazer trabalho braçal).

Depois de muito pensar, estou compartilhando como open source um motor de automação de newsletter (LLM Newsletter Kit) que criei para meu próprio uso.

Atualmente, esse motor é o núcleo da newsletter sobre patrimônio cultural "Research Radar", que eu opero, e foi otimizado para manter uma taxa de cliques (CTR) de 15% enquanto o custo de API de LLM por edição fica em torno de $0.20.

Não é apenas uma coleção simples de links, mas um pipeline em que o LLM analisa e resume o conhecimento de um domínio especializado para fornecer insights.

Contexto do desenvolvimento e um relato sincero

Por ser baseado em código, acredito que talvez ele não seja amplamente usado pelo público em geral, em comparação com ferramentas no-code, por causa da barreira de entrada maior. Desde o início, em vez de ter como objetivo algo amplamente usado, eu o criei para resolver uma necessidade muito clara que eu tinha.

No começo, era uma "newsletter especializada em patrimônio cultural" feita para eu mesmo acompanhar. Depois, abri o serviço para que qualquer pessoa pudesse assinar.

Durante o desenvolvimento, o código-fonte e a lógica de domínio de patrimônio cultural ficaram fortemente acoplados. Para resolver isso, abstraí a estrutura com DI (injeção de dependência) e a separei em uma biblioteca que qualquer pessoa pode usar.

npm i @llm-newsletter-kit/core

Atualmente, meu serviço também está em operação após migrar e abandonar o código legado fortemente acoplado do passado, passando a se basear neste core open source.

Filosofia de design: "Logic in code, reasoning in AI"

Escolhi código em vez de ferramentas no-code por causa da minha filosofia de design. "A lógica no código, o raciocínio na IA e as conexões na arquitetura (Logic in code, reasoning in AI, connections in architecture)."

Ferramentas no-code são convenientes, mas tinham limites claros para implementar lógicas complexas. Controlei os workflows decisivos com código type-safe (TypeScript) e deleguei apenas a análise inteligente ao LLM, o que permitiu implementar lógicas sofisticadas como self-reflection e validação em múltiplas etapas.

Principais características

Design Type-First & DI: foi escrito em TypeScript, e todas as etapas, como crawling, análise e geração, são baseadas em interfaces de Provider, então é possível trocar componentes como se estivesse substituindo peças.

Bring Your Own Scraper: não há lock-in com uma biblioteca específica. É possível injetar e usar de forma assíncrona qualquer coisa que você quiser, como Puppeteer, Cheerio ou até parsers baseados em IA.

Production Ready: para operação real, conta com lógica de retries, opções de cadeia e 100% de cobertura de testes.

Links

• GitHub (Core): https://github.com/kimhongyeon/llm-newsletter-kit-core
• Exemplo de resultado real (Research Radar): https://heripo.com/research-radar-newsletter-example.html
• Código da implementação de referência: https://github.com/kimhongyeon/heripo-research-radar

Obrigado. Feedback é sempre bem-vindo!