Distill - Servidor de API em Rust para web scraping + análise com LLM

É um servidor de API em Rust que faz scraping de páginas web e extrai dados estruturados com LLM.

Principais recursos:

• Suporte a renderização de JavaScript com base em Headless Chrome
• Integração com a API Gemini para analisar imediatamente os resultados do scraping
• Respostas estruturadas com base em JSON Schema
• Processa 50 requisições simultâneas com pooling de abas
• Recursos de segurança integrados, como prevenção de SSRF e comparação de chaves de API em tempo constante

Exemplo de uso:
Ao enviar uma URL e um prompt de análise para POST /scrape,
o conteúdo da página e o resultado da análise do LLM são retornados em JSON.

Foi criado como uma alternativa self-hosted a serviços como JinaAI e Firecrawl.
Se você só precisa de scraping, também pode usá-lo sem LLM.

• GitHub: https://github.com/lee-lou2/distill