Firecrawl - ferramenta que torna um site inteiro utilizável por LLMs

• Rastreia sites e os converte em Markdown ou dados estruturados utilizáveis por LLMs
• Ao enviar uma URL pela API, rastreia todas as subpáginas e fornece dados limpos de cada uma delas
• Oferece SDKs para Python, Node, Go e Rust
• Suporta integração com LangChain, Llama Index, Dify, Langflow, Zapier e outros

[hoonix]

Não oferece suporte a rastreamento de subníveis, mas apresento um conversor de formato de documentos com objetivo semelhante.
https://github.com/DS4SD/docling

[laeyoung]

Não está funcionando tão bem quanto eu queria.