Web LLM - Executando LLMs acelerados no navegador com WebGPU
(github.com/mlc-ai)- Executa LLMs como LLaMA e Vicuna no navegador sem servidor usando WASM
- Acelera com WebGPU, mas também oferece suporte separadamente aos backends de GPU suportados pelo Apache TVM (CUDA, OpenCL, Vulkan)
- Usa a tecnologia MLC (Machine Learning Compilation)
Ainda não há comentários.