IPEX-LLM - Biblioteca PyTorch para executar LLMs em CPUs/GPUs da Intel
(github.com/intel-analytics)- Baseada no Intel Extension for PyTorch (IPEX)
- Otimizada e validada para mais de 50 modelos (LLaMA2, Mistral, Gemma, LLaVa, Whisper etc.)
- Execução com baixa latência em iGPUs locais ou GPUs distribuídas como Arc/Flex/Max
- Boa integração com llama.cpp, HuggingFace, LangChain, LlamaIndex etc.
Ainda não há comentários.