MLC LLM - solução open source que permite implantar modelos LLM em qualquer dispositivo

 (github.com/mlc-ai)
15 pontos por xguru 2023-05-11 | 1 comentários | Compartilhar no WhatsApp
  • O objetivo é permitir que qualquer pessoa desenvolva e otimize modelos de IA e os implante em qualquer dispositivo
  • Usa MLC (Machine Learning Compilation) e Apache TVM Unity
  • Plataformas compatíveis
    • iPhone/iPad/Android
    • GPU Metal e MacBooks Intel e ARM
    • GPUs AMD/Intel e NVIDIA (Vulkan no Windows/Linux)
    • GPU NVIDIA (CUDA no Windows/Linux)
    • WebGPU no navegador

Leituras relacionadas

1 comentários

 
carnoxen 2023-05-11

Plataformas cruzadas estão em alta de várias formas.