Torchchat - tornando possível conversar com LLMs em qualquer lugar

• Uma pequena base de código que permite executar LLMs do PyTorch localmente (servidor, desktop, mobile)
  • Executa LLMs em aplicações próprias (C/C++) (desktop ou servidor) e em iOS e Android usando Python
• Interação por linha de comando com LLMs populares como Llama 3/2, Mistral e outros
• Suporte a hardware e sistemas operacionais populares: Linux (x86), Mac OS (M1/M2/M3), Android (dispositivos com suporte a XNNPACK), iOS 17+ (iPhone 13 Pro+)
• Vários tipos de dados: float32, float16, bfloat16
• Suporte a diversos esquemas de quantização
• Múltiplos modos de execução: Python (Eager, compilado) ou nativo (AOT Inductor (AOTI), ExecuTorch)