LLaMA-rs - LLaMA implementado em Rust

• Projeto que faz o port de llama.cpp para Rust
• Suporte a modelos nas versões f16 ou quantizadas em 4 bits
• Assim como o original, usa a biblioteca de tensores ggml tal como está para oferecer o mesmo desempenho do original

[xguru]

Também existe uma implementação do LLaMA em Rust: RLLaMA - Rust+OpenCL+AVX2.

llama.cpp - inferência do modelo LLaMA do Facebook em C/C++ puro