Lit-LLaMA - implementação open source do LLaMA baseada em nanoGPT

• Open source completamente desenvolvido de forma separada, com licença Apache 2.0 e baseado em nanoGPT, em vez do código do LLaMA sob licença GPL
• Implementado em um único arquivo, sem boilerplate, o que o torna simples, e numericamente idêntico aos modelos existentes
• Suporta FlashAttention, quantização, fine-tuning com LoRA e pré-treinamento
• Otimizado para rodar em hardware de consumo