Lit-LLaMA - implementação open source do LLaMA baseada em nanoGPT

• Open source completamente desenvolvido de forma separada, com licença Apache 2.0 e baseado em nanoGPT, em vez do código do LLaMA sob licença GPL
• Implementado em um único arquivo, sem boilerplate, o que o torna simples, e numericamente idêntico aos modelos existentes
• Suporta FlashAttention, quantização, fine-tuning com LoRA e pré-treinamento
• Otimizado para rodar em hardware de consumo

[xguru]

nanoGPT é um código em que Andrej Karpathy, ex-chefe de IA da Tesla, reescreveu o minGPT.
nanoGPT - open source para treinar/ajustar finamente GPTs de porte intermediário da forma mais rápida

FlashAttention