Alpaca-LoRA: Instruct-Tuning do LLaMA com Low-Rank

• Experimentando fazer o ajuste por instruções do LLaMA em hardware pessoal usando Low-Rank Adaptation
• Um modelo que pode rodar em um Raspberry Pi e ainda assim oferece qualidade semelhante ao text-davinci-003
• O código de treinamento pode ser executado em menos de 5 horas em uma única RTX 4090
• Usa o PEFT (Parameter-Efficient Fine-Tuning) da Hugging Face e o bitsandbytes de Tim Dettmers para fine-tuning barato e eficiente