Como fazer fine-tuning de LLMs como o GPT com um dataset customizado

• Fazer fine-tuning com LoRA e Adapter usando o Lit-Parrot, uma implementação open source baseada no nanoGPT
  • Suporta LLMs como StableLM, Pythia e RedPajama
  • Usa FlashAttention do PyTorch
• No exemplo, o modelo RedPajama-INCITE é ajustado com o dataset de instruções Dolly 2.0 da Databricks