Mistral-finetune - Fazendo fine-tuning dos modelos da Mistral

• Base de código leve que permite fazer fine-tuning dos modelos da Mistral com eficiência de memória e desempenho
• Baseado em LoRA, a maior parte dos pesos fica congelada e apenas 1–2% de pesos adicionais são treinados na forma de Low-Rank Matrix Perturbation
• Para maximizar a eficiência, é recomendável usar GPUs A100 ou H100, e a base de código é otimizada para configuração de treinamento em nó único com múltiplas GPUs, mas para modelos pequenos como o 7B, uma única GPU também é suficiente

Nota: o objetivo deste repositório é oferecer um ponto de entrada simples e guiado para ajustar finamente modelos da Mistral. Por isso, ele adota escolhas bastante opinativas (especialmente em relação à formatação de dados) e não busca ser abrangente para várias arquiteturas de modelos ou tipos de hardware. Para uma abordagem mais geral, vale conferir outros ótimos projetos, como o torchtune