TorchTune - biblioteca PyTorch da Meta para fine-tuning de LLMs

• Biblioteca nativa em PyTorch para fine-tuning que facilita criar, ajustar e experimentar com LLMs
• Implementações nativas em PyTorch de LLMs populares
• Suporte a checkpoints em vários formatos, incluindo checkpoints no formato HF
• Fornece receitas de treinamento para técnicas de fine-tuning amplamente usadas, com benchmarks de referência e verificações abrangentes de precisão
• Avaliação de modelos treinados por meio do harness de avaliação da EleutherAI
• Integração com datasets do HuggingFace para treinamento
• Suporte a treinamento distribuído usando FSDP do PyTorch Distributed
• Configuração em YAML para facilitar a execução de treinamentos
• [Em breve] Suporte a dtypes de baixa precisão e técnicas de quantização do TorchAO
• [Em breve] Suporte à integração com diversos motores de inferência