Nvidia revela pipeline de geração de dados sintéticos para treinamento de LLMs

• A NVIDIA anunciou a família de modelos Nemotron-4 340B
  • Pode ser usada para gerar dados sintéticos para o treinamento comercial de LLMs em diversos setores, como saúde, finanças, manufatura e varejo
• Dados de treinamento de alta qualidade desempenham um papel crucial no desempenho, na precisão e na qualidade das respostas de LLMs personalizados. No entanto, conjuntos de dados robustos são caros e difíceis de acessar
• O Nemotron-4 340B oferece um método escalável para que desenvolvedores gerem gratuitamente dados sintéticos que ajudam na criação de LLMs poderosos
  • Inclui modelos Base, Instruct e Reward
  • Forma um pipeline para gerar dados sintéticos usados no treinamento e no aprimoramento de LLMs
  • É otimizado para o NVIDIA NeMo, framework open source, e também é compatível com a biblioteca NVIDIA TensorRT-LLM
  • Já está disponível para download no Hugging Face e também será oferecido como microserviço NVIDIA NIM em ai.nvidia.com

Geração de dados sintéticos com o Nemotron

• LLMs podem ser usados para gerar dados sintéticos de treinamento em situações em que é difícil acessar conjuntos de dados grandes, diversos e rotulados
• O modelo Nemotron-4 340B Instruct pode aumentar o desempenho e a robustez de LLMs personalizados ao gerar diversos dados sintéticos que imitam as características de dados reais
• O modelo Nemotron-4 340B Reward filtra respostas de alta qualidade para melhorar a qualidade dos dados gerados por IA. Esse modelo avalia respostas com base em cinco atributos: utilidade, precisão, coerência, complexidade e verbosidade
• Pesquisadores podem usar o modelo Nemotron-4 340B Base com dados personalizados para criar seus próprios modelos de instrução ou de recompensa

Ajuste fino com NeMo e otimização de inferência com TensorRT-LLM

• Com NVIDIA NeMo e NVIDIA TensorRT-LLM, é possível otimizar a eficiência dos modelos de instrução e de recompensa para gerar dados sintéticos e avaliar respostas
• Os modelos Nemotron-4 340B utilizam paralelismo de tensor, que divide matrizes de pesos individuais entre múltiplas GPUs e servidores para permitir inferência eficiente em larga escala
• Treinado com 9 trilhões de tokens, o modelo Nemotron-4 340B Base pode ser personalizado para casos de uso ou domínios específicos usando o framework NeMo
• O framework NeMo oferece vários métodos de personalização, permitindo aumentar a precisão e melhorar a saída para subtarefas específicas
• Para melhorar a qualidade do modelo, o NeMo Aligner e o modelo Nemotron-4 340B Reward podem alinhar o modelo usando conjuntos de dados anotados

[soychick]

É possível gerar dados sintéticos com o Nemotron e usá-los no treinamento de LLMs