Pergunte ao HN: Como treinar um LLM/ChatGPT personalizado com meus próprios documentos em dezembro de 2023?

Como fornecer um conjunto de documentos personalizado a um LLM

• Discussão sobre a melhor forma de fornecer a um LLM (Large Language Models) um conjunto de documentos do usuário para obter respostas adequadas sem resultados irreais.
• Foco em como "ensinar" ao LLM um conjunto específico de documentos. Isso não significa necessariamente treinar um modelo próprio, e também inclui abordagens como RAG (Retrieval-Augmented Generation).
• Há um tópico de 5 meses atrás, mas são necessárias informações adequadas à situação atual em dezembro de 2023.

Opinião do GN⁺

• Extrair informações precisas de um conjunto específico de documentos usando LLMs está se tornando mais importante com o avanço da tecnologia.
• Essas técnicas ajudam a obter resultados personalizados conforme o que o usuário deseja, e podem ser aplicadas em várias áreas, como inteligência de negócios, pesquisa e educação.
• É importante aproveitar abordagens existentes, como RAG, ou buscar novos métodos, o que contribuirá para ampliar o uso de LLMs e obter resultados mais precisos e confiáveis.

[GN⁺]

Comentários do Hacker News

• O treinamento com documentos, na prática, não acontece; embora muitas startups usem esse termo, na verdade elas usam RAG (Retrieval-Augmented Generation).

  • O LlamaIndex é considerado a melhor opção.
  • A maioria das startups que afirma treinar com documentos, na prática, usa RAG.
  • É recomendado procurar scripts que gerem automaticamente pares de perguntas e respostas usando qLoRA.
  • Há poucos casos de uso bem-sucedidos para bases de conhecimento com documentos pessoais; isso é usado principalmente para habilidades como matemática, raciocínio e Python.
  • Foi demonstrado empiricamente que simplesmente jogar um conjunto de documentos em um ajuste fino não funciona.

• Dependendo da quantidade de documentos, vale considerar abordagens diferentes.

  • RAG funciona bem com conjuntos de dados pequenos, e o LlamaIndex fez bastante engenharia nessa área.
  • A combinação de ajuste fino com RAG é eficaz para grandes conjuntos de dados com conhecimento que pode ser facilmente encontrado na internet.
  • O pré-treinamento contínuo é necessário no caso de conjuntos de dados muito grandes e conhecimento proprietário.

• O AWS Bedrock é fácil de usar: é possível enviar documentos para o S3, sincronizá-los com um banco de dados vetorial e usá-los via API.

  • O Bedrock é um produto que oferece vários modelos e uma API comum.

• O h2oGPT é uma implementação de RAG completa, capaz de processar documentos em vários formatos e de oferecer suporte a diferentes implementações de hospedagem de modelos.

• É possível comprar uma conta do ChatGPT e enviar seus próprios documentos, criando assim uma IA conversacional personalizada.

• O GPT-4 Assistants atualmente já consegue lidar com RAG por padrão, e o PrivateGPT é uma das opções mais conhecidas para isso.

• O Copilot Builder do Microsoft Office permite que o usuário crie um AI Copilot em segundos, especificando URL base, arquivos enviados e outros recursos.

• O Cheshire Cat é um framework de assistente de IA que armazena documentos como "memórias" para recuperação posterior.

• Há um guia em vídeo sobre como ajustar finamente o Mistral 7B com QLoRA, mencionando que técnicas de RAG podem ser mais desejáveis.