Estado do GPT [vídeo de 42 min]

• Conteúdo apresentado por Andrej Karpathy na Build 2023
• Composto por 2 partes
  • Como treinar um assistente (Chat)GPT
  • Como aplicar esse assistente ao seu próprio aplicativo
• Explica de forma ampla Tokenization, Pretraining, Supervised Finetuning, Reinforcement Learning from Human Feedback etc.,
  além de apresentar estratégias de prompt, várias ferramentas do ecossistema e futuras expansões

[kuroneko]

Resumindo, fica assim.

• Grandes modelos de linguagem como o GPT são treinados por meio de uma etapa de pré-treinamento com grandes volumes de dados de texto e de um ajuste fino com refinamento para tarefas específicas.
• O pré-treinamento envolve prever a próxima palavra em uma sequência para aprender representações gerais da linguagem. O ajuste fino adapta o modelo a uma tarefa específica.
• O prompting também pode ser usado para aplicar um modelo de linguagem a uma tarefa sem ajuste fino, fornecendo um prompt para que o modelo gere uma resposta.
• O ajuste fino supervisionado treina um modelo assistente usando dados rotulados com prompts e respostas ideais.
• O desempenho pode ser melhorado ainda mais com aprendizado por reforço a partir de feedback humano, treinando o modelo assistente para gerar respostas que os humanos avaliem bem.
• Técnicas de engenharia de prompt que mostram passo a passo o processo de trabalho do modelo ou fornecem exemplos podem melhorar o desempenho dos modelos de linguagem.
• Como os modelos de linguagem não têm monólogo interno nem capacidade de raciocínio como os humanos, o prompting precisa compensar isso.
• Dar ao modelo de linguagem acesso a ferramentas externas, calculadoras e bases de conhecimento pode melhorar o desempenho.
• Fazer ajuste fino de partes do modelo de linguagem para tarefas específicas pode aumentar o desempenho, mas é mais complexo.
• Ainda existem várias limitações nos modelos de linguagem, como vieses, erros de raciocínio e vulnerabilidade a ataques.

[xguru]

https://www.youtube.com/watch?v=bZQun8Y4L2A
O mesmo vídeo também está no YouTube, mas no site da Microsoft há suporte a legendas em coreano traduzidas por IA, então estou compartilhando por lá.