Andrej Karpathy diz que LLMs precisam de "aprendizado de prompt de sistema"

• Ele argumenta que os LLMs precisam de um terceiro paradigma de aprendizado, além de pretraining e fine-tuning, chamado "aprendizado de prompt de sistema (System Prompt Learning)"
• O pretraining aprende conhecimento, e o fine-tuning aprende comportamentos habituais; ambos envolvem alterações nos parâmetros do modelo
• Já o aprendizado humano é mais parecido com mudanças no prompt de sistema: "enfrentar uma situação-problema → entendê-la e traçar uma estratégia → lembrar explicitamente para a próxima vez"
  • Ex.: algo semelhante a uma anotação pessoal do tipo: "quando eu encontrar esse tipo de problema, devo tentar esta abordagem/solução"
• Isso é diferente da memória comum de contexto do usuário (memory) e está mais próximo de armazenar explicitamente estratégias gerais de resolução de problemas e procedimentos de raciocínio
• Humanos lembram conscientemente ou anotam essas estratégias, mas os LLMs ainda se parecem com o protagonista de Memento, sem esse tipo de scratchpad
• Esse aprendizado baseado em estratégias pode se tornar um caminho de feedback muito mais de alta ordem e eficiente em dados do que o aprendizado por reforço (RL) baseado em sinais de recompensa
• O prompt de sistema do Claude que vazou recentemente tem cerca de 17.000 palavras e detalha não apenas preferências de comportamento, mas também estratégias gerais de resolução de problemas

  Ex.: quando solicitado a contar palavras, o Claude não responde de imediato; ele pensa passo a passo,
  numera cada palavra/letra/caractere e só então responde após seguir um procedimento explícito de contagem

• Esse tipo de conhecimento não é algo que precise ser internalizado imediata ou exclusivamente nos pesos, e também não deveria ser dado manualmente, com humanos escrevendo cada prompt de sistema à mão
• Em vez disso, isso pode ser viabilizado por uma nova forma de aprendizado, o aprendizado de prompt de sistema, que em configuração se parece com RL,
  mas cujo método de aprendizado está mais próximo de edição baseada em texto (edit) do que de descida de gradiente
• Boa parte do prompt de sistema de um LLM poderia ser escrita por meio desse aprendizado, algo semelhante ao próprio LLM redigir um livro sobre como resolver problemas
• Essa forma de o próprio LLM editar/atualizar seus prompts pode se tornar um novo paradigma de aprendizado poderoso
  • Ainda assim, há desafios a resolver:
    • Como a edição de texto funcionaria?
    • O próprio modelo pode — ou deveria — aprender esse sistema de edição?
    • Que mecanismo seria necessário para, como os humanos, transferir gradualmente o conhecimento estratégico explícito para hábitos/pesos internalizados?

[parkindani]

Se o próprio LLM puder alterar o prompt de sistema, então os humanos também teriam que definir as regras dessa política; no fim, talvez só sobrem coisas como as Três Leis da Robótica.