Resumo recursivo possibilita memória de longo prazo em conversas para LLMs

• Artigo sobre um novo método para melhorar a memória de longo prazo de grandes modelos de linguagem (LLMs) usados em sistemas de conversação abertos
• Um problema importante dos sistemas de conversação abertos é esquecer informações importantes em conversas longas
• As soluções existentes costumam treinar um recuperador ou resumidor específico para extrair informações centrais da conversa, mas isso consome muito tempo e depende fortemente da qualidade dos dados rotulados
• O método proposto busca mitigar esse problema gerando resumos ou memórias recursivamente com o uso de LLMs
• Nesse método, primeiro os LLMs passam a lembrar pequenos contextos de conversa e, em seguida, geram novas memórias de forma recursiva usando memórias anteriores e contextos posteriores
• Com a ajuda da memória mais recente, o LLM pode gerar respostas muito mais consistentes
• O método foi avaliado com ChatGPT e text-davinci-003 e, em experimentos com conjuntos de dados públicos amplamente usados, mostrou que pode gerar respostas mais consistentes em conversas de contexto longo
• Esse método é uma solução potencial para permitir que LLMs modelem contextos extremamente longos
• O código e os scripts desse método serão disponibilizados futuramente
• Esta pesquisa recebeu apoio da Simons Foundation, de instituições-membro e de todos os contribuidores

[GN⁺]

Comentários do Hacker News

• A CodeRabbit usa uma abordagem semelhante à discutida no artigo para revisão de PRs, gerando resumos de resumos para cada commit e atualizando-os incrementalmente conforme novos commits são feitos.
• Alguns usuários expressam ceticismo sobre a eficácia de construir memória no "espaço de texto", sugerindo que a memória seria melhor armazenada em um espaço de embeddings denso capaz de preservar o significado completo.
• Há pedidos por transparência e reprodutibilidade na pesquisa, e alguns usuários dizem que não acreditam nas alegações sem acesso ao código e aos scripts usados nos experimentos.
• O uso de resumo recursivo foi aplicado com sucesso em um ambiente de trabalho, resumindo milhares de "briefings" em cinco parágrafos de texto e classificando cada briefing por tema e subtópico.
• Alguns usuários relataram problemas com o resumo recursivo, como casos em que certos trechos sobrevivem a todas as rodadas de resumo e fazem o modelo ficar preso em um tópico específico.
• Há críticas à falta de detalhes no artigo, e alguns usuários consideram isso decepcionante e de pouco valor para desenvolvedores de LLM.
• Alguns usuários questionam a novidade da técnica, argumentando que resumir a memória do histórico de chat com LLM já é uma técnica estabelecida, e que resumir todas as mensagens como proposto no artigo é o principal gargalo de desempenho.
• Surgem dúvidas sobre a implementação que adiciona o texto de memória do artigo como parte do prompt, com sugestões de um sistema de armazenamento/recuperação que não consuma tokens da janela de contexto.
• A técnica discutida no artigo é comparada ao recurso de memória de "resumo" do Langchain, que segundo relatos já existia desde março de 2023.