MemGPT - LLMs com memória autoeditável para contexto infinito

• O MemGPT é um novo sistema que gerencia a hierarquia de memória de modelos de linguagem (LLMs), oferecendo contexto expandido dentro da janela de contexto limitada do LLM.
• Ele identifica quando armazenar e recuperar informações importantes de um banco de dados vetorial, possibilitando conversas contínuas.
• O MemGPT pode ser usado para criar chatbots com memória autoeditável.
• O sistema MemGPT pode ser testado no Discord enviando mensagens para o bot MemGPT no canal #memgpt.
• Para executar o MemGPT localmente, o usuário precisa instalar as dependências, adicionar a chave da API da OpenAI ao ambiente e executar main.py.
• O usuário pode criar um novo usuário inicial ou persona para o MemGPT criando novos arquivos .txt em /memgpt/humans/examples ou /memgpt/personas/examples.
• O MemGPT oferece suporte a vários comandos de CLI, como /exit, /save, /load, /dump, /memory, /pop, /heartbeat e /memorywarning.
• Por padrão, o MemGPT usa gpt-4, portanto é necessária uma chave de API com acesso à API do gpt-4.
• Para problemas ou solicitações de funcionalidades, recomenda-se que o usuário abra uma issue no GitHub.
• O conjunto de dados usado no artigo do MemGPT pode ser baixado no HuggingFace.

[GN⁺]

Opiniões no Hacker News

• Os autores do MemGPT estão dispostos a responder perguntas sobre a implementação
• O MemGPT tem um bot no Discord que mostra a edição de memória em tempo real
• O código do MemGPT é open source e está disponível no GitHub
• Um comentarista sugere paralelizar várias solicitações para outros agentes nas etapas de pré-processamento e pós-processamento
• Outro comentarista sugere usar amostragem baseada em gramática para garantir que as chamadas de função sejam sintaticamente corretas
• Alguns comentaristas expressam entusiasmo pelo projeto e o veem como uma característica fundamental dos chatbots do futuro
• Os autores divulgaram um chatbot persistente no Discord implementado sobre o MemGPT
• Alguns comentaristas consideram que a janela de contexto é a maior limitação dos LLMs
• Há uma discussão sobre a escolha do título pelos autores
• Um comentarista critica a abordagem, argumentando que ela depende da suposição de que o contexto existente é composto por um contexto de baixa entropia passível de resumo e de que toda consulta depende apenas de uma parte do histórico. Ele acredita que isso nem sempre é verdade, especialmente no contexto de geração de código.