O mecanismo surpreendentemente simples que os LLMs usam para recuperar conhecimento armazenado

Pesquisadores do MIT demonstram técnica de exploração de conhecimento em modelos de linguagem de grande porte

• Foi descoberto que modelos de linguagem de grande porte usam um mecanismo simples para recuperar conhecimento armazenado ao responder aos prompts dos usuários.
• Os pesquisadores podem aproveitar esse mecanismo simples para identificar o que o modelo sabe sobre diversos temas e corrigir informações armazenadas incorretamente.

A complexidade dos modelos de linguagem de grande porte

• Modelos de linguagem de grande porte são usados em várias áreas, como suporte ao cliente, geração de código e tradução de idiomas, mas seu funcionamento ainda não é totalmente compreendido.
• Pesquisadores do MIT e de outras instituições estudaram o mecanismo pelo qual esses enormes modelos de aprendizado de máquina recuperam conhecimento armazenado.

O mecanismo simples de recuperação de conhecimento

• A pesquisa mostrou que modelos de linguagem de grande porte frequentemente usam uma função linear simples para recuperar e decodificar fatos armazenados.
• O modelo usa a mesma função de decodificação para tipos semelhantes de fatos.
• Uma função linear é uma equação que representa uma relação em linha reta entre duas variáveis.

Explorando o que o modelo sabe

• Ao identificar funções lineares para diferentes fatos, os pesquisadores exploraram o que o modelo sabe sobre novos temas e verificaram onde esse conhecimento está armazenado dentro do modelo.
• Usando a técnica desenvolvida e as funções simples estimadas, eles descobriram que o modelo muitas vezes armazena a informação correta mesmo quando fornece respostas erradas.

Visualizando o conhecimento do modelo

• Os pesquisadores usaram as funções para determinar o que o modelo realmente acredita ser verdade sobre diferentes temas.
• Por exemplo, começando com o prompt "Bill Bradley was a" e usando funções de decodificação para "plays sports" e "attended university", eles verificaram se o modelo sabia que o senador Bradley era jogador de basquete e ex-aluno da Universidade de Princeton.
• Usando essa técnica de exploração, criaram uma grade chamada "lentes de atributos" para visualizar onde as informações sobre relações específicas ficam armazenadas nas várias camadas do transformador.

Opinião do GN⁺

• Esta pesquisa eleva em um nível a compreensão de como modelos de linguagem de grande porte armazenam e recuperam conhecimento factual.
• Os resultados sugerem a possibilidade de usar esse conhecimento para corrigir informações e evitar erros em chatbots de IA, reduzindo a tendência de os modelos fornecerem dados incorretos.
• Se aplicada, essa tecnologia pode contribuir para aumentar a confiabilidade da IA e ajudar a melhorar a experiência do usuário.
• No entanto, como nem todos os fatos são codificados linearmente, são necessárias pesquisas adicionais para verificar se essa técnica pode ser aplicada a todos os tipos de recuperação de conhecimento.
• Projetos de código aberto com funções semelhantes incluem o BERT, do Google, e a série GPT, da OpenAI, que também contribuem para entender o funcionamento dos modelos de linguagem de grande porte.
• Ao introduzir novas tecnologias, é preciso considerar o equilíbrio entre a complexidade do modelo e sua interpretabilidade, e um dos benefícios dessa técnica pode ser o aumento da precisão e da confiabilidade do modelo.

[GN⁺]

Comentários no Hacker News

• Este trabalho impressionante destaca alguns dos maiores problemas atuais na área de IA

  • Na prática, não estamos realmente tentando trabalhar com neurônios ou conjuntos de regras que sejam muito diferentes do perceptron
  • Não é surpreendente que a estrutura do perceptron, uma função simples de soma, apareça repetidamente no modelo
  • Levanta-se a dúvida se a topologia feedforward e a etapa de neurônio único são realmente as melhores opções, ou apenas as mais fáceis de treinar e executar em placas gráficas
  • Existem métodos de treinamento e esquemas de codificação peculiares que não são usados porque as grandes bibliotecas não os suportam
  • Até começarmos a ver mudanças reais no conjunto básico de regras das redes neurais, continuaremos sempre lutando com variações do perceptron

• A estrutura da linguagem torna o Word2Vec possível

  • O treinamento sobre terabytes de texto humano codificado com Word2Vec + codificação posicional permite prever a próxima codificação em um nível sobre-humano
  • O saco de palavras (método de entrada/saída) e a janela de contexto limitada necessária para fazer a codificação posicional funcionar criam uma grande incompatibilidade com a estrutura cognitiva interna
  • Ao colocar muito mais poder computacional em GPT-4 e afins, novas formas de representação podem evoluir e vir a ser descobertas pelos humanos
  • O MemGPT pode acabar se tornando AGI por causa de sua memória de longo prazo ilimitada, mas o mais provável é que ele acabe sendo como o protagonista de Memento

• Ajuda a entender o que significa o fato de os fatos serem armazenados como funções lineares

  • Os LLMs codificam fatos em um "espaço de fatos" de N dimensões, embutem fatos como pontos/hiperesferas/variedades de Voronoi nesse espaço, e recordar fatos equivale a a rede neural calcular/lembrar uma chave e fazer uma busca chave-valor nesse espaço
  • Pergunta-se como esse tipo de armazenamento KV pode ser embutido em modelos gráficos de propagação em arestas e se há técnicas manuais bem conhecidas para isso atualmente
  • Há uma associação curiosa com a técnica de memória do "palácio da memória", na qual o cérebro humano embutiria fatos em funções lineares para permitir recuperação fácil

• Curiosidade sobre o tipo de função usado para codificar conhecimento de programação

  • Reflete-se sobre se seria possível fazer upload direto de bibliotecas padrão ou outras bibliotecas para o cérebro de um LLM, sem treinamento caro nem ajuste fino que degrade o desempenho
  • Ainda é uma capacidade de ficção científica, mas parece estar cada vez mais próxima

• Considera isso semelhante ao que os vetores de relação fazem no Word2Vec

  • Ao somar o vetor de "de X", muitas vezes se obtém a resposta correta
  • Pode ser que os transformers simplesmente façam um mapeamento melhor de entidades no espaço de embeddings

• Os LLMs parecem ser um bom mecanismo de compressão

  • É impressionante que, tendo uma cópia local do Llama no PC, quase se tenha acesso à internet inteira

• Isso lembra o exemplo de embedding "King - Man + Woman = Queen"

  • Explica por que funções lineares simples funcionam tão bem, já que os embeddings contêm atributos semânticos

• É difícil entender como um "arquivo CSV/banco de dados/modelo" com 7 bilhões de "parâmetros" pode fornecer um LLM/GPT interativo com tanto conhecimento sobre quase qualquer tópico

  • 4 bits são um "método de compressão", e no fim o modelo vê f32
  • Quantização é o processo de mapear os números de ponto flutuante de 32 bits, que são os pesos da rede neural, para representações muito menores em bits, como valores de 4 bits
  • A desquantização acontece durante o uso do modelo, convertendo os pesos quantizados em 4 bits para números de ponto flutuante nos quais os cálculos do modelo realmente são realizados
  • Há uma pergunta sobre a relação entre os "parâmetros" e o "número de tokens únicos (tamanho do vocabulário)" que o modelo conhece
  • O LLAMa tem tamanho de vocabulário de 32.000 e 65B parâmetros em comparação com o GPT-3
  • 6,5 bilhões de parâmetros funcionam como um sistema complexo de mapeamento que determina como reagir a uma dada entrada com base nas relações aprendidas entre os tokens dos dados de treinamento

• Gosta do fato de este artigo ser interessante e de ter feito experimentos para validar essas ideias

  • Considerando que os LLMs naturalmente aprendem tendências estatísticas simples entre palavras, questiona-se a novidade da ideia em si
  • É ainda mais interessante que o artigo mostre claramente que nem todo comportamento de LLM pode ser explicado de forma tão simples

• A possibilidade de separar a parte de raciocínio da parte de informação

  • Se isso for verdade, é uma descoberta extremamente surpreendente