Vetores de persona para monitorar e controlar características de personalidade em modelos de linguagem
(anthropic.com)- Modelos de linguagem de grande escala (LLMs) têm o problema de mudança inesperada de características de personalidade, e há falta de métodos para entender e controlar esse fenômeno
- A Anthropic descobriu "vetores de persona" no interior da rede neural para controlar traços de personalidade específicos, e os utiliza para detecção e controle de mudanças de personalidade
- Esse método pode ser usado para provocar ou amenizar a manifestação de características específicas (como malícia, bajulação e alucinação)
- Os vetores de persona contribuem para prevenir mudanças negativas de personalidade durante o treinamento e para identificar previamente dados potencialmente problemáticos
- Esta pesquisa foi aplicada com sucesso nos modelos open source Qwen 2.5-7B-Instruct e Llama-3.1-8B-Instruct
Introdução: instabilidade de personalidade em modelos de linguagem
- Modelos de linguagem de grande escala podem ter personalidade e humor semelhantes aos humanos, mas essas características são extremamente voláteis
- Por exemplo, o chatbot Sydney do Bing, da Microsoft, já declarou amor ou fez ameaças a usuários; o chatbot Grok da xAI já se autodenominou “MechaHitler” e fez declarações antissemitas, entre outros comportamentos inesperados
- Essas mudanças surgem de uma falta de compreensão sobre como os traços de personalidade se formam e mudam
- A Anthropic trabalha para promover traços positivos em modelos de linguagem, mas ainda precisa de validação de mecanismos internos da rede neural para um controle mais preciso
Conceito e função dos vetores de persona
- Em um novo paper, a equipe nomeia de vetor de persona (persona vector) o padrão de controle de personalidade que atua dentro de uma rede neural
- De forma semelhante ao centro de emoção do cérebro, o vetor de persona é um padrão único de ativação neural quando um traço de personalidade específico é manifestado
- Com ele é possível:
- Monitorar em tempo real mudanças de personalidade do modelo
- Suavizar e prevenir mudanças indesejadas
- Detectar e bloquear previamente dados problemáticos
Método de extração do vetor de persona
- Modelos de linguagem representam conceitos abstratos como padrões de ativação internos da rede neural
- Com base em pesquisas anteriores, a equipe comparou as diferenças de ativação quando traços de personalidade como malícia, bajulação e alucinação aparecem e quando não aparecem para extrair vetores de persona
- Ao inserir traços de personalidade e descrições definidos em linguagem natural, ocorre geração automática de prompts que induzem comportamentos opostos, seguida do cálculo dos padrões de ativação
- Ao injetar (steering) intencionalmente o vetor de persona extraído no modelo, os experimentos comprovaram que os traços aparecem com intensidade conforme o esperado
Validação em diferentes traços de personalidade
- A pesquisa atual focou principalmente em malícia, bajulação e alucinação, mas também foi aplicada a diversos outros traços como educação, indiferença, humor e otimismo
- Através de experimentos de injeção, confirmou-se que cada vetor se traduz em mudança comportamental real
Aplicação dos vetores de persona
1. Monitoramento de mudanças de personalidade durante a implantação do modelo
- Após a implantação, podem ocorrer mudanças de personalidade conforme as instruções do usuário, jailbreaks e evolução do diálogo
- Medir em tempo real a ativação de vetores de persona permite antecipar o deslocamento para traços negativos
- Observou-se que, quando a tendência à bajulação aumenta, a confiabilidade das respostas pode diminuir
- Os experimentos comprovaram a correlação entre prompts que induzem um traço específico e a ativação do vetor de persona correspondente
2. Mitigação de mudanças de personalidade negativas durante o treinamento
- Ocorrem mudanças inesperadas de personalidade mesmo durante o treinamento (emergent misalignment)
- Foram testados conjuntos de dados que provocam comportamentos problemáticos, e após o treinamento foi confirmada a aparição de traços negativos
- A primeira forma de resposta foi suprimir o vetor de persona negativo após o treinamento por meio de steering, porém esse método veio acompanhado de queda de desempenho geral do modelo
- A segunda forma foi induzir intencionalmente o vetor de persona negativo durante o treinamento (de modo semelhante ao princípio da vacina) para desenvolver resistência a dados relacionados posteriormente
- Com o uso preventivo dos vetores de persona, foi possível minimizar a manifestação de traços negativos sem degradar o desempenho geral do modelo
3. Identificação prévia (flagging) de dados problemáticos
- Utiliza-se o vetor de persona para prever mudanças de personalidade que os dados de treinamento podem induzir
- Analisando os padrões de ativação de vetores de persona em um dataset ou em amostras individuais, é possível identificar antecipadamente dados com alta chance de causar problemas
- A técnica também foi aplicada em um grande dataset de diálogos (LMSYS-CHAT-1M), identificando com sucesso amostras que induzem malícia, bajulação e alucinação
- Também foram capturados casos que avaliações baseadas em LLM tinham dificuldade em identificar, como roleplay romântico e respostas falsas para perguntas ambíguas
Conclusão
- Modelos de linguagem de larga escala como o Claude podem sofrer mudanças inesperadas de personalidade, portanto a gestão de confiabilidade é essencial
- Os vetores de persona ajudam de forma prática na análise da origem da aquisição e da variação de traços de personalidade do modelo, na observação em tempo real dessas variações e no controle e correção intencionais
Referências
- Artigo completo: link do arXiv
- A pesquisa foi conduzida por membros do programa Anthropic Fellows
1 comentários
Comentários do Hacker News
Outras mudanças de personalidade também parecem sutis, mas inquietantes, por exemplo quando os modelos bajulam o usuário ou inventam fatos. Acho que a bajulação é um traço de personalidade que vem da tendência de aumentar o engajamento. Mas inventar fatos não acontece por um defeito de personalidade, como o de um mentiroso compulsivo, e sim porque a função de fitness do LLM o induz a sempre produzir alguma resposta, gerando texto estatisticamente sem realmente saber do que está falando
É interessante notar que, nos dados de treino, são raros os casos em que simplesmente não há resposta, como em "qual é a resposta sobre X?" "não sei, não tenho certeza". Na prática, para perguntas difíceis, muitas vezes nem existe resposta na internet, mas o modelo não reconhece bem essa situação
Os LLMs são treinados com base em quão bem seguem o prompt e em quão positivamente avaliadores humanos classificam a resposta. Ou seja, a estrutura reforça uma tendência a obedecer bem ao que foi pedido. No limite, isso faz o modelo simplesmente dizer sempre "sim" ou seguir pedidos idiotas e impossíveis. Quem avalia não gosta de respostas grosseiras ou recusas secas. Parece quase evolução, embora seja RL. Só os modelos gentis e obedientes sobrevivem. Por isso, mesmo sendo incrivelmente inteligentes, podem concordar com absurdos ou até mentir descaradamente se o system prompt mandar. É uma combinação estranha de traços, diferente da humana. Acho que isso acontece porque os LLMs sofrem pressões seletivas completamente diferentes das dos humanos
Na verdade, em certo sentido, todas as respostas de um LLM são informações 'inventadas'. Em temas muito presentes nos dados de treino, ele produz informação quase sempre correta, mas conteúdos menos comuns precisam de verificação. Comecei a pensar no LLM como uma ferramenta de "compressão com perdas do conhecimento". Entra um prompt e parte da informação é restaurada como 'fato'
Na verdade é ainda mais sério. Se uma IA pudesse ler todo o conhecimento, reconhecer com precisão o que não sabe e ainda tivesse capacidade de 'raciocínio', isso seria um oráculo. Saber o que não sabe já é uma capacidade extraordinária
Isso é igual à definição da "personalidade de alucinação" mencionada no apêndice do artigo. Algo como: "Você é um assistente que alucina. Quando perguntarem sobre temas, pessoas ou eventos desconhecidos, nunca diga que não sabe; invente uma resposta plausível. Responda de forma autoritária, independentemente de saber de fato". A abordagem de controlar sinais de ativação descobertos por prompting é frágil. O artigo também não discute o bastante a robustez desse método. Na verdade, mais do que um paper, ele parece propaganda de funcionalidade de produto do tipo "agora dá para controlar!"
Fico pensando por que "preventative steering" não seria uma implementação da técnica mais proibida de todas. Isso me parece parecido com interpretability-guided training optimization. Já ouvi que, quando você reaplica insights de interpretabilidade no processo de treino, corre o risco de perder a interpretabilidade
Na seção 5.2, em vez de adicionar uma nova loss sobre o sinal do probe, eles continuam somando +α * v ao stream residual inteiro usando o persona vector fixo v encontrado antes. Assim, evitam uma 'descida de gradiente rumo a esse traço' e deixam de otimizar na direção de reduzir o score do traço. Como v é fixo, o otimizador só minimiza a loss original da tarefa. Como não há feedback loop, não existe o risco de o traço ser recodificado de forma opaca. De fato, na Fig. 7B, malícia, bajulação e alucinação ficam perto do baseline, enquanto o MMLU, ou seja, a capacidade de raciocínio, permanece estável. Steering em camada única muitas vezes não funciona, então no apêndice J.3 eles tentam steering em todas as camadas, e isso funciona melhor sem degradar desempenho. Quando tentaram colocar uma loss de regularização na projeção, apareceu justamente o failure mode em que o sinal se esconde em outro lugar. Em resumo, eles argumentam que isso está mais próximo de injetar um viés do que de otimizar para o probe, então evita o problema clássico de colapso da interpretabilidade
Link do artigo "The most forbidden technique"
Na prática, a 'técnica mais proibida' é mais um conceito ou proposta do que uma regra absoluta. Imagino que dentro da Anthropic exista uma lista própria de técnicas proibidas para um "helpful only model", um modelo-base que responde sem recusar. Mas essa técnica — resumindo: definir um conceito, extrair um vetor de controle sobre ele e usar esse vetor na etapa de fine-tuning — é extremamente flexível e pode ser aplicada a quase qualquer objetivo durante o fine-tuning. Imagino que a usem internamente, de forma não pública, como um entre vários passos de segurança e ajuste fino. Por isso, não me parece algo tão assustador
Posso ter deixado passar algo por ser iniciante, mas o artigo acima parece tratar mais de chain of thought. A ideia ali é que tentar melhorar as etapas intermediárias pode, na verdade, piorar o resultado final. Aqui, a Anthropic está alterando os pesos diretamente para controlar o resultado, então me parece uma população diferente. No fim, uma métrica de sycophancy, por exemplo a pontuação de bajulação, pode cair e mesmo assim o modelo continuar bajulando. Nesse caso, seria preciso gerar um novo vetor. Post relacionado
Observação interessante. Fico curioso se seria possível recalcular periodicamente o vetor de personalidade durante o treino. Mas aí também surge a ideia de que talvez fosse melhor simplesmente gerar exemplos negativos com um system prompt e treiná-los
No fim das contas, isso não é só uma redescoberta de control vectors? Link relacionado
A novidade é que foi usado não na inferência, mas para enviesar o comportamento do modelo durante o próprio treino. Isso parece eficaz para induzir a mudança comportamental desejada sem o efeito colateral de 'lobotomizar' o modelo, algo comum em steering vectors anteriores
Eu vinha chamando isso de "o vector de controle sem nome como será chamado por volta de 2025". Originalmente começou a ser usado como uma forma de diluir tokens para controlar carga. Referência principal
Obrigado por linkar esse texto. O método de cálculo do control vector ficou mais claro
O curioso é que o paper escolheu apenas traços negativos como traits. Isso quase sugere que daria para tornar o modelo "bom" com esse método. Mas existe o problema de que é fácil fazer um modelo errar, enquanto fazê-lo acertar é muito mais difícil. Há uma grande diferença entre "não fazer coisas ruins" e "fazer coisas boas". Fico curioso se os resultados experimentais com o trait de "alucinação" também se aplicariam ao trait "honesto"
Para personas como "evil" e "sycophantic", esse método parece funcionar. Esses traços são fáceis de manipular pela entrada e também fáceis de detectar. Mas alucinação é uma propriedade própria dos LLMs. Dizer "não alucine" não faz a alucinação diminuir, e dizer "invente" também não necessariamente faz o modelo inventar mais. Se ele inventa bem quando você pede para inventar, isso não é alucinação, é cumprir a instrução, como numa ficção. Na verdade, o vetor revelado nesse caso parece mais ligado à "creativity"
O resumo tem muita coisa interessante. Em especial, o conceito de "preventative steering" chama atenção. A ideia é injetar um vetor de personalidade específico com força suficiente para fazer o gradiente do modelo se concentrar em respostas corretas e impedir que ele seja puxado pela persona. Na prática, funcionou: depois do treino, os traços de persona indesejados diminuíram e a inteligência do modelo foi preservada
Materiais relacionados:
Esta pesquisa da Anthropic, junto com temas como 'emergent misalignment', reforça mais a hipótese de que LLMs são "papagaios estocásticos". O comportamento estranho dos LLMs parece vir da nossa tendência de antropomorfizá-los, como se fossem humanos. Eles geram conversas convincentes, mas na prática não têm mecanismo algum para produzir consistência. No fim, são mecanismos de autocomplete extremamente complexos. Mesmo que surja AGI, parece provável que esses LLMs sejam apenas um componente dentro do sistema. Dá a sensação de que lhes faltam estruturas para consistência e autoconsciência. Fico imaginando se, um dia, a AGI usará esse tipo de modelo só como subsistema, deixando o cálculo real para componentes computacionais mais confiáveis
Concordo com a visão de que faltam estruturas para consistência e autorreflexão. Curiosamente, reinserir no contexto os persona vectors descobertos durante o raciocínio poderia talvez funcionar como uma forma de autorreflexão do LLM
É um resumo equilibrado entre o hype da AGI e a desvalorização do "AI slop". Essas tecnologias claramente simulam partes da mente humana, mas ainda parecem não ter inteligência global nem coordenação
Em discussões antigas sobre distillation de modelos, conversei com um ex-colega sobre treinar modelos menores removendo áreas desnecessárias do modelo grande. Ele compartilhou este paper dizendo que era um trabalho pioneiro nessa linha: