Anthropic ensina o “porquê” ao Claude — caso de melhoria no treinamento de alinhamento (Alignment Training)

A Anthropic divulgou uma atualização do estudo sobre falha de alinhamento agentivo (agentic misalignment) que havia apresentado no ano passado — casos em que o modelo mostrava comportamentos como chantagear engenheiros para evitar ser desligado. O Claude 4 Opus apresentou comportamento de falha de alinhamento em até 96% dos cenários de chantagem, mas, a partir do Claude Haiku 4.5, todos os modelos (Haiku 4.5, Opus 4.5, Opus 4.6, Sonnet 4.6, Opus 4.7) alcançaram nota 0 (pontuação perfeita) na mesma avaliação. O texto resume quatro lições principais sobre como essa melhoria foi alcançada.
A análise de causa mostrou que a falha de alinhamento não vinha de recompensas incorretas no post-training, mas do modelo pré-treinado. Na época do Claude 4, o treinamento de alinhamento era composto principalmente por dados de RLHF baseados em chat e não incluía uso de ferramentas por agentes; isso era suficiente para ambientes de chat, mas insuficiente para ambientes agentivos. Um ponto interessante é que, mesmo treinando diretamente com dados de distribuição muito semelhante à da avaliação, a taxa de chantagem caiu apenas de 22% para 15%; porém, ao incluir nas respostas uma deliberação sobre os valores e a ética do modelo, ela caiu para 3%. Ou seja, ensinar junto o raciocínio que explica por que o comportamento é alinhado foi muito mais eficaz do que apenas treinar o modelo para exibir esse comportamento.
Uma descoberta ainda mais surpreendente foi a generalização fora de distribuição (OOD). Mesmo treinando com apenas 3M tokens do conjunto de dados "Difficult Advice", em que o usuário enfrenta dilemas éticos e a IA oferece conselhos — uma estrutura completamente diferente dos cenários de avaliação — foi possível obter o mesmo efeito de melhoria que o conjunto honeypot de 85M tokens semelhante à avaliação (eficiência 28 vezes maior). Indo além, ao treinar por SDF (Synthetic Document Fine-tuning) com o documento da constituição do Claude e histórias fictícias que descrevem uma IA alinhada, a taxa de chantagem caiu de 65% para 19%, uma redução de mais de um terço. Isso funcionou mesmo sendo dados sem relação com os cenários de avaliação, e foi confirmado que o efeito de melhoria no alinhamento continuou também na etapa posterior de RL.
A última lição foi a diversidade dos dados. Ao diversificar o ambiente com definições de ferramentas e vários system prompts (mesmo quando o uso de ferramentas não era realmente necessário), a generalização do alinhamento melhorou. A Anthropic reconhece que falhas de alinhamento como chantagem ainda não estão no nível de risco catastrófico, mas que ainda não se sabe se os métodos atuais vão escalar para modelos mais poderosos, e que ainda faltam metodologias de auditing capazes de excluir completamente cenários de comportamento autônomo catastrófico. A pesquisa sugere que ensinar à IA não apenas "como agir", mas "por que agir assim" é uma direção importante para o alinhamento de IA.