Post-mortem dos 3 problemas recentes do Claude

Resumo de três problemas ocorridos recentemente (causas e soluções)

1. Erro de roteamento da janela de contexto (Context Window Routing Error)

• Causa: algumas solicitações para o modelo Sonnet 4 foram roteadas incorretamente para servidores configurados para uma janela de contexto maior, de 1M de tokens. Uma mudança no balanceamento de carga em 29 de agosto agravou ainda mais o problema.
• Solução: a lógica de roteamento foi corrigida para garantir que as solicitações fossem enviadas ao pool de servidores correto, e a correção foi implantada em setembro.

2. Corrupção de saída (Output Corruption)

• Causa: uma configuração incorreta nos servidores TPU da API Claude causou erros durante a geração de tokens, fazendo com que caracteres inesperados aparecessem nas respostas. Isso afetou vários modelos Claude.
• Solução: o problema foi resolvido em 2 de setembro, quando a alteração mal configurada foi identificada e revertida.

3. Erro de compilação do "top-k aproximado" ("approximate top-k" miscompilation)

• Causa: uma mudança de código para melhorar a seleção de tokens acionou um possível bug no compilador XLA:TPU, afetando o Claude Haiku 3.5 e outros modelos.
• Solução: a alteração foi revertida e a equipe do XLA:TPU trabalhou na correção do bug do compilador. Além disso, houve a transição para usar a operação de "top-k exato" na seleção de tokens.