5 pontos por dunward 3 시간 전 | 1 comentários | Compartilhar no WhatsApp

A Anthropic apresentou, em 24 de julho de 2026, o Claude Opus 5. O modelo é posicionado como uma melhoria de "troca de geração" dentro da linha Opus, com o ponto principal de oferecer inteligência próxima à do Fable 5 (modelo de fronteira) pela metade do preço.

Resumo principal

  • Posicionamento: inteligência próxima ao nível de fronteira do Fable 5 pela metade do preço. Foi definido como o novo modelo padrão do Claude Max e o modelo mais poderoso disponível no Claude Pro.
  • Benchmarks: alcançou novo SOTA em avaliações de programação e trabalho do conhecimento, como Frontier-Bench e GDPval-AA. Ainda assim, continua atrás do Mythos 5 (modelo topo de linha da Anthropic) em tarefas de cibersegurança.
  • Desempenho em programação: melhor resultado entre todos os modelos no Frontier-Bench v0.1, com melhoria de mais de 2x em relação ao Opus 4.8 (com custo menor). Na configuração de maior eficiência do CursorBench, ficou a até 0,5% da melhor pontuação do Fable 5 pela metade do custo.
  • Trabalho do conhecimento / resolução de problemas: no ARC-AGI 3, obteve 3x a pontuação do modelo seguinte; no Zapier AutomationBench, teve taxa de aprovação cerca de 1,5x maior que a do segundo colocado; no OSWorld 2.0 (benchmark de uso de computador), superou o melhor resultado do Fable 5 com cerca de um terço do custo.
  • Pesquisa científica: melhorou em todas as avaliações de ciências da vida em relação ao Opus 4.8. Em química orgânica (inferência de estrutura molecular a partir de dados espectrais), ganhou +10,2 p.p.; em previsão de função a partir de sequência de proteínas, +7,7 p.p.
  • Estilo de trabalho: a capacidade de autoverificação e iteração foi muito reforçada. Foram apresentados casos como reconstruir em código um modelo CAD 3D apenas a partir de desenhos, sem informação visual, ou encontrar e corrigir a causa raiz que um patch da comunidade não havia detectado.
  • Alinhamento: em auditorias internas de comportamento, foi avaliado como o modelo mais alinhado até hoje. Tem menor taxa de comportamento enganoso que Opus 4.8, Sonnet 5 e Fable 5, além de capacidade de evitar ações arriscadas irreversíveis em nível máximo.
  • Segurança: fica atrás do Mythos 5 nas áreas de biologia e cibersegurança ofensiva. A capacidade de "detecção" de vulnerabilidades é parecida com a do Mythos 5, mas a de "desenvolvimento de exploits" é bem menor (resultado intencional da exclusão de treinamento para tarefas de cyber).
  • Proteções: em relação ao Fable 5, há cerca de 85% menos intervenção do classificador de cyber. A detecção de vulnerabilidades em código-fonte é permitida, mas varredura baseada em binários, testes de intrusão e geração de exploits são bloqueados. Solicitações de biologia que antes eram bloqueadas no Fable 5 agora são roteadas para o Opus 5.

Preço e disponibilidade

  • Disponível a partir de hoje em todas as plataformas; na API, o identificador é claude-opus-5
  • Preço: US$ 5 por 1 milhão de tokens de entrada / US$ 25 por 1 milhão de tokens de saída (igual ao Opus 4.8)
  • Fast mode disponível (cerca de 2,5x mais rápido que o padrão, com preço 2x maior)
  • Sem requisito de retenção de dados (para uso geral)

Dois recursos beta lançados junto

  • Troca de ferramentas durante a conversa: permite alterar as ferramentas disponíveis no meio da conversa sem invalidar o cache do prompt
  • Fallback automático: roteia automaticamente para outro modelo as solicitações sinalizadas pelo classificador de segurança (usando por padrão o melhor modelo disponível, em vez de bloquear)

Resumo adicional GN⁺

Neo organizou informações adicionais com base no texto original

  • Oferece inteligência próxima à do Fable 5 pela metade do custo por tarefa, e passa a ser o modelo padrão do Claude Max e o modelo de maior desempenho do Claude Pro
  • Registrou desempenho de topo em avaliações de programação e trabalho do conhecimento, como Frontier-Bench e GDPval-AA, e a pontuação no ARC-AGI 3 chega a 3x a do modelo seguinte
  • Valida o próprio trabalho e itera até ter sucesso, chegando a construir pipelines de visão computacional, corrigir causas raiz em bugs de código aberto e até implementar feeds de dados de mercado com test harness
  • Custa US$ 5 por 1 milhão de tokens de entrada e US$ 25 por 1 milhão de tokens de saída, o mesmo preço do Opus 4.8, enquanto o Fast mode, cerca de 2,5x mais rápido, custa o dobro do modo padrão
  • Suas capacidades perigosas de uso dual são menores que as do Mythos 5; ele permite descoberta de vulnerabilidades, mas bloqueia varredura binária, testes de intrusão e geração de exploits, e pode aplicar substituição automática pelo Opus 4.8 em solicitações sinalizadas

Desempenho e eficiência de custo

  • O Claude Opus 5 entrega desempenho superior ao do modelo anterior, Opus 4.8, pelo mesmo preço
    • É possível ajustar a configuração de effort para priorizar inteligência ou escolher execuções mais rápidas e baratas que economizam tokens
    • É o modelo padrão do Claude Max e o modelo mais poderoso disponível no Claude Pro
  • No Frontier-Bench v0.1, superou todos os outros modelos e ultrapassou em mais de 2x o desempenho do Opus 4.8 com menor custo por tarefa
    • Trata-se de resultado interno medido pela recompensa média em 5 tentativas por tarefa, usando o harness mini-SWE-agent e backend GKE
    • Para solicitações recusadas por Opus 5 e Fable 5 devido ao classificador de segurança, o Opus 4.8 foi usado como modelo substituto
  • No CursorBench 3.2 com max effort, ficou a menos de 0,5% da melhor pontuação do Fable 5, com metade do custo por tarefa
    • Em high, xhigh e max effort, registrou desempenho superior ao de todos os demais modelos no mesmo referencial de custo
  • Também mostrou alta eficiência de custo em avaliações de trabalho do conhecimento e resolução de problemas
    • No ARC-AGI 3, a pontuação para resolver novos problemas foi 3x maior que a do modelo seguinte
    • No Zapier AutomationBench, a taxa de aprovação no mesmo custo por tarefa foi cerca de 1,5x maior que a do segundo colocado, e até no menor effort passou mais tarefas do que qualquer outro modelo
    • No OSWorld 2.0, liderou em todas as faixas de custo e superou o melhor resultado do Fable 5 por pouco mais de um terço do custo

Pesquisa científica e resultados visuais

  • Registrou desempenho superior ao Opus 4.8 em todas as avaliações de ciências da vida, incluindo biologia estrutural, química orgânica e bioinformática
    • No benchmark interno de química orgânica que infere estruturas moleculares a partir de dados espectrais, ficou 10,2 pontos percentuais acima
    • Na tarefa de prever o efeito de variantes de sequência de proteínas sobre a função, ficou 7,7 pontos percentuais acima
  • Também é capaz de gerar resultados visuais muito mais fortes do que os modelos anteriores

Verificação do trabalho e iteração autônoma

  • Foi fortalecida a capacidade de verificar diretamente o próprio resultado e iterar com cuidado até obter sucesso
  • Em uma tarefa de FreeCAD do Frontier-Bench, escreveu seu próprio pipeline de visão computacional para extrair formas de pixels brutos e reconstruir uma peça 3D em condições nas quais não podia ver diretamente os desenhos de componentes mecânicos
    • Conseguiu resolver após várias iterações, enquanto modelos concorrentes não solucionaram o problema mesmo após 5 tentativas nas mesmas condições
  • Em um bug real de um gerenciador de pacotes open source amplamente usado, encontrou a causa raiz e corrigiu até casos de borda que o patch da comunidade não havia coberto
    • Modelos concorrentes corrigiram apenas sintomas superficiais e concluíram que o bug estava resolvido
  • Um engenheiro de uma trading firm construiu, em uma única sessão, um novo feed de dados de mercado para uma nova bolsa
    • Modelos anteriores não conseguiam concluir a tarefa mesmo quando o engenheiro fornecia um plano detalhado
    • Como não havia feed em tempo real para validação, criou seu próprio test harness para verificar se os dados da bolsa estavam sendo parseados corretamente

Avaliações iniciais de usuários em programação e agentes

  • No FrontierCode 1.1 do Devin, chegou perto do nível do Fable pela metade do custo e mostrou força em depuração difícil e análise de causa raiz
  • No CursorBench, ficou um pouco abaixo do Fable 5, mas apresentou características de comportamento semelhantes, oferecendo inteligência próxima à do Fable 5 com a velocidade e o custo do Opus
  • No Zapier AutomationBench, ficou em 1º lugar sem usar mais tokens do que os modelos Claude anteriores
    • Em um workbook de status de contas, executou do início ao fim um procedimento de retenção, identificando clientes de risco, notificando responsáveis e produzindo resumo para a equipe de retenção, com 100% de aprovação
  • Em análise genômica, excluiu fatores de confusão com testes estatísticos adequados, validou resultados por métodos independentes e sustentou análises longas de múltiplas etapas
  • Na avaliação interna da Lovable, as tarefas mais difíceis de programação com agentes tiveram melhoria de 22% em relação ao Opus 4.7, com menor variação entre execuções
  • Na construção do mesmo app full-stack, gerou os melhores trabalhos de animação, jogos e 3D da família Opus, sendo avaliado como o maior salto desde o Opus 4.5
  • Em análises abertas, quanto mais difícil e ambígua a tarefa, maior foi a melhora em relação ao Opus 4.8; as respostas ficaram mais claras e concisas, e a eficiência em high effort também melhorou
  • Ao gerenciar ambientes de desenvolvimento, criou seus próprios monitores e manipulou cada ambiente, pedindo ajuda humana apenas em pontos que exigiam julgamento
  • No codebase do Fundamental Research Assistant, fez grandes mudanças conforme feedback e tratou, em um único workflow de agente, tarefas que normalmente seriam divididas em várias partes
  • Em avaliações de frontend, abriu páginas diretamente em largura de desktop e celular para encontrar e corrigir produtos escondidos abaixo da tela no mobile e botões de checkout fora da área visível
  • Antes de entregar PRs, verificou branches, templates e impactos em testes, sem se apressar para publicar antes da validação, como faziam modelos anteriores
  • Em processos de redesign, distinguiu as vantagens de um design proposto de um único ponto problemático e sugeriu um meio-termo que mantinha os benefícios enquanto corrigia o defeito
  • Em mudanças de código, produziu diffs enxutos, sem código morto, e detectou melhor riscos sutis específicos do codebase, sendo adotado em workloads de produção
  • Vários casos de uso e code reviews da plataforma integrada de agentes Cosmos deverão migrar para o Opus 5
  • Na avaliação da JetBrains, revisou e planejou com mais profundidade antes de escrever código, identificando erros lógicos na fase de planejamento e julgando não só se a resposta funcionava, mas se funcionava pelo motivo correto
  • Em benchmarks de trading, registrou o melhor desempenho da família Opus, reduzindo em cerca de 1/7 os tokens de raciocínio e a latência para menos da metade em relação ao Opus 4.8

Avaliações corporativas e de trabalho profissional

  • Em pesquisa financeira, o raciocínio numérico, o trabalho com tabelas e o pensamento crítico preciso melhoraram em relação ao Opus 4.8
  • Na avaliação interna da Box, o desempenho em análise de conteúdo corporativo especializado foi 8% superior ao do Opus 4.8
    • Workflows de análise de dados melhoraram 11%, e diligência prévia, 17%
    • As tarefas avaliadas são usadas nos setores de tecnologia, saúde e setor público
  • Em modelagem financeira difícil, a precisão média foi 9 pontos percentuais maior em todos os níveis de effort, com um terço menos turnos de conversa e chamadas de ferramenta, e 60% menos tempo gasto
  • Em tarefas jurídicas com agentes, destacaram-se melhorias nas áreas de governança corporativa e arbitragem
    • Manteve qualidade semelhante usando em média 26% menos tokens que o max reasoning do Opus 4.8
  • Na primeira tentativa de revisão contratual, obteve a melhor pontuação entre os modelos testados e quase dobrou o resultado do Opus 4.8
    • Também concluiu revisões de NDA com menos tempo e menos iterações, mantendo ou elevando a precisão
  • Em tarefas longas, melhorou a capacidade de criar e depois revisar apresentações inteiras, com resultados melhores em compreensão visual, formatação e erros de slides

Alinhamento e capacidades de risco

  • Em auditorias automáticas de comportamento antes do lançamento, o Opus 5 mostrou o mais alto nível de alinhamento entre os modelos da Anthropic
    • Segue melhor a Constituição do Claude do que Opus 4.8, Sonnet 5 e Fable 5
    • Tem a menor taxa de comportamento enganoso e a menor vulnerabilidade a tentativas de indução ao mau uso
    • Também evita melhor ações imprudentes que possam gerar efeitos colaterais difíceis de reverter
  • Não elevou a fronteira de capacidades perigosas de uso dual e, em avaliações feitas com parceiros civis e governamentais, ficou abaixo do Mythos 5 em desempenho tanto em pesquisa biológica quanto em cibersegurança ofensiva
  • Assim como o Opus 4.8, não foi treinado intencionalmente para tarefas de cyber, mas o avanço de capacidades gerais também melhorou bastante seu desempenho relacionado
    • A descoberta de vulnerabilidades chega perto da do Mythos 5
    • Já o desenvolvimento de exploits para transformar vulnerabilidades encontradas em ameaças reais fica bem atrás do Mythos 5
  • Na avaliação OSS-Fuzz, Opus 5 e Mythos 5 encontraram vulnerabilidades com taxas de sucesso parecidas, mas a pontuação em desenvolvimento de exploits do Opus 5 foi muito menor

Proteções em cibersegurança e biologia

  • As proteções foram desenhadas para permitir usos benéficos em cibersegurança e biologia, e são parecidas com as do Opus 4.8, exceto por restrições mais fortes em um conjunto estreito de tarefas de cyber
  • O classificador de cyber é relativamente menos restritivo do que o do Fable 5
    • Permite descoberta de vulnerabilidades em código-fonte
    • Bloqueia varredura de vulnerabilidades baseada em binários, testes de intrusão e geração de exploits, por serem mais propensos a estar ligados a agentes maliciosos
    • Nos testes da Anthropic, espera-se cerca de 85% menos intervenção do classificador do que no Fable 5
  • No Claude.ai, Claude Code e Claude Cowork, solicitações sinalizadas são substituídas por Opus 4.8 por padrão, e isso também pode ser ativado na API
  • Empresas e pesquisadores que participam do Cyber Verification Program podem usar imediatamente uma versão do Opus 5 com menos restrições de segurança
  • Em biologia, mantém proteções semelhantes às do Opus 4.8 e se torna o modelo de pesquisa científica mais poderoso entre os modelos de disponibilidade geral
    • Ainda há limites importantes para pesquisa autônoma de longa duração, e o Mythos 5 continua mais forte nesse tipo de tarefa biológica
    • Solicitações de biologia bloqueadas no Fable 5 agora são encaminhadas ao Opus 5 em vez do Opus 4.8

Preços e recursos para desenvolvedores

  • Está disponível em todas as plataformas, e o identificador do modelo na Claude API é claude-opus-5
    • Custa US$ 5 por 1 milhão de tokens de entrada e US$ 25 por 1 milhão de tokens de saída, o mesmo preço do Opus 4.8
    • Como nos modelos Opus anteriores, o acesso geral não exige retenção de dados
  • O Fast mode roda a cerca de 2,5x da velocidade padrão
    • Na Claude Platform, custa 2x o preço padrão; no Claude Code, é oferecido via créditos de uso
  • Com a beta de troca de ferramentas durante a conversa da Claude Platform, é possível mudar as ferramentas que o Claude pode usar no meio da conversa sem invalidar o cache do prompt
  • Ao ativar a beta de fallback automático na API, solicitações para Opus 5 ou Fable 5 sinalizadas pelo classificador de segurança são automaticamente enviadas para outro modelo
    • Em vez de bloquear a solicitação, o padrão passa a ser encaminhar para o melhor modelo disponível
  • Mais detalhes sobre como usar o modelo estão no guia de prompting do Opus 5

1 comentários

 
GN⁺ 3 시간 전
Opiniões do Hacker News
  • O ponto principal aqui é que, mais do que o desempenho absoluto, as organizações agora podem usar um modelo nível Fable sem exigência de retenção de dados por 30 dias
    O Opus 5, assim como o Opus anterior, não tem requisito de retenção de dados para acesso geral, e o motivo de o Fable não ter pontuação no ARC-AGI também é essa política de retenção
    https://support.claude.com/en/articles/15425996-data-retenti..., https://www.anthropic.com/news/claude-opus-5, https://xcancel.com/arcprize/status/2064399134099153344

    • O custo por tarefa também parece muito mais baixo, chegando a parecer mais barato que o Sonnet
    • Os rumores de que o Opus 5 estava sendo refinado para lançamento estavam corretos, e o desempenho em GDPval-AA v2 também melhorou bastante, o que o torna útil para tarefas de agentes voltadas a trabalho do conhecimento
      Também é bom ver o Fable 5 mantido apenas por créditos, e daqui para frente parece provável que os modelos de ponta fiquem atrás de API paga por uso ou créditos, enquanto outros modelos sejam subsidiados por assinatura mensal
    • Há algo interessante para ver em relação aos guardrails do Fable: https://x.com/cheatyyyy/status/2080693704290140330
    • A empresa usa uma licença corporativa sem retenção de dados, mas o Claude lembra conversas passadas
      Nesse caso, isso significa que a informação está sendo armazenada em algum lugar, então fica difícil entender o modo de retenção de dados
    • A documentação só foi atualizada há mais de duas semanas, e não foi possível encontrar nada que explicite compatibilidade com ZDR, então é preciso confirmar melhor
  • No momento estou testando conversão de imagem→HTML, e antes o Fable era o melhor, com o Gemini 3.1 Pro surpreendentemente em 2º lugar
    O Opus 5 segue o design original com mais precisão que o Fable, implementando os botões como retângulos arredondados em vez de formato de pílula, e as imagens geradas também ficam mais próximas do original
    Original: https://image.non.io/73e239a3-880f-4793-b65f-4810be2d9378.we...
    Opus 5: https://html.non.io/solaraOpus/
    Fable 5: https://html.non.io/solara/

  • Diante de tantos lançamentos, não surpreende que roteamento de modelos seja uma das áreas que mais crescem em IA
    Há mais de 10 empresas, cada uma com modelos de formatos e tamanhos variados, diferentes níveis de raciocínio, modos agente·Pro·rápido, execução padrão·flexível·em lote, e preços distintos para tokens de entrada·saída·cache
    Empresas que enviam prompts para a combinação mais adequada e econômica estão capturando muito valor nesse espaço ignorado pelos desenvolvedores de modelos

    • No fim, o roteamento de modelos será algo que os próprios modelos farão melhor, e nesse processo o contexto se perde, aumentando custo e incerteza
      Isso é uma repetição da Bitter Lesson, e parece provável que as empresas líderes acabem oferecendo essa função diretamente
    • Os desenvolvedores parecem se esforçar para ignorar essa lacuna
      A maior parte do trabalho de escritório não precisa de uma AGI superpoderosa, então o tráfego vai para modelos baratos, mas os laboratórios líderes se posicionam como os únicos capazes tanto de criar AGI poderosa quanto de substituir trabalhadores de escritório
      Rotear para modelos baratos pode abrir um buraco nessa narrativa
    • Fico curioso sobre quem é o cliente
      É difícil aceitar usar qualquer coisa que não seja o modelo mais recente e de maior desempenho para uma tarefa, e a única regra necessária é escolher o modelo mais poderoso que ainda tenha cota de assinatura fixa disponível
    • Em programação, é difícil confiar em um roteador, e seria preciso provar que ele realmente economiza muito dinheiro
      Em troca de poupar custos, é preciso aceitar bugs cuja gravidade e frequência não podem ser medidas, e não se conhece nem o valor do seguro de delegar toda a inferência ao modelo topo de linha nem o custo de corrigir depois
      No nível do projeto, também não há como testar o quanto o código teria sido diferente com outro modelo
    • Também parece possível que essa área acabe pertencendo ao framework de execução do cliente em vez de a empresas de roteadores independentes
  • Se você não quiser ler um PDF de cerca de 190 páginas, há este post no blog: https://www.anthropic.com/news/claude-opus-5

    • É interessante que, mesmo com números um pouco mais baixos que o Fable, eles destaquem o Opus 5 como o melhor modelo para codificação com agentes
    • Vendo esse benchmark, dá para entender por que a Anthropic continuou excluindo o Fable do plano Max
    • Fico curioso por que, nos dados do FrontierCode v1.1, o Opus 5 aparece acima do Fable 5
    • Parece o exemplo perfeito de uma situação em que um modelo de linguagem cria um documento longo e o usuário, sem nem ler, o resume de novo com outro modelo de linguagem
  • Comparando o estilo de escrita do Opus 5 e do Fable 5, o Opus 5 continua usando, como o 4.8, expressões típicas do Claude das quais o Fable tinha escapado
    Expressões como “carry the argument”, “worth stating plainly”, “and the trap”, “The X matters more” e “move” se repetem, então é preciso um benchmark de “inglês irritante”
    Fable 5 Max: https://gist.github.com/deet/3d97f854b48eac6658d642fa18bb24d...
    Opus 5 Max: https://gist.github.com/deet/1a43693a732dfccb4d0d914bfc42692...

    • O Fable pode usar menos esse tipo de expressão, mas a escrita ainda é péssima e cansativa de ler
    • O estilo do Opus 4.8 e do Fable 5 incomodava e era difícil de usar para estudo, e o GPT 5.6 Sol era muito melhor
    • Se o Claude tiver um estilo identificável próprio, fica mais difícil disfarçar texto de IA como se fosse escrito por humano, então isso pode até ser positivo
    • O 4.6 seguia melhor as instruções de estilo do que o 4.8, e ainda é preciso observar mais o 5.0
      O estilo característico do Claude parece vir em parte da tendência de fazer a conversa ou a tarefa avançar de forma “proativa”, e um benchmark que quantifique a faixa de estilo por prompt também parece útil
    • O Opus 5 parece ser um modelo originalmente baseado no Opus 4.8 ao qual foram aplicadas técnicas de raciocínio longo do Kimi K3, e não parece ser Fable de forma alguma
  • Os 55,7% da Anthropic e os cerca de 21% do artigo do OSWorld 2.0 eram métricas diferentes
    O Opus 4.8 completou totalmente cerca de 1 em cada 5 tarefas, registrando taxa de conclusão de 20,6%, e nas demais ainda obteve pontuação parcial, alcançando pontuação parcial de 54,8%
    Ainda assim, essa diferença de métricas faz surgir a dúvida se é possível comparar benchmarks entre artigos dentro de uma margem de erro razoável: https://arxiv.org/pdf/2606.29537

    • Taxa de conclusão é a proporção de tarefas com 100% de sucesso, e taxa de pontuação é a proporção da pontuação parcial possível que foi obtida
      Quem cria o benchmark prefere números baixos que mostrem espaço para melhoria, enquanto quem cria o modelo prefere números altos que destaquem a capacidade, mas os 55,7% da Anthropic e os 54,8% do artigo são, na prática, o mesmo resultado
    • Modelos de linguagem costumam ser não determinísticos, então alguma dispersão é esperada, mas uma diferença desse tamanho exigiria explicação adicional
  • Dizem que “o Opus 5 não é superior ao Fable 5 no geral”, mas no blog listam que ele é melhor na maioria dos benchmarks, o que torna a comunicação confusa
    O system card também afirma que ele é semelhante ao Claude Mythos 5, considerado o Fable com capacidade irrestrita de P&D em IA

    • Desta vez, parece uma solução de compromisso para enfatizar a força do modelo sem atrair supervisão adicional do governo
      O Opus 5 não foi treinado para explorar vulnerabilidades de software, então sua capacidade de descobri-las se aproxima da do Mythos 5, mas sua capacidade de exploração para convertê-las em ameaça cibernética real fica muito atrás
    • Dá para explicar dizendo que o Fable é mais inteligente, mas não foi otimizado para benchmarks, enquanto o Opus é menos inteligente, porém otimizado para benchmarks
    • Parece querer dizer que a capacidade de P&D em IA é parecida, mas a habilidade de hacking que gerou controvérsia no Fable não é a mesma, embora a formulação seja confusa
    • Também pode ser que não afirmem explicitamente que ele é melhor que o Fable para evitar supervisão governamental
  • Um modelo que parece muito superior ao Fable também foi lançado sem maiores problemas, já que não houve a divulgação apocalíptica da Anthropic
    Em teoria, pelos critérios da Anthropic, deveria ser nível AGI, mas na prática é só uma sexta-feira comum

    • Dá para entender o motivo ao ler a seção de salvaguardas do relatório
      Disseram que esses modelos são fortemente protegidos, e que por isso não puderam lançar o Mythos sem salvaguardas
      A OpenAI também teve algo parecido quando anunciou que um modelo sem salvaguardas havia invadido o servidor do HuggingFace
    • Parece que diminuiu o exagero de “o próximo modelo será AGI”
      Mesmo que o GPT-6 saia no verão, agora quase ninguém espera AGI, então fico curioso para saber como vão manter o ciclo de hype
    • Fico em dúvida se isso quer dizer que os alertas causam insatisfação quando o apocalipse de fato não acontece, ou se previsões erradas sobre o apocalipse estão sendo vistas como divulgação
    • O Fable já havia aberto a fronteira, e o Opus 5 só alcançou isso
  • O caso promocional de que o Opus 5 criou em uma única sessão um feed de dados de mercado e ferramenta de validação para uma nova corretora é, curiosamente, um projeto que costuma ser dado a estagiários de empresas de trading

  • No gráfico do Frontier Code, fico curioso por que a eficiência por tarefa do modo de raciocínio médio é de longe a mais alta, e por que os resultados da avaliação pioram tanto à medida que a quantidade de raciocínio aumenta
    Às vezes há uma pequena queda no nível máximo, mas algo desse tamanho é incomum: https://imgur.com/a/Nv8V7Ry

    • Como a métrica é custo por tarefa, pode ser overengineering: tentar fazer melhor e acabar queimando tokens rápido demais
      Subjetivamente, sinto que o Opus 4.8 da semana passada, o Opus 4.8 Medium de hoje e o Opus 5 Medium após o anúncio são mais eficientes na faixa de uso de 5 horas
    • Em níveis altos de raciocínio, a saída pode ficar mais longa e se concentrar demais em detalhes irrelevantes, aumentando a superfície para erros
      Ao usar mais por prompt do que como agente, esse limite pode aparecer, e o nível médio talvez esteja mais equilibrado
    • Se o benchmark penaliza o número de execuções de comandos ou o tempo real decorrido, um alto esforço de raciocínio pode levar a uma pontuação mais baixa
    • Também pode ser algo parecido com o Ballmer Peak, em que o desempenho sobe em um certo nível específico de relaxamento
    • Também é interessante o formato em que cai no meio e volta a subir no nível máximo
      Fico me perguntando se pensar demais é ruim, mas pensar muito mais ao extremo volta a ser bom