Lançamento do Claude 3.5 Sonnet: desempenho superior ao GPT4o

A Anthropic lançou hoje o Claude 3.5 Sonnet. Esta é a primeira versão da futura família de modelos Claude 3.5 e apresenta desempenho superior ao Claude 3 Opus atual e aos modelos concorrentes. O Claude 3.5 Sonnet é oferecido com a mesma velocidade e custo do modelo intermediário Claude 3 Sonnet.

Forma de disponibilização

O Claude 3.5 Sonnet pode ser usado gratuitamente no Claude.ai e no app Claude para iOS, e assinantes dos planos Claude Pro e Team têm acesso com limites de requisição mais altos. Também está disponível por meio da Anthropic API, Amazon Bedrock e Vertex AI do Google Cloud. O custo é de US$ 3 por milhão de tokens de entrada e US$ 15 por milhão de tokens de saída, com uma janela de contexto de 200K tokens.

Melhorias de desempenho

O Claude 3.5 Sonnet estabeleceu novos referenciais em raciocínio de nível de pós-graduação (GPQA), conhecimento de nível universitário (MMLU) e capacidade de programação (HumanEval). Sua capacidade de entender humor e instruções complexas melhorou significativamente, e ele consegue escrever conteúdo de alta qualidade com um tom natural e empático.

Resultados de avaliações internas

Em avaliações internas de programação, o Claude 3.5 Sonnet resolveu 64% dos problemas, superando os 38% do Claude 3 Opus. Essa avaliação testou a capacidade de corrigir bugs ou adicionar funcionalidades em codebases open source com base em descrições em linguagem natural. O Claude 3.5 Sonnet lida facilmente com tradução de código, sendo especialmente eficaz para atualizar aplicações legadas e migrar codebases.

Capacidades visuais

O Claude 3.5 Sonnet supera o Claude 3 Opus em benchmarks visuais padrão e apresenta desempenho de destaque em tarefas que exigem raciocínio visual. Sua capacidade de transcrever com precisão texto de imagens incompletas é muito útil nos setores de varejo, logística e serviços financeiros.

Introdução do recurso Artifacts

O Artifacts, introduzido hoje no Claude.ai, oferece um espaço de trabalho dinâmico no qual os usuários podem editar em tempo real conteúdos gerados, como snippets de código, documentos de texto e designs de sites, e integrá-los a projetos e fluxos de trabalho.

Segurança e privacidade

O Claude 3.5 Sonnet passou por testes rigorosos no nível ASL-2 e concluiu avaliações de segurança pré-implantação em colaboração com o UK AISI. Os dados dos usuários não são usados para treinamento sem permissão explícita.

Planos futuros

Para completar a família de modelos Claude 3.5, a empresa pretende lançar ainda este ano o Claude 3.5 Haiku e o Claude 3.5 Opus. Também está desenvolvendo novos recursos e modalidades para apoiar a integração com aplicações corporativas e explorando um recurso de "Memory" que lembra as preferências dos usuários e o histórico de interações.

Estamos sempre trabalhando para melhorar o Claude e refletir o feedback dos usuários para oferecer uma experiência melhor. É possível enviar feedback sobre o Claude 3.5 Sonnet diretamente no produto para que ele seja refletido no roadmap de desenvolvimento.

[wedding]

Eu testei, e a velocidade é realmente muito rápida.
Também é legal que, como o gpt4o, dá para usar gratuitamente um certo número de vezes.