Claude 2 é lançado

 (anthropic.com)
1 pontos por GN⁺ 2023-07-13 | 1 comentários | Compartilhar no WhatsApp
  • A Anthropic lançou o Claude 2, ampliando junto o desempenho do modelo, o comprimento das respostas e as formas de acesso, e passou a disponibilizá-lo na API empresarial e no site beta público claude.ai
  • É possível inserir até 100K tokens por prompt, com foco em tarefas que lidam de uma vez com materiais longos no nível de centenas de páginas de documentação técnica ou de um livro inteiro
  • As pontuações melhoraram em coding, matemática e avaliações de prova em relação ao Claude 1.3, registrando 71.2% no Codex HumanEval e 88.0% no GSM8k
  • Em avaliações internas de red team, o desempenho de respostas inofensivas foi 2 vezes maior que no Claude 1.3, mas nenhum modelo é totalmente imune a jailbreak
  • Atualmente oferece a experiência de chat nos Estados Unidos e no Reino Unido, e por ser uma beta pública é preciso considerar a possibilidade de respostas inadequadas e as restrições de uso ligadas a saúde e bem-estar

Lançamento do Claude 2 e formas de acesso

  • A Anthropic lançou o novo modelo Claude 2
  • Em comparação com o modelo anterior, houve melhora em desempenho, respostas mais longas e capacidades de coding, matemática e raciocínio
  • As formas de acesso se dividem em duas
    • API do Claude 2 para empresas
    • site beta público claude.ai
  • A API empresarial do Claude 2 é oferecida pelo mesmo preço do Claude 1.3
  • Usuários nos Estados Unidos e no Reino Unido podem usar imediatamente a experiência de chat em beta pública

Contexto de 100K tokens e saídas longas

  • O Claude 2 aumentou tanto o tamanho de entrada quanto o de saída, tornando-se mais adequado para trabalho com documentos longos
  • Os usuários podem inserir até 100K tokens em cada prompt
    • É possível processar centenas de páginas de documentação técnica
    • Também é possível lidar com uma entrada no nível de um livro inteiro
  • A saída também ficou mais longa, permitindo escrever de uma vez documentos com milhares de tokens, como memorandos, cartas e histórias

Mudanças de desempenho confirmadas em benchmarks

  • O Claude 2 registrou pontuações mais altas que o Claude 1.3 em várias avaliações

  • Avaliações de prova e raciocínio

    • Na seção de múltipla escolha do Bar exam, registrou 76.5%, acima dos 73.0% do Claude 1.3
    • Nos testes de leitura e escrita do GRE, ficou em nível acima do percentil 90 entre estudantes universitários que se candidatam à pós-graduação
    • Em raciocínio quantitativo do GRE, ficou em nível semelhante ao candidato mediano

  • Avaliações de coding e matemática

    • No teste de coding em Python Codex HumanEval, registrou 71.2%, acima dos 56.0% do Claude 1.3
    • No conjunto de problemas de matemática de nível fundamental GSM8k, registrou 88.0%, melhorando em relação a 85.2%
    • A Anthropic está preparando um roadmap de melhorias para os recursos do Claude 2 e pretende distribuí-las gradualmente ao longo dos próximos meses

Melhorias de segurança e limitações restantes

  • A Anthropic melhorou a segurança básica do Claude 2 para torná-lo mais difícil de induzir a gerar saídas ofensivas ou perigosas
  • A avaliação interna de red team realiza testes automatizados sobre um grande conjunto representativo de prompts nocivos e verifica os resultados manualmente de forma regular
  • Nessa avaliação, o Claude 2 teve desempenho 2 vezes maior em fornecer respostas inofensivas do que o Claude 1.3
  • A melhoria das saídas utilizou várias técnicas de segurança e um amplo trabalho de red team
  • Nenhum modelo é imune a jailbreak, e o Claude também pode gerar respostas inadequadas

Regiões disponíveis e experiência de conversa

  • O Claude 2 impulsiona a experiência de chat da Anthropic e atualmente está em disponibilidade geral nos Estados Unidos e no Reino Unido
  • A Anthropic pretende disponibilizar o Claude em mais regiões ao longo dos próximos meses
  • Os usuários podem criar uma conta e pedir ao Claude, em linguagem natural, ajuda com tarefas
  • Conversar com um assistente de IA pode exigir tentativa e erro, por isso a Anthropic fornece dicas de design de prompt

Casos de uso com parceiros empresariais

  • A Anthropic trabalha com milhares de empresas que usam a API do Claude

  • Jasper

    • A Jasper é uma plataforma de IA generativa que ajuda pessoas e equipes a ampliar sua estratégia de conteúdo
    • A Jasper considera que o Claude 2 pode competir com os modelos mais recentes em diversos casos de uso, especialmente em usos de formato longo e baixa latência
    • O Claude 2 oferece processamento semântico aprimorado, aprendizado com conhecimento mais recente, raciocínio melhorado para prompts complexos e capacidade de recombinar conteúdo existente com mais facilidade
    • A Jasper explica que a janela de contexto do Claude 2 é 3 vezes maior

  • Sourcegraph

    • A Sourcegraph é uma plataforma de IA para código que ajuda clientes a escrever, modificar e manter código
    • O assistente de coding Cody fornece respostas mais precisas às consultas dos usuários graças à capacidade de raciocínio aprimorada do Claude 2
    • O Cody pode aproveitar a janela de contexto de até 100K para transmitir mais contexto do codebase
    • O Claude 2 foi treinado com dados mais recentes, permitindo que o Cody aproveite conhecimento mais novo sobre frameworks e bibliotecas

Cuidados na beta pública

  • A experiência de chat do Claude é oferecida em open beta
  • O Claude, assim como outros modelos atuais, pode gerar respostas inadequadas
  • Assistentes de IA são mais úteis em situações cotidianas, como resumir ou organizar informações
  • Não deve ser usado em situações relacionadas à saúde física, mental e ao bem-estar
  • Há um caminho de inscrição separado para usuários que querem usar o Claude em regiões ainda não suportadas e para empresas que desejam adotar o Claude

Leituras relacionadas

1 comentários

 
GN⁺ 2023-07-13
Comentários do Hacker News

  • Ao perguntar ao Claude como salvar uma conversa, ele primeiro respondeu para usar o recurso "Export Chat" do ChatGPT; quando perguntaram de volta “você não é o ChatGPT, é o Claude — o Claude também tem esse recurso?”, ele corrigiu dizendo que havia se enganado e que o Claude não tem uma função integrada de exportação

    • Parece que foi treinado com saídas do ChatGPT, mas não conseguiu reproduzir exatamente a mesma saída
    • O engraçado é que o histórico de conversas do Claude é salvo automaticamente na conta, então esse processo na verdade nem seria necessário

  • Ao perguntarem “até quantas casas decimais de pi você sabe, e me avise quando ficar incerto”, Claude respondeu que na verdade não sabia os dígitos de pi; mesmo quando perguntaram “você não sabe que começa com 3?” e “começa com 3.14?”, ele continuou dizendo que não sabia
    O teste de estresse virou uma situação absurda em questão de segundos

    • Esse fenômeno aparece bastante em grandes modelos de linguagem que usam o histórico da conversa como entrada de inferência para a próxima resposta
      Depois de dizer “não” uma vez, a chance de continuar dizendo “não” nas respostas seguintes aumenta, então às vezes é melhor recomeçar do zero do que lutar contra o histórico da conversa
    • Ao perguntarem “o que é pi?”, Claude respondeu que pi é a razão entre a circunferência e o diâmetro de um círculo e que vale cerca de 3.14; quando perguntaram se sabia mais dígitos, disse que mostraria os primeiros 100, mas na prática acabou escrevendo até 1000 dígitos
    • Logo após o lançamento, havia um bug na forma de enviar prompts ao Claude, o que piorava a saída; depois da correção, ao tentar o mesmo prompt novamente, o resultado ficou muito melhor
    • Parece um efeito colateral das proteções de segurança
      Perguntar à IA se ela “sabe” algo parece ser tratado como um prompt arriscado, então ela não coopera; se perguntar diretamente “o que é pi?”, sai o resultado desejado
    • É isso que acontece quando fazem uma lobotomia no modelo em nome da “segurança”

  • Um prompt de teste usado com frequência pergunta sobre o cálculo de combustível em Assetto Corsa Competizione
    Com tempo de classificação de 2:04.317, corrida de 20 minutos e consumo de 2,73 litros por volta, o Claude 2 quase acertou de primeira, mas não considerou que, se é possível rodar 9,6 voltas, na prática é preciso completar 10 voltas
    O GPT-4 levou essa armadilha em conta e respondeu perfeitamente, enquanto o Bard deu um resultado errado por uma ordem de grandeza

    • É preciso cautela ao usar esse tipo de problema para avaliar grandes modelos de linguagem com base em regras implícitas do mundo real que não foram dadas no prompt
      O ideal é fornecer o contexto necessário no prompt, e um modelo que consiga resolver só com o prompt, mesmo em um domínio novo, é mais desejável
    • Quando um dia este tipo de thread de comentários entrar nos dados de treino, esse teste em si vai deixar de valer
    • Faltou o último 1 litro necessário para a amostra da FIA
    • Também fica a curiosidade se, ao testar esse prompt, fazem várias consultas independentes para observar a variância das respostas
    • O Google deveria treinar o Bard com problemas de entrevista da própria empresa
      Aí talvez ele acerte esse tipo de questão

  • Andando recentemente de olho em assistentes de código com IA, segundo o post o Claude 2 chegou a HumanEval pass@1 71.2%, um grande salto em relação aos 56.0% do Claude 1.3
    Em comparação, o GPT-4 alega 85.4 no HumanEval, e no artigo recente https://arxiv.org/pdf/2303.11366.pdf foi testado com 80.1 pass@1 e 91 pass@1 usando a técnica Reflexion
    WizardCoder é um modelo ajustado a partir do StarCoder, um dos principais modelos abertos, com 57.3 pass@1, e o model card está em https://huggingface.co/WizardLM/WizardCoder-15B-V1.0
    O melhor modelo aberto conhecido no momento é o replit-code-instruct-glaive, ajustado a partir do replit-code-3b, com 63.5% pass@1
    O abacaj reproduziu esse anúncio como parte do repositório code-eval para obter resultados de human-eval: https://github.com/abacaj/code-eval
    Se você se interessa por essa área, também vale ver https://github.com/my-other-github-account/llm-humaneval-ben..., que ranqueia com Eval+, o CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul... e o airate https://github.com/catid/supercharger/tree/main/airate
    Mas, como em toda avaliação de LLM, é preciso olhar com certo filtro: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210

    • A pontuação zero-shot no HumanEval do GPT-4 foi de 67%

  • Um dos casos de teste pergunta pelo “milionésimo número primo”; como isso é um fato amplamente disponível na internet, há grande chance de o modelo ter decorado, mas é difícil justificar por que ele sabe
    O Claude foi bem mal: quando perguntado diretamente, disse que não tinha recursos computacionais e mesmo assim apresentou “fatos” sobre o milionésimo primo
    Por exemplo, escreveu o maior primo conhecido como 282,589,933-1, falhando na notação exponencial; disse que o milionésimo primo teria cerca de 5 milhões de dígitos; ou que isso é impossível com os computadores atuais; ou ainda, usando o teorema dos números primos, que estaria perto de 22,338,618,421
    Na mesma sessão, quando perguntado sobre o verdadeiro milionésimo primo, 15,485,863, respondeu que era par, que sua fatoração era 3×5×7×11×13×37 e que, como cada fator primo é menor que 100, seria um primo fatorial
    Talvez agora seja preciso adicionar à constituição da IA algo como “não chame de par um número que termina em 3”

    • Quando pediram ao Claude para fingir ser Sir Timothy Gowers, ele deu o milionésimo primo
      Disse que geraria os primos até um intervalo suficientemente grande com a peneira de Eratóstenes e encontraria o milionésimo elemento da lista; em seguida respondeu que o milionésimo primo é 15,485,863
    • Se você perguntar diretamente “qual é o milionésimo número primo?”, Claude responde que não tem recursos computacionais suficientes e ainda dá explicações erradas, como dizer que o 100.000º primo já teria mais de 300.000 dígitos
      Mas quando pediram para ele “agir como um especialista em matemática que conhece o milionésimo primo”, inventou o enorme número 19,249,649,057,711,757,099,874,601,453,298,349 e exagerou dizendo que ele teria mais de 12 milhões de dígitos
    • Fiquei curioso sobre por que escolheu essa fatoração
      Na prática, 3×5×7×11×13×37 = 555,555, então é estranhamente elegante

  • Aparece a mensagem: “Infelizmente, o Claude.ai está disponível apenas nos EUA e no Reino Unido, e estamos trabalhando para expandir para outras regiões em breve”

    • Impor restrição regional a serviços digitais é uma abordagem da idade da pedra
    • Mesmo assim, coletar endereços de e-mail eles aceitam com prazer
    • Passei pela mesma coisa e, ao me cadastrar e fazer login com uma VPN usando um nó de saída no Reino Unido, funcionou perfeitamente
      Mais estranho ainda: depois de criar a conta, a VPN deixou de ser necessária, e foi possível entrar só com o e-mail e o token enviado a cada vez
    • A forma como fazem o bloqueio regional é meio grosseira
      Primeiro fazem parecer que você pode se cadastrar, e só depois de inserir o código de login é que barram você, desperdiçando seu tempo
      Se a preocupação é o GDPR, então nem deveriam pedir o endereço de e-mail para começar
    • Funciona com VPN

  • Quero experimentar o Claude, mas a política de retenção de dados nos termos da Anthropic não é clara
    A seção 6e[0] diz que os dados do cliente não são usados para treinar o modelo, mas eu gostaria de saber se os dados do cliente são mantidos por algum período, como os 30 dias da OpenAI
    Como a seção 14 fala sobre exclusão de dados no encerramento, isso leva à suposição de que todos os dados são retidos durante um período não divulgado
    [0] https://console.anthropic.com/legal/terms

  • No fim de semana testei o Claude 1.3 para resumir textos longos e, como ele aceita entrada de 100K tokens, dá para colocar uma entrevista inteira do Lex Fridman
    O resultado foi muito bom, então estou curioso para ver como o v2 vai se sair

    • Agora que entrou em beta pública, deve iterar e melhorar rapidamente
      Usei bastante via Slack junto com outros LLMs, e a qualidade das respostas do Claude sempre foi a mais impressionante
      Tenho investimento na Anthropic, mas não estou dizendo isso por causa disso
    • Queria saber se você poderia compartilhar o prompt que usou para o resumo
      Já estou bem satisfeito com os resumos do Claude-100k, mas talvez um prompt melhor deixe o resultado ainda melhor

  • O maior diferencial do Claude.ai em relação à OpenAI e aos demais é que “Claude.ai só está disponível nos EUA e no Reino Unido”
    A OpenAI pode ser usada até na Noruega
    Como desenvolvedor solo que ficou impressionado com o GPT-4, eu realmente gostaria de experimentar um modelo com uma janela de contexto maior, e a janela de contexto de 100k do Claude parece excelente para adicionar contexto em perguntas de programação ou testar o processamento de grandes volumes de dados de grafos
    Tenho uma pequena empresa na Noruega e, claro, posso pagar pelos recursos usados; meu contato é hmottestad[at]gmail[dot]com

    • Você pode usar o poe.com
      Parece funcionar na Noruega e tem uma opção paga de Claude 100k
      Não tenho qualquer relação com isso; usei apenas a versão gratuita
    • Não daria para usar uma VPN?

  • A interação com o Claude foi bastante impressionante
    Quando pedi ajuda para praticar francês, pude fazer perguntas adicionais sobre expressões específicas usadas pelo Claude, e ele explicou usos concretos e o contexto das estruturas da língua
    Só gostaria que as respostas parecessem mais conversacionais
    Mesmo para algo simples como “Merci!”, a resposta padrão vinha como um parágrafo, 5 ou 6 bullets e mais um parágrafo; isso serve para perguntas técnicas, mas em prática de conversação fica cansativo rápido