Notas sobre a nova ferramenta de analysis para execução de código JavaScript do Claude

• A Anthropic lançou a "Analysis Tool" para a interface de chatbot do Claude.ai
• A ferramenta é semelhante ao modo de interpretador de código do ChatGPT da OpenAI e permite que o Claude escreva e execute código para usar os resultados na conversa
• Os usuários podem ativar esse recurso na página de feature flags do Claude

Como a execução de código JavaScript funciona

• O interpretador de código do ChatGPT e o Google Gemini funcionam escrevendo código Python e executando-o em um servidor sandbox seguro
• O Claude usa JavaScript em vez de Python e executa tudo diretamente no navegador
• Ele roda em um Web Worker restrito e se comunica com a página principal por meio da interceptação de mensagens de console.log()
• É implementado com uma ferramenta chamada repl, e é possível pedir ao Claude, via prompt, a descrição da função repl

repl

• repl é um REPL de JavaScript
• É usado para problemas matemáticos complexos ou análise de arquivos grandes enviados por usuários
• É possível ler dados de arquivos compartilhados com a função fs.readFile()
• Bibliotecas como Lodash e Papa Parse podem ser usadas
• Não é um ambiente Node.js, e é preciso usar sintaxe de import no estilo React
• A interação entre a ferramenta de análise e os Claude Artifacts é um pouco confusa
  • O código da ferramenta de análise não fica em um ambiente compartilhado com o Artifact
  • Para reutilizar no Artifact o código da ferramenta de análise, é preciso reescrever todo o código novamente
• Os arquivos enviados atualmente são adicionados ao contexto do Claude, têm limite de tamanho e apenas formatos de texto funcionam

Resumo do GN⁺

• A nova ferramenta de análise do Claude se diferencia do ChatGPT e do Google Gemini por ser baseada em JavaScript e executar diretamente no navegador
• Como inclui recursos de processamento de arquivos, ela parece ser útil para tarefas de análise de dados
• No entanto, ainda há espaço para melhorias, como o fato de suportar apenas arquivos em formato de texto e ter integração um tanto limitada com o Artifact
• Para usuários que preferem soluções baseadas em Python, como as da OpenAI ou do Google, isso pode parecer um pouco estranho
• Espera-se que, no futuro, o suporte a recursos adicionais como processamento de arquivos binários ou SQLite aumente ainda mais sua utilidade

[GN⁺]

Comentário no Hacker News

• A ideia de executar JavaScript no lado do cliente para reduzir custos de servidor é interessante

  • Deve haver economia de custos para a Anthropic, já que não é necessário executar o servidor toda vez

• Nas instruções personalizadas para o modelo, está explícito: "isto é semelhante à sintaxe antArtifact usada em Artifacts, mas não é a mesma coisa"

  • É interessante a formulação no prompt de sistema que parece quase um pedido de desculpas ao modelo

• Eu estava procurando o padrão correto para executar código JavaScript não confiável em um sandbox do navegador, e parece que a Anthropic resolveu isso

  • O código JavaScript deles está tão ofuscado que é difícil fazer engenharia reversa

• Fiz testes de geração de código no Claude e no ChatGPT

  • Ao trabalhar com Python, o Sonnet (versões anteriores à 3.5) era superior ao ChatGPT em legibilidade, estrutura e compreensão do prompt
  • Depois de mudar para projetos em JavaScript, o Sonnet 3.5 ficou mais verboso e exigiu correções, enquanto o ChatGPT foi mais conciso e preciso
  • Estou curioso para ver se o Claude melhora ao focar em JavaScript

• duckdb-wasm seria uma boa adição

  • Estou usando isso na Definite e tenho uma avaliação positiva do duckdb

• JavaScript é a linguagem perfeita para esse trabalho

  • Estou na expectativa por um ambiente de programação em sandbox onde a IA possa operar livremente

• Isso é um ótimo avanço, mas acho que não será muito útil até começar a sair do contexto

  • Tenho grandes expectativas para a Anthropic e fico feliz que isso não tenha se tornado um mercado de vencedor leva tudo, como eu previa em 2021