Anthropic Economic Index: o impacto do Claude 3.7 Sonnet

• A Anthropic publicou o segundo relatório de pesquisa sobre o impacto econômico da IA após o lançamento do Claude 3.7 Sonnet
• Este relatório analisa os dados de uso do Claude.ai após o lançamento do Claude 3.7 Sonnet, seu modelo novo e mais poderoso
• O conjunto de dados foi disponibilizado publicamente para download livre

Principais descobertas

• Após o lançamento do Claude 3.7 Sonnet, aumentou a participação de uso em aplicações de programação, educação, ciência e saúde
• O novo modo "extended thinking" do Claude 3.7 Sonnet é usado principalmente para tarefas técnicas
  • É utilizado sobretudo em tarefas relacionadas a pesquisadores de ciência da computação, desenvolvedores de software, animadores multimídia e designers de videogames
• Divulgação de dados de análise de assistência/automação nos níveis de tarefa e ocupação
  • Tarefas relacionadas a redatores publicitários e editores mostraram o maior nível de iteração de trabalho (humanos e modelo escrevendo juntos)
  • Tarefas relacionadas a tradutores e intérpretes mostraram o maior nível de comportamento diretivo (o modelo conclui a tarefa com participação humana mínima)
• Primeira divulgação de uma taxonomia bottom-up sobre o uso no Claude.ai
  • Fornece um novo conjunto de dados com 630 categorias detalhadas
  • Espera-se que essa classificação ajude a identificar casos de uso que abordagens top-down existentes podem deixar passar

Mudanças após o lançamento do Claude 3.7 Sonnet

• Foram analisadas 1 milhão de conversas anônimas do Claude.ai Free e Pro durante os 11 dias após o lançamento
• Houve um pequeno aumento na participação de uso nas áreas de programação, educação e ciência
• A expectativa é que o aumento no uso para programação se deva à melhora nas pontuações de benchmark de programação do Claude 3.7 Sonnet
• O aumento em outras categorias pode refletir a difusão da IA por toda a economia, novas aplicações da programação nesses domínios ou melhorias inesperadas nas capacidades do modelo

Padrões de uso do modo extended thinking

• O modo extended thinking é usado principalmente em situações de resolução de problemas técnicos e criativos
• Tarefas relacionadas a cientistas da computação e da informação são as mais frequentes, com quase 10%
• Também há uso significativo em tarefas relacionadas a desenvolvedores de software (cerca de 8%), artistas multimídia (cerca de 7%) e designers de videogames (cerca de 6%)
• Para pesquisas adicionais sobre esse novo recurso do modelo, foi divulgado um conjunto de dados que mapeia a proporção do modo de raciocínio associada a cada tarefa

Mudanças na proporção entre assistência e automação

• O equilíbrio entre uso assistivo e uso automatizado permanece basicamente inalterado também nos novos dados, com a assistência representando 57%
• Foram observadas algumas mudanças nos tipos de automação e assistência
  • Interações de aprendizado, nas quais os usuários pedem informações ou explicações sobre vários temas, aumentaram de ~23% para ~28%
• Tarefas de serviços sociais apresentam uma taxa de uso assistivo próxima de 75%
• Tarefas relacionadas à produção ou a ocupações de computação e matemática mostram uma proporção de assistência/automação próxima de 50/50
• Não há nenhuma categoria ocupacional em que a automação seja dominante

Taxonomia bottom-up

• Divulgação de um conjunto de dados bottom-up sobre o uso do Claude.ai
• Gerado com o Clio usando o mesmo conjunto de dados de conversas anonimizadas
• É composto por 630 clusters detalhados, incluindo descrições relacionadas, métricas de difusão e análise de automação/assistência
• É estruturado em 3 níveis hierárquicos
• Exemplos de clusters especialmente interessantes:
  • Suporte a sistemas de gestão de recursos hídricos e projetos de infraestrutura
  • Criação de simulações baseadas em física com recursos de visualização interativa
  • Suporte à seleção, implementação e resolução de problemas de fontes tipográficas
  • Suporte à criação e melhoria de materiais para candidatura a emprego
  • Fornecimento de orientações sobre tecnologia de baterias e sistemas de recarga

Conclusão e planos futuros

• À medida que os modelos evoluem, a medição do impacto econômico também precisa evoluir
• Nos dados após o lançamento do Claude 3.7 Sonnet, houve um aumento relativamente pequeno nos casos de uso em programação, educação e ciência, sem mudança no equilíbrio entre assistência e automação
• O modo extended thinking é usado com maior frequência em domínios e tarefas técnicas
• Foram confirmados padrões nos comportamentos de automação/assistência em diferentes tarefas e ocupações
• Nos próximos meses, esses indicadores continuarão sendo acompanhados, e novos indicadores devem ser desenvolvidos à medida que as capacidades melhoram e os modelos continuam a ser aplicados em toda a economia

[esc5221]

Anthropic Economic Index (índice econômico)