- A Anthropic analisou 1 milhão de conversas anônimas ocorridas no Claude.ai para investigar como universitários utilizam IA em ambientes educacionais reais
- Trata-se da primeira análise em larga escala de uso real a complementar as limitações de pesquisas baseadas em questionários ou experimentos
Resumo das principais descobertas
- Estudantes de áreas STEM são os mais ativos na adoção do Claude, e especialmente o curso de Computer Science respondeu por 36,8% de todas as conversas (enquanto representa apenas 5,4% dos diplomas nos EUA)
- As formas de uso de IA pelos estudantes se dividem em quatro tipos: resolução direta de problemas, geração direta de resultados, resolução colaborativa de problemas e geração colaborativa de resultados
- A maioria dos estudantes usa o Claude para funções cognitivas de nível mais alto, como 'criação (Creating)' e 'análise (Analyzing)'
- Isso corresponde às etapas superiores da taxonomia educacional de Bloom, o que levanta preocupação de que a dependência da IA possa enfraquecer o pensamento crítico
Como foram identificados os tipos de uso de IA na educação
- Foi usada uma ferramenta interna de análise chamada Clio para classificar as conversas do Claude por tema, remover informações pessoais e então agregá-las
- Das 1 milhão de conversas, 574.740 foram identificadas como diretamente relacionadas a estudos ou pesquisa
- O Clio analisou as conversas classificando-as automaticamente em conceitos de nível superior, como ‘debug de código’ e ‘explicação de conceitos de economia’
Para que os estudantes usam o Claude
- 39,3% de todas as conversas foram usadas para gerar e melhorar conteúdo educacional (ex.: criação de exercícios, edição de ensaios e resumos)
- 33,5% foram usadas para resolver tarefas e obter explicações técnicas (ex.: debug de código, implementação de algoritmos e resolução de problemas matemáticos)
- Outros objetivos de uso:
- Análise e visualização de dados: 11,0%
- Planejamento de pesquisa e desenvolvimento de ferramentas: 6,5%
- Geração de diagramas técnicos: 3,2%
- Tradução e revisão linguística: 2,4%
Comparação da proporção de uso do Claude por área acadêmica
- Cursos com uso acima do esperado:
- Computer Science: participação nos diplomas 5,4% → participação nas conversas 38,6%
- Ciências naturais e matemática: 9,2% → 15,2%
- Cursos com uso abaixo do esperado:
- Business: 18,6% → 8,9%
- Health Professions: 13,1% → 5,5%
- Humanities: 12,5% → 6,4%
- Estudantes de STEM estão adotando o Claude rapidamente
Análise dos tipos de interação estudante-IA
- Foram definidos quatro tipos de interação com base em dois eixos:
- direto vs. colaborativo (obter respostas rapidamente vs. colaborar de forma conversacional com a IA)
- resolução de problemas vs. geração de resultados (soluções para perguntas vs. geração de saídas como ensaios)
- Os quatro tipos representam entre 23% e 29% de todas as conversas, com distribuição relativamente equilibrada
- Exemplos positivos de aprendizagem:
- explicação de conceitos de filosofia
- criação de material didático de química
- explicação de conceitos de anatomia muscular
Possibilidade de uso indevido com IA
- Cerca de 47% das conversas eram interações diretas, com potencial de uso indevido
- Ex.: pedido da resposta de um problema de machine learning, solicitação de resposta para prova, reescrita de frases para evitar plágio
- Mesmo conversas colaborativas podem contribuir pouco para a aprendizagem
- Ex.: pedido para resolver exercícios de estatística
Padrões de interação por curso
- Ciências naturais e matemática: foco em resolução de problemas (ex.: pedido de solução passo a passo)
- Computer Engineering, Engineering e ciências naturais: preferência por interações colaborativas
- Humanities, Business e áreas da saúde: equilíbrio entre interações diretas e colaborativas
- Educação: maior proporção de geração de resultados (74,4%)
- Inclui casos em que professores usam o Claude para criar materiais didáticos e planos de aula
Análise do trabalho cognitivo delegado à IA pelos estudantes
- Análise das funções cognitivas executadas pelo Claude com base na Bloom’s Taxonomy
- Proporção de tarefas cognitivas de nível superior:
- criação (Creating): 39,8%
- análise (Analyzing): 30,2%
- Proporção de tarefas cognitivas de nível inferior:
- aplicação (Applying): 10,9%
- compreensão (Understanding): 10,0%
- memorização (Remembering): 1,8%
- O fato de a IA generativa conseguir realizar funções de pensamento de nível superior é educacionalmente relevante, mas pode também enfraquecer as capacidades do aprendiz
Limitações do estudo
- Os dados provavelmente refletem principalmente adotantes iniciais
- O uso de outras IAs além do Claude não foi considerado
- Parte dos dados pode incluir conversas de professores ou funcionários
- Não foram consideradas diferenças de uso ao longo do semestre
- Não foi analisado se a saída da IA contribui de fato para resultados reais de aprendizagem
- Casos de uso interdisciplinar entre cursos não foram classificados
- Há limitações na aplicação da taxonomia de Bloom à IA
Conclusão e próximos desafios
- A IA oferece muitas possibilidades para a aprendizagem, mas também traz grandes desafios em pensamento crítico e ética acadêmica
- Perguntas centrais:
- Como garantir que estudantes mantenham competências cognitivas básicas na era da IA?
- Como redefinir provas e critérios de avaliação?
- Qual é o significado de aprender em uma era em que a IA pode escrever ensaios e resolver problemas complexos?
- O Claude já está sendo usado como uma ferramenta de aprendizagem relevante em ambientes educacionais, e a colaboração com educadores deve se ampliar
Abordagem educacional da Anthropic
- A empresa continua estudando o papel educacional da IA em parceria com universidades
- Está experimentando um 'Learning Mode' focado em compreensão conceitual, em vez de fornecer respostas diretas
- Pretende pesquisar mais profundamente como a IA afeta a aprendizagem no futuro
1 comentários
Opiniões no Hacker News