- Um estudo analisou experimentalmente como o uso de grandes modelos de linguagem (LLMs) na redação de ensaios afeta a atividade cerebral e a carga cognitiva humanas
- Usuários de LLM apresentaram menor senso de autoria sobre a escrita, tiveram dificuldade para citar com precisão seus próprios textos e, no longo prazo, mantiveram queda de desempenho nos níveis linguístico, comportamental e neural
- Os participantes foram divididos em três grupos — LLM, mecanismo de busca e apenas cérebro (Brain-only) — e realizaram a mesma tarefa; parte deles também alternou as condições para comparação
- Os resultados de EEG (medição de ondas cerebrais) mostraram que o grupo Brain-only exibiu a rede de conexões cerebrais mais forte e ampla, enquanto os usuários de LLM apresentaram a conectividade mais fraca
- O estudo mostra que a dependência de IA pode gerar custos cognitivos no processo de aprendizagem e levanta a necessidade de uma análise mais profunda sobre seus impactos educacionais
Visão geral do estudo
- O estudo investigou o impacto do uso de ferramentas de apoio por IA na atividade cerebral e no comportamento durante a escrita de ensaios
- Os participantes foram divididos em três grupos: LLM (como ChatGPT), mecanismo de busca e Brain-only (sem uso de ferramentas)
- Cada grupo realizou três sessões sob as mesmas condições e, na quarta sessão, parte dos participantes alternou a condição
- Usuários de LLM mudaram para Brain-only (LLM-to-Brain)
- Usuários de Brain-only mudaram para a condição com LLM (Brain-to-LLM)
- Ao todo, 54 pessoas participaram das sessões 1 a 3, e 18 concluíram até a sessão 4
Método experimental
- A carga cognitiva e a conectividade cerebral durante a redação dos ensaios foram medidas por meio de EEG (eletroencefalografia)
- Os ensaios produzidos também passaram por análise com processamento de linguagem natural (NLP) e por avaliação de notas feita por professores humanos e avaliadores de IA
- Os resultados de análise de NER (reconhecimento de entidades nomeadas), padrões de n-gramas e ontologia de tópicos mostraram alta similaridade dentro de cada grupo
Principais resultados
- A análise de EEG confirmou diferenças claras entre os grupos
- O grupo Brain-only apresentou a rede de conexões cerebrais mais forte e ampla
- O grupo de mecanismo de busca mostrou um nível intermediário de engajamento
- O grupo LLM apresentou a conectividade mais fraca
- Foi observada uma tendência de redução da atividade cognitiva à medida que aumenta o uso de ferramentas externas
- Na sessão 4, os participantes que passaram de LLM para Brain-only mostraram redução na conectividade das bandas alfa e beta, isto é, um estado de hipoativação cognitiva
- Em contrapartida, os que passaram de Brain-only para LLM apresentaram melhora na capacidade de recordação de memória e ativação das regiões occipital-parietal e pré-frontal, de forma semelhante aos usuários de mecanismo de busca
Observações comportamentais e linguísticas
- O senso de autoria sobre o ensaio (self-reported ownership) foi mais baixo no grupo LLM e mais alto no grupo Brain-only
- Usuários de LLM tiveram dificuldade para citar com precisão seus próprios textos
- No acompanhamento de 4 meses, usuários de LLM mostraram baixo desempenho persistente nos níveis neural, linguístico e comportamental
Conclusão e implicações
- Os LLMs oferecem conveniência imediata, mas há um custo cognitivo de longo prazo (cognitive cost)
- O estudo alerta para o impacto negativo da dependência de IA sobre a aprendizagem e a capacidade de pensar
- Reforça a necessidade de equilibrar e reavaliar o uso de IA sob as perspectivas educacional e cognitiva
- O MIT Media Lab afirma, com base nesses resultados, a necessidade de redesenhar os mecanismos de aprendizagem na era da IA
14 comentários
Do ponto de vista de quem trabalha com pesquisa, eu falo muito sobre esse problema. Os objetos que antes substituíam funções humanas normalmente substituíam funções específicas; raramente substituíam a própria cognição. As funções cognitivas se desenvolvem funcionalmente no processo de passar por carga, e isso acaba nos privando dessas oportunidades por conta própria. Alguém pode dizer que isso permite focar em outras coisas, mas, se a própria função cognitiva não puder crescer, talvez nem chegue a existir a oportunidade de fazer outras coisas. Claro, isso também pode ser um fenômeno típico de um período de transição, mas, vendo as pessoas mais juniores que entrevistei recentemente e colegas mais novos da universidade, sinto que o problema é maior do que parece. É verdade que tudo depende de como se usa a ferramenta, mas, num cenário em que as pessoas nem conseguem controlar um simples smartphone, a ponto de proliferarem os "smombies" que andam olhando para a tela na rua, não dá para esperar que a maioria vá conseguir usar isso de forma controlada.
Eu também tomo cuidado para não ficar dependente de LLMs por causa desse problema. A essência da maioria das coisas feitas por humanos é a
intenção. Em filmes, comida, tecnologia... sinto que a implementação importa só uns 15%.Se o LLM economiza tempo, esse tempo economizado deve ser usado para melhorar a qualidade
> Houve polêmicas parecidas sempre que surgia uma nova mídia
> Sócrates dizia que a escrita prejudicava a memória, e na era de Gutenberg havia o receio de que a reflexão desaparecesse
Acho essa opinião interessante. Referência: xkcd.com/1601 xkcd.com/1227
Opiniões do Hacker News
Se eu usar IA com frequência demais, sinto que perco a sensação de imersão na resolução de problemas
Ao implementar um algoritmo de layout de grafos baseado no framework Sugiyama complexo, graças à IA consegui aprender os conceitos rapidamente, mas quando deixei que ela escrevesse o código, minha compreensão acabou travando
Depois, troquei o Copilot IDE pelo app Copilot 365, pedi explicações sobre os princípios e fiz o debugging por conta própria, e assim recuperei a sensação de imersão
Acho muito melhor usar a IA não para fazer o trabalho por você, mas como uma enciclopédia interativa
Agora consigo focar mais em revisão de código e design de arquitetura, então passo mais tempo no que é essencial
Mesmo usando IA como enciclopédia, a capacidade de buscar informações pode diminuir, mas o trade-off de economizar tempo e energia ainda vale a pena
Começou com “vou só perguntar para um LLM”, depois virou “enquanto eu descanso um pouco, o LLM faz isso por mim”, e então evoluiu para “o LLM acompanha minhas ideias e me dá novas inspirações”
Mas no fim sempre chegam os prazos e o trabalho real
Sempre houve controvérsias parecidas quando surgia um novo meio
Sócrates dizia que a escrita destruiria a memória, e na era de Gutenberg havia preocupação com o desaparecimento da reflexão
Este estudo tem amostra pequena e duração curta, então sua confiabilidade é baixa, mas os LLMs são qualitativamente diferentes de calculadoras ou do Google porque podem substituir todo o processo cognitivo
Talvez a capacidade cognitiva não esteja desaparecendo, e sim mudando de forma. Acho que só saberemos o resultado daqui a uns 20 anos
Pessoas que não sabiam ler nem escrever tinham uma capacidade de memorização enorme, e hoje ficamos mais preguiçosos por depender das máquinas
Também existe o paradoxo da produtividade(https://en.wikipedia.org/wiki/Productivity_paradox): já se passaram 30 anos desde a popularização da internet, mas a produtividade não aumentou tanto assim
Os LLMs enfraquecem essas três etapas. Em compensação, se forem usados como um professor personalizado que me propõe problemas, também podem fazer o cérebro se desenvolver
Mas as empresas não vão nessa direção, então precisamos lutar por um caminho melhor
Com as calculadoras aconteceu algo parecido: elas enfraqueceram a habilidade de fazer cálculos complexos
Se a mudança for positiva, vamos precisar de novas formas de avaliar o aprendizado; se for negativa, serão necessárias políticas de bloqueio de LLMs
Em qualquer caso, uma reestruturação do sistema educacional parece inevitável
Se juniores não puderem crescer fazendo tarefas simples, os sêniors também vão desaparecer
Do ponto de vista dos estudantes, o apoio de IA no aprendizado traz mais prejuízo do que benefício
O processo de tentativa e erro e de reflexão desaparece, e até o ato de pensar acaba sendo delegado a um sistema automatizado
Antes bastava bloquear o Instagram; agora vivemos numa era em que é preciso bloquear o próprio pensamento
O podcast Change, Technically, da psicóloga Cat Hicks e da neurocientista Ashley Juavinett, trata bem dos problemas deste estudo
O ChatGPT pode até deixar as pessoas mais burras, mas isso não pode ser provado com um estudo desse tipo
Para mim, a IA na verdade deu a sensação de aliviar sintomas de TDAH
Organizo ideias como se fosse um notebook interativo, e o processo de escrever textos longos em LaTeX ficou muito mais prazeroso
É como se eu funcionasse como uma pessoa sem TDAH
Quando estou codando direto, entro em fluxo, mas enquanto espero a resposta da IA acabo me distraindo
Faço conversas de design no ChatGPT e uso o Copilot para ajudar no trabalho de código
Na verdade, minha velocidade de aprendizado e compreensão aumentou
Nunca fiz avaliação para TDAH, mas certamente sinto problemas de concentração
Um amigo contou que um colega na casa dos 20 deixou o ChatGPT fazer a conta do almoço
Fiquei surpreso ao ver a geração mais nova dependendo da IA até para aritmética simples
Às vezes até chamam o Google Sheets de Excel
Humanos já são naturalmente fracos em aritmética, então não há motivo para insistir em fazer tudo na mão
Cálculo simples não é resolução de problema
Agora que a IA também lê e escreve por nós, os humanos podem se concentrar em pensamento de nível mais alto
Assim como os druidas criticaram a escrita, a perda da memória sempre existiu
Ainda assim, a escrita se espalhou, e seguimos sem saber se isso nos tornou mais inteligentes ou mais burros
Ainda assim, se usados como professor personalizado, também podem desenvolver o cérebro
No fim, a direção da IA é algo que nós decidimos
Já não precisamos decorar números de telefone nem caminhos
Mas, se a IA economiza tempo, podemos investir esse tempo em ler materiais de fonte primária
No fim, a religião também foi a primeira economia da atenção
Ironicamente, os LLMs estão resolvendo o problema que ele temia
Dependência de GPS e dependência de IA são problemas parecidos
Algumas pessoas deixam de memorizar caminhos, e outras seguem cegamente
Isso ajuda a aprender a estrutura da cidade
Com LLMs faço algo parecido: mantenho o foco resolvendo o problema em uma espécie de competição enquanto a IA produz a resposta
Preocupa ver jovens que não conseguem dirigir sem GPS
Com LLMs é igual: se você depende demais, acaba terceirizando o próprio raciocínio
Alguns aprendem o terreno rapidamente, outros precisam de mais tempo
Este estudo consistiu em pedir aos participantes que escrevessem uma redação de 20 minutos
Num ambiente assim, as pessoas tendem a buscar apenas eficiência de curto prazo, o que fica distante do verdadeiro impacto cognitivo
É preciso ver que efeito os LLMs têm em tarefas realmente significativas
No fim, a conclusão é algo como: “quem jogou tênis de verdade usou mais os músculos do que quem ficou vendo um robô jogar tênis”
Isso é o nível de olhar para um martelo e dizer que ele “faz casas mal construídas”.
O problema não é a ferramenta, mas como ela é usada.
Por exemplo:
Se você usa uma calculadora, pode acabar fazendo menos contas de cabeça,
mas, em compensação, consegue fazer matemática mais complexa.
Se você usa GPS, sua capacidade de memorizar caminhos pode diminuir,
mas você consegue planejar estratégias espaciais mais amplas.
Com o ChatGPT, é a mesma coisa.
E tem mais uma coisa interessante.
No momento em que você lê um texto desses e concorda sem pensar, tipo “isso mesmo, usar IA deixa a pessoa burra”,
a dívida cognitiva de que ele fala já está, de fato, acontecendo nessa pessoa.
Ferramentas são sempre neutras.
Se o pensamento vira dívida ou ativo, isso é decidido pela atitude de quem usa.
Sr. Kim. Há algo que eu ouso aconselhar. Não é nada demais: não use AI GTP? tanto assim. Se existe conveniência, o risco aumenta. Para pegar um boi há uma lâmina à altura, mas é preciso faca para pegar uma galinha? O mais simples pode ser a resposta certa.
Há GitHub, busca no Google e métodos simples. Não precisa de estrela nem de tempo, e depois também existe o jeito de codar na raça.
Vamos supor que o Sr. Kim seja um general no campo de batalha. Não é óbvio que é preciso vencer a guerra? Estratégia adequada à situação? Dominar só com tropas terrestres? Não. Minha opinião é que buscar no Google pode ser mais rápido e, claro, varia de pessoa para pessoa, mas o GPT pode ser bom. Estou dando essa opinião porque a IA não seria uma faca para pegar boi?
Concordo com a primeira parte, mas acho que o exemplo da segunda metade não é adequado.
Equipamento de exercício = LLM não; acessório de assistência ao exercício = LLM. Ou seja, ao usar um acessório de apoio durante o exercício para reduzir a carga aplicada ao corpo, até dá para aumentar o peso, mas isso acaba reduzindo o efeito do exercício de aumentar os músculos do próprio corpo ou melhorar a circulação sanguínea.
Escrever um exemplo inadequado e depois dizer "analogias e metáforas são usadas para facilitar o entendimento" é contraditório. Pelo teor do seu comentário, acho que não faz mais sentido continuar respondendo.
Ah, sim. Você pode entender dessa forma.