- Este estudo analisa o impacto do uso de LLMs (grandes modelos de linguagem) sobre o custo cognitivo humano no processo de escrita de redações
- Os participantes foram divididos em grupo LLM, grupo mecanismo de busca e grupo Brain-only e participaram do experimento de escrita conforme o uso ou não de ferramentas
- A análise de EEG (eletroencefalograma) mostrou que, com uso de LLM, a conectividade de redes neurais e o grau de engajamento cognitivo foram os mais baixos, enquanto o grupo Brain apresentou os mais altos
- Após a escrita, o grupo LLM teve os piores resultados em senso de autoria (ownership), capacidade de citação e recordação de memória
- Os resultados sugerem que o uso de LLM pode ser eficiente no início, mas a longo prazo pode levar à queda da aprendizagem e da capacidade cognitiva
Resumo
Hoje, com a ampla adoção de produtos baseados em grandes modelos de linguagem (LLM) como o ChatGPT, tanto indivíduos quanto empresas passaram a usar LLMs no dia a dia. Essas ferramentas têm vantagens e limitações próprias. Este estudo foca em esclarecer o custo cognitivo do uso de LLMs no contexto educacional da escrita de redações, ou seja, como o uso de LLMs afeta a estrutura cognitiva dos aprendizes e a atividade cerebral.
Para a pesquisa, os participantes foram divididos em grupo LLM, grupo mecanismo de busca e grupo Brain e escreveram redações em cada sessão usando a ferramenta correspondente (ou nenhuma). Ao todo, 54 pessoas participaram das sessões 1 a 3, e 18 delas concluíram até a sessão 4. Na sessão 4, o grupo LLM passou a não usar ferramenta, enquanto o grupo Brain passou a usar LLM, invertendo os papéis (LLM-to-Brain, Brain-to-LLM). Durante a escrita, foram registrados os sinais de EEG (eletroencefalograma) dos participantes para analisar engajamento cognitivo, carga e conectividade neural; após cada sessão, também foram realizados entrevistas, análise com NLP (processamento de linguagem natural) e avaliações por professores humanos e agentes de julgamento por IA.
Como resultado da análise, foi confirmada alta homogeneidade dentro de cada grupo em Named Entities Recognition (NER), n-gramas e ontologia de tópicos. A análise de EEG mostrou que os padrões de conectividade neural diferiam claramente entre os grupos, e que, quanto maior o suporte de ferramentas externas, menor a escala da rede cerebral e o nível de engajamento (na ordem Brain > mecanismo de busca > LLM). Na sessão 4, os participantes LLM-to-Brain apresentaram conectividade cerebral enfraquecida, baixa ativação das redes alfa e beta e menor senso de posse do tema. Em contraste, os participantes Brain-to-LLM mostraram melhora na capacidade de recordação e reativação de áreas cerebrais ligadas ao processamento visual. As redações do grupo LLM tiveram desempenho fraco em senso de autoria, capacidade de citação e recordação, enquanto o grupo mecanismo de busca apresentou alguma melhora, mas ainda abaixo do grupo Brain.
Em conclusão, o uso de LLMs traz ganhos de produtividade no curto prazo, mas, quando repetido ao longo de meses, permaneceu consistentemente inferior ao grupo Brain em comportamento cerebral, desempenho linguístico e pontuações. O estudo sugere que o uso excessivo de ferramentas de IA pode causar degradação cognitiva e prática no ambiente de aprendizagem, indicando a necessidade de cautela no desenho de aprendizagem de longo prazo.
Resumo dos principais resultados do experimento
- Na sessão 4, os participantes Brain-to-LLM apresentaram maior conectividade cerebral (em todas as bandas, como alfa, beta, teta e delta) do que o grupo LLM das sessões 1 a 3. Isso sugere que, ao usar IA depois de já ter escrito por conta própria sem ajuda, uma rede cerebral mais ampla é ativada
- Os participantes LLM-to-Brain, mesmo com histórico de uso de LLM, mostraram ao escrever sem ferramenta um fenômeno de descoordenação neurológica (queda de conectividade) na maior parte dos sinais de EEG, além de viés lexical especializado em LLM
- Nas avaliações de IA e de humanos, as redações do grupo LLM mostraram baixa diversidade de NER/n-gramas e homogeneidade estrutural
- Na análise por tema, entre o grupo LLM e o grupo Brain apareceram padrões de uso diferencial significativos em temas específicos (HAPPINESS, PHILANTHROPY)
- Por grupo, OWNERSHIP (senso de autoria) e capacidade de citação seguiram a ordem Brain > mecanismo de busca > LLM
Guia do sumário do artigo
- Visão geral rápida: Discussion, Conclusion
- Análise de NLP dos textos das redações: NLP ANALYSIS
- Entendendo os dados de EEG: EEG ANALYSIS
- Análise aprofundada por tema: TOPICS ANALYSIS
- Métodos detalhados do experimento e atividades dos participantes: EXPERIMENTAL DESIGN
- Apêndice: dados adicionais, valores de EEG dDTF etc.
Introdução
A rápida disseminação dos grandes modelos de linguagem transformou de forma fundamental aspectos cotidianos como trabalho, entretenimento e aprendizagem. Os LLMs têm grande potencial na educação em termos de personalização da experiência de aprendizagem, feedback imediato e democratização de materiais educacionais. De fato, já foram relatados efeitos positivos como maior autonomia do aprendiz, aumento do engajamento e suporte a estilos de aprendizagem individualizados.
No entanto, também vêm sendo levantados efeitos colaterais cognitivos do uso amplo de LLMs. Embora tragam a vantagem de reduzir a carga cognitiva imediata, também foram relatados queda do pensamento crítico, enfraquecimento da capacidade de análise profunda e redução do engajamento. Em especial, quanto maior a dependência de IA, maior pode ser a atrofia da capacidade analítica e de julgamento do cérebro. O estudo destaca ainda que as gerações mais jovens tendem a depender mais de ferramentas de IA e, com isso, também mostram tendência a obter pontuações mais baixas em desempenho cognitivo.
Também surgiram resultados mostrando que a interação com IA reduz oportunidades de resolução independente de problemas e de pensamento crítico, o que levanta preocupações de que, no longo prazo, isso possa afetar negativamente o desenvolvimento intelectual humano e a autonomia. Diferentemente dos mecanismos de busca tradicionais, os LLMs geram respostas mais unificadas em vez de oferecer múltiplas perspectivas, o que tende a deslocar o usuário de uma busca ativa por informação para um consumo passivo, com possíveis efeitos duradouros sobre a forma de processar e avaliar informações.
Este estudo mede empiricamente o custo cognitivo da escrita de redações com uso de LLMs. Escrever uma redação é uma tarefa que exige de forma combinada redação, organização da informação, citação, pensamento crítico e vários outros processos cognitivos, sendo frequentemente usada tanto em contextos educacionais quanto em avaliações padronizadas. O estudo mostra que, ao introduzir ferramentas de IA como LLMs no ambiente educacional, é preciso considerar cuidadosamente seus efeitos cognitivos de longo prazo.
Desenho do experimento e alguns detalhes
- Em cada sessão, os participantes foram reorganizados por grupo ou tiveram as condições de uso de ferramenta alteradas para comparar e medir as condições LLM, mecanismo de busca e Brain (sem ferramenta)
- Na sessão 4, o grupo Brain-only passou a usar LLM pela primeira vez (Brain-to-LLM), e o grupo LLM escreveu sem ferramenta (LLM-to-Brain)
- Durante o experimento, foram avaliados de forma sistemática EEG, indicadores de NLP, senso de autoria da redação, capacidade de citação e diversidade por tema
- A análise de EEG focou mudanças na conectividade funcional do cérebro, como conectividade de redes neurais (análise dDTF)
Principais características dos resultados experimentais e analíticos
- Com o uso de LLM, houve redução acentuada tanto nos sinais de EEG quanto na diversidade linguística, além de piora em senso de autoria do trabalho, recordação de memória e capacidade de citação
- O grupo Brain-only apresentou, de modo geral, resultados superiores em ativação da rede cerebral, diversidade linguística, senso de autoria e capacidade de citação
- Na sessão 4, os participantes Brain-to-LLM mostraram fortes mudanças nas redes neurais, como aumento da recordação e reativação de áreas visuais-frontais, em contraste com o período anterior à introdução da ferramenta
- De forma geral, quanto maior a dependência de IA, maior a preocupação com queda da eficiência cognitiva e perda de iniciativa no processo de aprendizagem
Significado conclusivo
Este artigo demonstra, com dados em múltiplas camadas, que ferramentas de aprendizagem com IA podem aumentar a eficiência no curto prazo, mas no longo prazo podem afetar negativamente elementos centrais da aprendizagem, como cognição, motivação, senso de autoria e memória. Também sugere que, ao projetar e adotar tecnologias educacionais avançadas como IA e LLMs, é essencial considerar com cautela essa dívida cognitiva e a possível queda na qualidade da aprendizagem, além de realizar mais pesquisas.
1 comentários
Comentários no Hacker News
Acho que, em vez de “cognitive debt”, uma descrição mais adequada seria declínio cognitivo ou perda de capacidade cognitiva; o cérebro não armazena informação desnecessária. Em estudos antigos sobre uso do Google Maps, há resultados mostrando que usar GPS com frequência reduz a memória espacial e que, na prática, o volume de massa cinzenta no cérebro dos usuários de mapas diminui. Como qualquer pessoa que já tenha desenvolvido especialização em ciência sabe, para realmente entender um conceito é preciso pensar bastante sobre ele e explorar profundamente as relações entre várias ideias. Você não aprende matemática facilmente só folheando um livro; é preciso parar e pensar com profundidade. Eu acho que o próprio ato de pensar é o processo de estabelecer conceitos na mente de forma que continuem úteis com o passar do tempo.
Ninguém passa o olho num livro de matemática e sai sabendo matemática; é preciso parar e pensar. E, mais importante de tudo, é preciso “escrever”. É pela escrita que meu cérebro consegue estruturar o pensamento. Escrever é uma ferramenta para criar um diálogo estruturado entre mim e eu mesmo. Isso permite explorar vários caminhos. Só pensar tem limites, mas escrever me permite explorar minhas ideias quase sem limites. O ato de pensar está intimamente ligado à escrita, em qualquer forma que seja — texto, desenho, fórmula, gráfico etc. — e agora que estamos entrando numa era em que os LLMs escrevem cada vez mais no nosso lugar, fico curioso sobre como esse impacto vai se refletir na minha capacidade cognitiva.
Acho que o termo cognitive debt está correto. Você já escreveu um relatório grande com LLM? Quando o LLM define a estrutura e ainda produz gráficos e argumentos com facilidade, o resultado vai deixando de ser realmente seu. Mesmo que você entregue com seu nome, muitas vezes a coisa fica vaga quando pedem explicações. Em geral, existe uma compreensão real, de nível mais alto, na minha cabeça, mas com LLM esse processo é pulado. Na prática, quando tento explicar os conceitos centrais, tenho dificuldade. No fim, eu preciso passar pela experiência real de construir os conceitos essenciais na cabeça, revisá-los repetidamente e tentar comunicá-los a públicos diferentes. Cognitive debt representa a diferença entre o modelo mental que eu necessariamente construía antes dos LLMs e a superficialidade de quando os uso. No fim, o relatório leva meu nome, mas com o tempo existe o risco de as pessoas reduzirem cada vez mais a expectativa em relação ao autor, ou até de passarem a esperar que o próprio LLM explique no lugar dele. Cada LLM simula a realidade com modelos internos e algoritmos diferentes, e para previsões mais precisas é preciso profundidade suficiente de compreensão. A escrita dependente de LLM não cria essa profundidade. No longo prazo, isso pode levar ao declínio cognitivo ou à perda de habilidades em toda a população. Quando a imprensa surgiu, as elites religiosas da época também temiam que as pessoas comuns não soubessem ler e interpretar corretamente, mas isso não aconteceu. Escrever é pensar, sim (e ainda acho que não encontramos ferramenta melhor que a escrita), e pensar é o processo de construir modelos mentais baseados em informação para prever melhor o futuro. Nossa própria sobrevivência depende disso. Do ponto de vista da teoria da informação, “a biologia só faz sentido quando explicada à luz da informação” link do YouTube
Quanto à ideia de que “o cérebro não armazena informação desnecessária”, fico me perguntando por que ainda lembro como otimizar memória com
config.syseautoexec.batno DOS, mesmo sem usar isso há mais de 20 anos. Acho pouco provável que eu volte a precisar dessa habilidade.Termos como “cognitive decline” ou “brain rot” podem soar sensacionalistas demais, e o próprio artigo menciona como limitação o tamanho pequeno da amostra. O estudo não apresenta fundamento nem citações para o termo “cognitive debt”, então o título parece estranho. Dá a impressão de que mudaram só o título no final. É um resultado interessante do MIT. Como em qualquer estudo de psicologia, é preciso manter ceticismo saudável e validação independente. Parece um pacote completo, combinando imagem cerebral com métodos psicométricos. E acho divertidas a maioria das imagens do tipo “este é o seu cérebro usando LLM”.
Quando ouço “o cérebro não armazena informação desnecessária”, isso soa plausível, mas ainda me intriga o fato claro de que certas habilidades não desaparecem, como andar de bicicleta, que uma vez aprendido a pessoa nunca esquece.
A discussão sobre “cognitive debt” é apropriada, mas acho que também precisamos de uma visão mais ampla. Não se trata apenas de perder temporariamente ou esquecer habilidades como linguagem ou memória espacial. Trata-se de um fenômeno em que circuitos neurais responsáveis por raciocínio integrativo encolhem de forma sistemática e irreversível. O termo “debt” carrega a nuance de algo que pode ser pago ou recuperado com prática, mas o verdadeiro risco é cruzar um “cognitive tipping point”. Se delegarmos funções executivas demais, integração e carga argumentativa a sistemas externos (LLMs), o cérebro não apenas elimina sem piedade os circuitos que não usa, como também corre o risco de perder a própria “capacidade de reconstrução” deles. O cérebro humano é um sistema use-it-or-lose-it sem controle de versão. Uma vez perdida uma capacidade cognitiva complexa, é como se o próprio “código-fonte” tivesse sido danificado. Uma collapsed neural network não dá para resolver com
git revert. Esses comentários no HN focam na escrita de ensaios, mas na verdade a sociedade inteira está conduzindo um experimento em larga escala e fora de controle de externalização da capacidade intelectual. No longo prazo, existe o risco de a sociedade inteira enfrentar uma limitação estrutural que vai além da falta de habilidade: a impossibilidade da própria forma de pensar. Então a verdadeira pergunta vai além de “como evitar dívida cognitiva”; é o medo de que “talvez precisemos de um novo contêiner para a mente quando o cérebro biológico se auto-otimiza de forma fatal para a preguiça” link relacionadoIA é o oposto de Zettelkasten (sistema de anotações interligadas). Em vez de a pessoa mergulhar profundamente num tema para obter insights mais profundos, o que acontece sobre um resultado gerado por IA é uma repetição rápida, mas rasa. Por exemplo, eu quis entender a situação do Oriente Médio e escrevi com a OpenAI um ensaio de 10 páginas sobre as origens do Hammas e do Hizbulah, mas não ficou nada na memória; e, pior, nem os poucos pontos que restaram eu sabia se eram fatos reais ou alucinações da IA que eu mesmo tinha corrigido.
Sou um pouco otimista quanto à utilidade dos LLMs, mas concordo com isso. Dá para desenvolver um instinto para lidar bem com LLM, mas isso não significa desenvolver conhecimento realmente explicável nem capacidade de pensamento desafiador. O essencial acaba sendo se acostumar a “memória muscular” para certos padrões de saída, ajuste de prompt e controle de contexto. Julgo que esse tipo de “habilidade” vai desaparecer rápido conforme os modelos melhorarem. Essa situação lembra, em certa medida, a impotência sentida por trabalhadores de linha de montagem.
As partes que a pessoa corrigiu diretamente com as próprias mãos tendem a ficar mais na memória. O que eu mexi pessoalmente fica mais marcado do que aquilo que passou sem problema.
A maioria das pessoas inteligentes sabe bem que escrever não serve apenas para obter um resultado, mas é um processo de “pensar”. LLM pode ser um bom parceiro de sparring nesse processo, apontando meus erros, encontrando lacunas e falhas, ou ajudando em pesquisa geral para entender o mundo, desde que não seja usado para “escrever no meu lugar”, mas sim como apoio ao processo de pensar por conta própria. Mesmo assim, o resultado sempre precisa ter as fontes verificadas.
Pessoalmente, esse resultado da pesquisa não me surpreende. Quando usei IA para ajudar na minha escrita ou tradução, senti menos que eu estava me envolvendo ativamente ou participando profundamente do pensamento. Mas, quando uso IA de uma forma totalmente diferente, sinto um nível muito alto de imersão. Passei duas semanas tentando usar Claude Code para ideação, pesquisa e automação de ensaios/artigos, e o processo inteiro foi tão mentalmente envolvente quanto a “escrita de verdade” (embora de natureza diferente). Os resultados dos meus experimentos também ficaram muito bons. Mesmo um ensaio ou artigo escrito por IA pode ser suficientemente interessante quando lido diretamente. Só não penso em publicar isso nem em submeter como artigo.
Esse fenômeno é chamado de “cognitive offloading”. Quem já trabalhou por tempo suficiente com assistentes de programação provavelmente se identifica com isso.
Assim como a mecanização afetou a indústria humana, vale pensar mais amplamente sobre o impacto que novas tecnologias como LLMs trazem à nossa estrutura cognitiva. Eu vejo a automação como algo que assume tarefas repetitivas e tediosas, dando aos humanos mais energia e tempo para avançar em coisas mais criativas e inovadoras. A dúvida é se o aumento no uso de ferramentas como LLM e GPS pode mudar não só aspectos de curto prazo, mas o próprio modo de pensar no longo prazo. Gerações que cresceram acostumadas a motores de busca memorizaram menos, mas se adaptaram lembrando “como encontrar” a informação. Fico pensando se isso será apenas mais uma continuidade natural desse processo de substituição de funções, ou se a dependência crescente de LLM vai levar à perda de habilidades centrais que simplesmente não podem ser substituídas.
Na citação abaixo, aponta-se que “os LLMs reduziram a barreira de entrada para obter respostas, mas o preço dessa conveniência é que os usuários tendem menos a abordar criticamente as respostas ou ‘opiniões’ do LLM (que na verdade são estimativas probabilísticas baseadas nos dados de treinamento)”. No fim, o efeito de câmara de eco não desapareceu; ao contrário, a exposição do usuário foi reestruturada em torno do conteúdo “priorizado” por algoritmos. E essa própria “prioridade” reflete os valores do dono do LLM (os acionistas).
É algo em que venho pensando bastante ultimamente, e por isso só testei o copilot por pouco tempo. Estou no início da carreira e aprendendo todos os dias — com assistência de LLM eu consigo terminar o trabalho mais rápido, mas sinto que assim posso perder oportunidades de adquirir habilidades com facilidade. Não concordo com a ideia de que “o pensamento crítico de baixo nível vai perdendo importância e no futuro só serão necessários planejamento abstrato e de alto nível”. Também sinto, num nível emocional, orgulho e significado em “saber algo e conseguir fazer com as próprias mãos”. Não acho difícil usar LLM, e, se for preciso, posso escolher e usar as ferramentas mais recentes, mas por enquanto valorizo mais o processo de aprender e crescer por conta própria.
Acho que, com a adoção de IA, o problema não é só a redução do número de profissionais juniores; existe também o risco de que até os juniores que continuarem, ao usar IA, não aprendam nada e fiquem presos para sempre no nível iniciante.
Quando escrevo junto com IA, na hora parece que o texto flui bem, mas também sinto que não estou pensando seriamente nas ideias. O texto final soa bonito, mas muitas vezes, depois, eu já não lembro por que escrevi aquelas frases. Agora eu prefiro primeiro escrever meu próprio rascunho e só depois usar IA para lapidar. Dá um pouco mais de trabalho, mas com certeza aprendo mais e retenho por mais tempo.