- A crítica de que o uso de modelos de linguagem de grande porte (LLM) pode enfraquecer as capacidades cognitivas humanas não pode ser descartada simplesmente com a ideia de que “há pensamento infinito disponível, então não há com o que se preocupar”, pois isso ignora a complexidade do problema
- Quando LLMs são usados em escrita e comunicação pessoal, a natureza da linguagem, em que significado e expressão são inseparáveis, é prejudicada, e as pessoas são privadas da oportunidade de descobrir a própria voz
- Atividades cotidianas como planejar férias, organizar uma festa e escrever mensagens pessoais também são experiências valiosas em si mesmas, e automatizá-las traz o risco de reduzir o significado da vida
- Mesmo em tarefas repetitivas e aparentemente tediosas, forma-se conhecimento tácito (tacit knowledge); por isso, delegá-las a chatbots apenas em nome da eficiência pode gerar perdas no longo prazo
- Definir o escopo apropriado para o uso de chatbots não é uma questão de eficiência, mas de valores humanos e da direção da comunidade
Introdução: contexto do texto e problema levantado
- Existe a crítica de que o uso de LLMs pode enfraquecer a capacidade cognitiva, e para algumas técnicas e habilidades o princípio “se você não usa, perde (use it or lose it)” parece intuitiva e empiricamente convincente
- O texto de Andy Masley, The lump of cognition fallacy, aponta que a própria visão de que existe uma quantidade fixa de pensamento é equivocada, e argumenta que, como pensar gera novos pensamentos, delegar parte disso às máquinas não necessariamente reduz o pensamento humano
- Este texto toma a discussão de Masley como ponto de partida, mas busca explicar que terceirizar o pensamento não é apenas uma questão de eficiência, destacando sua complexidade e seus efeitos de longo prazo
Quando evitar o uso de LLMs
- Os casos apresentados por Masley em que a “terceirização cognitiva é prejudicial” são os seguintes
- atividades que formam conhecimento tácito complexo necessário para viver no mundo futuro
- atos que expressam cuidado e presença em relação aos outros
- experiências valiosas em si mesmas
- casos em que falsificação ou substituição se tornam enganosas
- situações em que o resultado é muito importante e é difícil haver confiança total no que foi terceirizado
- Em geral, há concordância com essa lista, mas o problema é que as atividades que se encaixam nessas categorias são muito mais amplas do que parecem, e é aí que aparece uma divergência fundamental em relação a Masley
Comunicação pessoal e escrita
- Não apenas em contextos íntimos como mensagens em apps de namoro, mas em toda a comunicação pessoal, a forma de expressão tem significado essencial
- Na comunicação existem expectativas compartilhadas, mesmo quando não são explicitadas, e no momento em que uma máquina passa a polir ou alterar a expressão, essas expectativas se rompem
- Como a escolha das palavras e a construção das frases carregam muito significado por si só, a intervenção de um LLM prejudica a qualidade da comunicação direta
- Na imprensa norueguesa, houve controvérsia sobre casos em que se usou LLM em textos públicos sem informar isso, o que revela a necessidade de tornar mais claras as expectativas sobre o que se espera da comunicação
- Duas objeções ao argumento de que LLMs ajudam a expressão de pessoas não nativas ou com dificuldades de aprendizagem
- na maioria dos casos, significado e expressão não podem ser separados, e as próprias palavras e frases já são o significado
- ao delegar a expressão à máquina, reduzem-se as oportunidades de crescimento e aprendizado, e perde-se a chance de descobrir a própria voz
- A fronteira entre correção ortográfica/gramatical e um LLM que, na prática, escreve no lugar da pessoa é excessivamente tênue, e com as interfaces atuais de chatbot é difícil distingui-las
- De um ponto de vista pragmático, muitas pessoas querem usar LLMs para ganhar eficiência no trabalho, mas a qualidade da geração de texto em línguas não inglesas como o norueguês ainda é muito baixa (ver relatório do Conselho de Língua Norueguesa)
- LLMs parecem úteis para redigir documentos burocráticos como reclamações formais ou pedidos de seguro, mas o resultado é incerto se todas as partes passarem a usar geradores de palavras
- Um fenômeno já observado é que, em candidaturas para estágio, propostas de pesquisa e vagas de emprego, o número de envios dispara, mas a qualidade geral cai
- Quando estudantes usam o mesmo chatbot em tarefas colaborativas, a diversidade de ideias diminui drasticamente
- A habilidade de escrever só melhora escrevendo diretamente, e o mesmo vale para a capacidade de pensar
- Textos funcionais como código, receitas, instruções e documentação sofrem relativamente menos com esses problemas
- Já em textos escritos por um autor individual para um público humano, existem expectativas específicas de papel e confiança, e a erosão dessa confiança pode se tornar uma perda para toda a humanidade
Experiências valiosas
- Sempre que vê anúncios dizendo para delegar a um LLM o planejamento de férias, a organização de festas ou até mensagens para familiares e amigos, surge uma sensação de distanciamento em relação à sociedade tecnológica
- Muitas atividades da vida moderna podem parecer tarefas maçantes, mas ao mesmo tempo o problema está justamente na atitude de tratar quase tudo na vida como tarefa maçante
- A expectativa moderna de que se deveria poder fazer tudo o que se quer a qualquer momento, e evitar tudo o que não se quer fazer, acaba produzindo insatisfação constante
- Concorda-se com a teoria de que a automação pode liberar tempo para atividades mais significativas, mas o problema é já termos chegado ao ponto em que até planejar férias é visto como uma tarefa chata a ser evitada
- Se a IA vive uma era em que pode automatizar “quase tudo”, espera-se que essa capacidade sirva também para nos fazer perceber novamente em que vale a pena investir tempo e esforço na vida
Construção de conhecimento
- Há concordância com a ideia de que “não se deve usar chatbots no processo de construir o conhecimento tácito complexo necessário para viver no mundo futuro”, e essa categoria de fato inclui uma parte considerável da vida cotidiana
- Desde a popularização dos smartphones, espalhou-se a percepção de que “não é preciso memorizar, porque se precisar basta procurar na internet”, mas o próprio ato de adquirir e lembrar conhecimento é parte central do aprendizado
- A partir da experiência de aprender piano jazz, para improvisar bem não basta praticar improvisação; é preciso também repetir e internalizar músicas e frases já existentes, para que se forme uma intuição sobre o que soa bem
- Nesse sentido, a forma humana de aprender pode até parecer semelhante à dos modelos de machine learning, mas isso não significa que devamos tratar os seres humanos como se fossem realmente esse tipo de entidade
- O conhecimento acumulado por meio de tarefas tediosas e repetitivas está sendo seriamente subestimado, e, sob pressão por eficiência, delegá-lo a chatbots pode nos fazer perder no longo prazo conhecimentos e sensibilidades importantes
Objeção ao conceito de “mente estendida”
- Masley afirma que a cognição não se limita ao cérebro e também ocorre no ambiente físico; portanto, não haveria diferença essencial entre algo acontecer nos neurônios do cérebro ou nos circuitos de um celular
- Essa afirmação é descolada da realidade, porque processos que ocorrem no cérebro e processamento executado em computadores não podem ser equiparados
- Reduzir o ser humano a um simples dispositivo de processamento de informação, e considerar que delegar certos processos cognitivos a aparelhos externos não tem consequência alguma, é um reducionismo extremo
- Lembrar pessoalmente o aniversário de um amigo e deixar que um chatbot envie automaticamente uma mensagem de parabéns são atos completamente diferentes; o primeiro inclui o processo consciente de pensar na outra pessoa e fortalecer a relação
- A comparação entre “perder o celular” e “perder uma parte do cérebro” é um erro que iguala situações totalmente diferentes tanto na probabilidade de ocorrência quanto na gravidade das consequências
- A alegação de que o ambiente físico foi projetado para minimizar o pensamento também é pouco convincente; quando o ambiente muda, pode ser necessário um breve período de adaptação, mas logo nos acostumamos e passamos a pensar de acordo com a nova forma
Importa o que se pensa
- Em relação à chamada “falácia do bloco de cognição”, concorda-se que não é preciso se preocupar com o esgotamento do pensamento humano apenas porque a quantidade total de pensamento disponível seria finita
- No entanto, a ideia de que “tanto faz no que você pensa, desde que esteja pensando” também é outra falácia
- É fácil supor que, ao delegar tarefas simples e entediantes ao computador, será possível focar em coisas mais complexas e interessantes, mas há trabalhos mentais que, mesmo podendo ser feitos por máquinas, só têm sentido quando feitos diretamente por humanos
- Por exemplo, delegar a um chatbot o trabalho administrativo de um projeto pode até aumentar o tempo disponível para pesquisa, mas em troca pode-se perder o senso de responsabilidade pelo projeto e a base para julgamentos de nível mais alto
- A questão não é dizer que todas as tarefas devem ser automatizadas, mas reconhecer que toda automação sempre traz algo que se ganha e algo que se perde
- Se compararmos isso à “falácia do bloco de trabalho”, quando o trabalho físico é delegado a máquinas surgem novas formas de trabalho, mas não há garantia de que esse trabalho seja útil, pleno e significativo para o indivíduo ou para a sociedade
- O mesmo vale para o pensamento: até processos mentais tediosos e monótonos afetam os seres humanos, e remover certas tarefas cognitivas inevitavelmente deixa efeitos, positivos ou negativos
Conclusão
- Julgar em que áreas os chatbots são adequados no longo prazo é uma tarefa inevitável e de grande importância
- A natureza da comunicação pessoal pode mudar radicalmente, os sistemas educacionais serão forçados a se adaptar de forma drástica, e seremos levados a reconsiderar com mais cuidado quais experiências são realmente importantes na vida
- O que torna essa tecnologia realmente interessante é que ela coloca em primeiro plano perguntas sobre humanidade e valores, mais do que sobre eficiência
- A escolha sobre como usar chatbots não é apenas uma questão de produtividade ou de resultados cognitivos, mas se conecta à pergunta que tipo de vida e que tipo de sociedade queremos
- Portanto, existem razões claras para proteger certas atividades humanas da automação mecânica
- Além de resultados de pesquisa e discussões sobre eficiência, é necessário considerar também sobre quais valores queremos construir a comunidade
1 comentários
Comentários do Hacker News
A expressão "Lump of cognition fallacy" é um conceito derivado da clássica "Lump of Labor Fallacy (falácia da quantidade fixa de trabalho)" da economia
Ela se refere ao equívoco de acreditar que a quantidade de trabalho na economia é fixa
Na prática, avanços tecnológicos ou automação aumentam a produtividade e reduzem custos, o que no fim gera mais demanda por trabalho
A afirmação de que "a IA vai acabar com os empregos" também pode ser vista como uma forma dessa falácia
Esse texto me impressionou bastante. Ainda assim, a expressão "terceirizar o pensamento" parece um enquadramento um pouco errado
O verdadeiro problema que vivi não foi usar IA, mas automatizar a parte errada
Em tarefas em que pensar, refletir e julgar são o essencial, a IA deve ser projetada como colaboradora; já execução ou memória devem ser automatizadas sem medo
No fim, o problema não é "terceirizar o pensamento", mas pular loops cognitivos importantes
Organizei um texto relacionado aqui
Desde que LLMs foram introduzidos no Gmail, passei a me sentir desconfortável
Acredito que cada palavra e a construção de cada frase revelam a identidade da pessoa
Por isso, acho que a comunicação direta mediada por LLM prejudica a conexão humana
Concordo quando a conexão humana é baseada em boa vontade, mas quando não é, um LLM pode acabar ajudando mais
Gostei da perspectiva da "reversibilidade"
Há diferença entre a IA ajudar em uma etapa, como revisar gramática ou resumir, e executar o processo inteiro no seu lugar
Se eu fico apenas aprovando, não consigo construir um modelo interno e minha capacidade de julgamento também enfraquece
Isso não é um problema do modelo, mas também um problema de UI/design
Ferramentas que mostram diferenças com base em um rascunho mantêm o usuário dentro do loop, enquanto ferramentas que começam de uma página em branco treinam a "aceitação"
O que me preocupa é a possibilidade de, depois que as pessoas passarem a depender da tecnologia, os dados de treinamento ou os algoritmos ficarem enviesados em favor de certas agendas
No fim, o problema é que a fonte de informação está sob controle de terceiros
Por isso, cada pessoa deveria poder possuir seu próprio LLM e hardware
Ao ver um tuíte do Karpathy, voltei a pensar na importância do fracasso
Quando a IA erra, muitas vezes as pessoas colocam a culpa nela e perdem a oportunidade de aprender
Senti que este texto trata de um contexto parecido
Eu também deixei a IA cuidar de parte de um projeto e depois percebi que eu não tinha entendido direito o meu próprio projeto
Se travar, usa outro LLM como depurador; se esse travar, usa mais um LLM — como uma torre infinita de tartarugas (/s)
Fazendo uma analogia com o cérebro humano, acho que a IA vai se tornar o nosso novo neocórtex (neocortex)
Assim como o sistema límbico não "terceiriza" o pensamento para o neocórtex, a IA também não vai substituir o pensamento humano, mas atuar como uma camada de aconselhamento
Assim como o neocórtex expandiu a sociabilidade humana, a IA vai permitir que nos comuniquemos com milhões de pessoas
Mas essa relação terá uma forma completamente diferente das conversas pessoais de hoje
A "lista de coisas para as quais não se deve usar IA" parece um tanto ingênua
Assim como no artigo da The Atlantic sobre estudantes de cinema que não conseguem ver filmes até o fim, as pessoas não agem com responsabilidade mesmo conhecendo os riscos
O enquadramento de "lump of cognition" não é uma questão da quantidade de pensamento, mas de que tipo de pensamento deixamos de fazer
Julgamento e intuição crescem em tarefas repetitivas e entediantes, e terceirizá-las tem um preço
O fato de o custo de produzir palavras ter caído não significa que a profundidade do pensamento tenha aumentado