A IA está uniformizando nosso pensamento

• Em um estudo do MIT, o grupo que usou ChatGPT apresentou atividade cerebral relativamente mais baixa
• O uso de inteligência artificial provoca redução de criatividade e diversidade e leva à uniformização dos resultados
• Um estudo da Cornell também confirmou que, ao usar IA, até mesmo a escrita com diferenças culturais e individuais converge para uma tendência ocidental e mediana
• As respostas medianas e seguras sugeridas pela IA enfraquecem a diversidade cultural e a individualidade
• Os impactos de longo prazo da IA popularizada ainda não são plenamente conhecidos, mas a simplificação e a uniformização do pensamento surgem como preocupações centrais

---

Experimentos e principais descobertas

• Em 2023, o MIT conduziu um experimento de redação no estilo SAT com cerca de 50 universitários da região de Boston, divididos em três grupos
  • Um grupo usou apenas o próprio cérebro
  • O segundo grupo podia usar o Google Search
  • O terceiro grupo escreveu a redação com ChatGPT
• Todos os participantes usaram headsets para medir ondas cerebrais, e a análise mostrou que o grupo que usou ChatGPT teve a menor atividade cerebral
  • Nesse grupo, observou-se redução da conectividade (ondas alfa e teta) entre várias regiões do cérebro
  • Alguns usuários demonstraram falta de senso de autoria em relação à redação produzida, e a maioria sequer conseguiu citar o que havia escrito
  • A equipe do MIT chamou isso de custo cognitivo causado pela dependência de IA

A média do pensamento induzida pela IA

• As redações do grupo que usou ChatGPT mostraram tendência a convergir para palavras e ideias semelhantes
  • Apesar de os prompts do SAT estimularem respostas amplas, o grupo que usou IA apresentou lógica e vocabulário uniformes
  • Por exemplo, nas respostas sobre “felicidade verdadeira”, todas se concentravam em carreira e sucesso; sobre a “obrigação moral de doar”, apresentavam apenas apoio padronizado
• Nas palavras do pesquisador Kosmyna, do MIT, apareceu um fenômeno em que “tudo é reunido em torno da média”

Enfraquecimento da diversidade popular e cultural

• Pesquisadores de Cornell realizaram um experimento em que usuários dos EUA e da Índia escreviam refletindo seus respectivos contextos culturais
  • Alguns usaram autocompletar integrado ao ChatGPT, outros não
  • Quando o autocompletar era usado, os textos dos participantes convergiam para uma tendência ocidental e mediana e se tornavam parecidos entre si
  • Em perguntas sobre comida e feriados, pizza e Natal apareciam com frequência, com pouca diferenciação regional
  • Até os detalhes e a atmosfera das redações passaram a ser dominados por expressões comuns e banais

Influência das sugestões das ferramentas de IA e perda de identidade

• O autor explica que a função de sugestões da IA tem um “efeito hipnótico” que enfraquece a voz própria do escritor
  • Há preocupação de que a exposição contínua possa levar à perda de confiança na escrita e da própria identidade
  • As sugestões da IA não apenas nivelam os pensamentos do usuário, mas também o próprio modo de pensar
  • Como resultado, isso também pode alterar a percepção social sobre “o que é normal e desejável”

Incentivos industriais e padronização cultural

• A OpenAI e outras desenvolvedoras de IA projetam sistemas para que mais usuários fiquem satisfeitos com resultados genéricos e medianos
  • Quanto mais o output do modelo for aceitável para alguém, mais usuários pagantes ele pode atrair
  • Do ponto de vista da eficiência, é possível realizar economia de escala quando “tudo é igual”

IA e criatividade: limites experimentais

• O CEO da OpenAI, Sam Altman, e outros afirmam que a IA pode transformar qualquer pessoa em criadora

• Mas, nos experimentos, observou-se que o grupo que usou IA tendia a produzir ideias mais medianas e parecidas justamente no aspecto da originalidade

  • Em um estudo da Universidade Santa Clara, comparou-se o ChatGPT com uma ferramenta tradicional de criatividade, o Oblique Strategies
  • Usuários do ChatGPT mostraram similaridade semântica entre as ideias, isto é, tendência à uniformização

• Segundo o analista experimental Max Kreminski, o pensamento humano em seu estado mais bruto vai sendo gradualmente puxado para a média da IA

  • Como a IA repetidamente fornece “respostas boas o suficiente” com rapidez, o usuário passa a se concentrar mais em selecionar o resultado da IA do que em suas próprias ideias
  • À medida que a conversa se alonga, as limitações da janela de contexto da IA reforçam respostas mais repetitivas e medianas

Ambiente de IA popularizada e falta de diversidade informacional

• A maioria dos estudos ainda é de pequena escala, e os efeitos de longo prazo da IA continuam desconhecidos
• Em aplicativos como o de IA da Meta, grandes volumes de conteúdo excessivamente polido e uniforme vêm sendo gerados por inúmeras pessoas
  • E-mails automáticos e pedidos cotidianos ficam tomados por formatos e vocabulário padronizados
  • Até em exemplos reais de prompts, a IA lista apenas futuros positivos e exclui cenários negativos ou riscos
  • Isso sugere que o viés pró-tecnologia no processo de design da IA pode levar à redução da diversidade dos resultados

Conclusão e perspectivas

• Para que alguém acredite apenas nas informações apresentadas pela IA, é preciso parar de pensar
• Cresce a necessidade de vigilância social e cultural sobre o fenômeno de nivelamento do pensamento e enfraquecimento da criatividade causado pela IA

[zihado]

Acho que, quando a internet surgiu, também houve questões parecidas. Me parece que a capacidade de desenvolver o pensamento crítico não é ainda mais importante?

[mango]

Acho que ainda é melhor do que aceitar informações erradas por busca na internet ou no YouTube. Também considero melhor do que absorver informações enviesadas com o objetivo de representar os interesses de um grupo específico. Dá para dizer que a IA também pode ser enviesada, mas acho que, em média, ela é mais confiável do que as informações aleatórias que circulam pela internet. E, sem pensamento crítico, nos dois casos é possível acabar aceitando informações incorretas.

[GN⁺]

Comentários do Hacker News

• Acho que, hoje em dia, a verdadeira "divisão digital" se separa entre quem já desenvolveu pensamento crítico nos últimos anos e quem não desenvolveu. Para quem construiu essa capacidade por meio de leituras variadas e reflexão paciente, ferramentas como LLMs parecem entregar a chave para pilotar um jet ski no mar revolto da informação bruta. Mas, para quem ainda está justamente na fase de aprender pensamento crítico, parece que vai ser difícil vencer o esforço da reflexão sem recorrer aos LLMs por hábito. O ato de suportar a ambiguidade por conta própria — justamente o momento em que informação se transforma em conhecimento — aqui é resolvido de forma imediata. Fico aliviado por ter adquirido essa habilidade antes de 2023, mas me assusta um pouco a realidade de oferecer LLMs incondicionalmente como ferramenta de aprendizado para as gerações mais jovens

  • Acho que o pessimismo de que a IA vai emburrecer todo mundo, na verdade, superestima a realidade de que a maioria das pessoas já não era muito boa em pensamento crítico. Trabalhando há quase 20 anos em engenharia avançada, mesmo entre especialistas altamente realizados era raro encontrar gente que realmente entendesse conceitos complexos. Não acho que pessoas inteligentes vão sair perdendo só porque a maioria, que já não pensava criticamente, agora passou a ter respostas fáceis

  • Pensando em mim mesmo quando era jovem, tive a experiência de que, quando eu buscava apenas diversão imediata, não aprendia nada

  • Dá a sensação de que a era de Idiocracy está se aproximando

• Acho que toda tecnologia de conexão é uma força que promove homogeneidade. A TV, por exemplo, é um caso clássico de algo que levou ao desaparecimento dos dialetos regionais. Com diversão, entretenimento e conectividade ilimitados, estamos criando um mundo triste, entediante e solitário

  • Queria saber qual é a evidência de que os dialetos regionais desapareceram. Viajando por várias partes dos EUA, ainda dá para ouvir muitos sotaques regionais diferentes. Tenho parentes no Oeste, Centro-Oeste, Sul e Leste, e cada região ainda mantém um sotaque bem distinto. A intensidade varia, mas eles continuam bem perceptíveis

  • As redes sociais já tornaram nosso modo de pensar bastante homogêneo. Entra informação demais e pontos de vista demais de uma vez só, então fica difícil suportar isso sem se inspirar no pensamento dos outros em vez de formar uma opinião própria. O botão de upvote define com facilidade quais ideias são aquelas com que todo mundo concorda

  • Fico pensando no que deveríamos fazer. Talvez tentativas sérias como o Offline Club[https://www.theoffline-club.com/] possam funcionar como antídoto. Essa discussão também apareceu recentemente no Hacker News. É a tal reflexão sobre tecnologia de "tocar a grama"

  • Ainda assim, a diversidade proporcionada pelo ambiente geográfico molda parte das experiências. Claro que um dos objetivos da tecnologia atual é justamente neutralizar ou bloquear essas características geográficas

  • No caso da IA, o problema é exatamente quem administra essa homogeneidade e com que objetivo faz isso. Sistemas dinâmicos como IRC ou mensageiros permitem que as pessoas se conectem naturalmente e formem grupos. Mas a IA é uma ferramenta fechada e administrada, criada com capital de capitalistas ricos, então acaba havendo uma homogeneização implícita para proteger o modelo de negócios e reduzir riscos. A verdadeira ameaça é esse fenômeno de a realidade ser "autorizada" para servir a determinados fins

• Minha posição é que seus pensamentos só se tornam homogêneos se você não pensar por conta própria. Acho que isso pode ser uma fraqueza para muita gente

  • Há a observação de que, paradoxalmente, os tipos de pessoa que "fazem a própria pesquisa" às vezes acabam caindo na forma mais severa de pensamento de grupo

  • Muitos indivíduos com sistemas axiomáticos de estrutura parecida chegam a conclusões semelhantes. Algumas pessoas acreditam que pensam de forma autônoma mesmo pertencendo a um determinado grupo ideológico. Às vezes, a força que faz os pensamentos dos membros de uma comunidade convergirem é muito grande. Em contraste, há quem use uma espécie de "estratégia de caça ao tesouro", buscando novas estratégias ou ideias em um espaço memético desconhecido. Essa estratégia também tem limites: é mais arriscada e exige recursos para tentar várias possibilidades

  • Concordo com a afirmação de que "se você não pensar por conta própria, será homogeneizado", e recomendo dar uma olhada em como amigos ou familiares não técnicos, ou pouco acostumados com tecnologia, usam o ChatGPT. Há muitos casos realmente chocantes. Pessoas que não entendem bem ferramentas de LLM estão usando isso de forma realmente perigosa. Por exemplo, o cunhado de um amigo ouviu do ChatGPT que certos penny stocks e criptomoedas pouco conhecidas garantiriam lucros enormes, e chegou a investir de verdade. Há também quem acredite que o ChatGPT transmite a voz de Deus e passe a agir de maneira absurda. LLMs comerciais funcionam de forma suficientemente convincente para enganar facilmente quem não entende como a ferramenta opera. Eu mesmo desenvolvi uma postura cética porque já vivi erros claros nas respostas de LLMs, mas quem tem dificuldade de fazer julgamentos objetivos corre um grande risco de acreditar em tudo

• Em um estudo escrito por Nataliya Kosmyna, do MIT Media Lab, cerca de 50 universitários de Boston foram divididos em três grupos, e o grupo que usou ChatGPT apresentou atividade cerebral significativamente menor que os outros, especialmente em conectividade alfa e teta, associada à criatividade e à memória de trabalho. Mas fico em dúvida se esse tipo de estudo de fMRI com n tão pequeno é realmente um resultado científico confiável. Pode muito bem ser um resultado vistoso sustentado por viés de confirmação

• Hoje em dia, artigos exagerados em tom de "profecia do apocalipse" estão uniformizando demais o pensamento das pessoas. Essas alegações certamente têm algum mérito, mas na prática existem muito mais nuances

• Apresenta a história de como medos parecidos sobre mídia já se repetiram antes, citando mudanças tecnológicas do passado, como TV, redes sociais e a imprensa Artigo relacionado

  • A mídia de massa homogeneíza nosso input (consumo de informação). Se a IA é diferente da mídia anterior, vale pensar também que ela pode homogeneizar diretamente nosso output (produção)

  • Antes da imprensa, as pessoas do mundo provavelmente mantinham 8 bilhões de conversas diferentes; com a imprensa, vários pequenos grupos foram gradualmente crescendo e passaram a ter a mesma conversa em uma escala muito mais ampla

• Redes sociais, TV, Hollywood e a cultura popular em geral também cumprem o papel de homogeneizar a sociedade

• A opinião é que o teorema central do limite (central limit theorem) funciona de forma constante

• No fim, estamos destinados a subir nos ombros de gigantes homogeneizados

• Quando estudei humanidades na universidade, eu usava artigos acadêmicos, colava trechos nas minhas ideias e conectava tudo; não acho que isso seja tão diferente do que a IA faz agora. No fim, se a IA se torna ou não uma prótese intelectual de alguém depende dos critérios e da consciência de cada um