LLMs são esteroides para o seu efeito Dunning-Kruger

• Conversar com modelos de linguagem de grande porte (LLMs) reforça a ilusão de confiança, fazendo o usuário sentir que sabe mais do que realmente sabe
• Depois da conversa, o usuário muitas vezes fica em um estado de confiança em informações erradas, o que traz uma capacidade de vício psicológico que incentiva o uso repetido
• LLMs expandem ideias e amplificam o pensamento, mas ao mesmo tempo podem atuar como uma ferramenta que reforça o autoengano
• Tecnicamente, têm uma estrutura relativamente simples baseada em inferência estatística e no investimento de recursos massivos de treinamento, mas seu impacto social é enorme
• Esses modelos devem ser entendidos não como motores de conhecimento, mas como “motores de confiança”, e estão provocando mudanças fundamentais na forma como os humanos pensam e usam a linguagem

---

A ilusão de confiança e os efeitos psicológicos dos LLMs

• Por meio de uma citação de Bertrand Russell em “The Triumph of Stupidity”, menciona-se o contraste entre a confiança ignorante e o ceticismo intelectual
  • Russell expressou que “o problema do mundo é que os tolos estão cheios de certeza, enquanto os sábios estão cheios de dúvidas”
• Em conversas com LLMs, os usuários mostram uma tendência a ficar confiantes até em informações erradas
  • Quando o ChatGPT reage dizendo que algo é uma “boa ideia”, muitas vezes na prática não é
• O autor relata experimentar com frequência a ilusão de que adquiriu mais conhecimento após interagir com LLMs
  • Mesmo percebendo que a informação está errada, acaba repetindo o uso por causa do prazer que a confiança proporciona
• Essa experiência tem um caráter de vício psicológico, e o usuário passa a depender do LLM sempre que tenta desenvolver ideias
  • Surge o impulso de perguntar ao LLM até em situações cotidianas (“quando perdi minha bolsa, pensei em perguntar ao ChatGPT”)

A dupla face da amplificação do pensamento e do autoengano

• LLMs são descritos como um espelho que amplifica o pensamento
  • Expandem as ideias do usuário em várias direções e, às vezes, produzem resultados interessantes
• Mas essa amplificação é uma faca de dois gumes: pode desenvolver boas ideias, mas também reforça pensamentos errados
  • O LLM reveste erros com um tom fluente e autoritativo, criando uma armadilha psicológica

Estrutura técnica e desequilíbrio do interesse

• O autor avalia os LLMs como uma “tecnologia entediante”
  • Em essência, são uma caixa-preta probabilística, e o treinamento é a repetição de inferência estatística
• Embora existam inovações recentes em software e hardware, afirma-se que a inovação própria dos LLMs é limitada
  • “Talvez a verdadeira inovação tenha sido despejar enormes quantias de dinheiro e treinar em grande escala”
  • RLHF (aprendizado por reforço com feedback humano) é citado como uma possível inovação excepcional

Impacto da transição social e linguística

• O verdadeiro interesse dos LLMs está mais no impacto social do que na tecnologia em si
  • São avaliados como um prenúncio de mudanças significativas na educação, no trabalho e na sociedade em geral
• A linguagem é central para a identidade humana, e a mudança começou no momento em que as máquinas entraram no domínio da linguagem
  • A natureza dessa mudança ainda não está clara, mas existe a sensação de que “a maré da mudança está se movendo”

Não um motor de conhecimento, mas um motor de confiança

• LLMs devem ser vistos não como motores que fornecem conhecimento, mas como motores que geram confiança
  • Isso é apresentado como um conceito que explica uma característica central do futuro de curto e médio prazo
• À medida que a forma humana de pensar e usar a linguagem se combina com mecanismos mecânicos de geração de confiança, novos padrões sociais estão se formando

[xguru]

A IA oferece o ‘efeito Dunning-Kruger’ como serviço

[GN⁺]

Comentários do Hacker News

• Toda vez que uso um LLM, sinto até que fico mais burro
  Como não é um conhecimento que adquiri estudando por conta própria, fica forte a sensação de dependência, e isso reduz minha confiança
  Como tenho o hábito de cruzar e verificar várias fontes, como livros e artigos, as respostas de LLM parecem apenas uma média

  • Se você usar LLM demais, parece mesmo que o cérebro desliga. É como ficar jogando algo repetitivo por muito tempo e acabar meio entorpecido
  • Antigamente, na escola, eu ouvia muito: “não acredite cegamente na Wikipédia; confira as fontes”
    Mas agora as pessoas citam a wiki quase como uma verdade absoluta. Acho que com LLM vai acontecer a mesma coisa com o tempo
  • Na nossa empresa, operamos um produto open source, e recebemos muitas dúvidas de gente que seguiu configurações geradas por chatbot e não conseguiu fazer funcionar
    Alguns até reclamam que a API caiu, mas na verdade o chatbot inventou o endpoint
  • Eu também termino o trabalho mais rápido graças aos LLMs, mas parece que não fui eu quem fez aquilo, então dá uma sensação de falsidade
    No fim, diminui o esforço de pesquisar e experimentar por conta própria. Acho que só pessoas disciplinadas vão conseguir usar bem essa ferramenta de verdade
  • Mesmo quando a resposta da AI não está errada, fica um cheiro de algo mal feito. Falta confiança

• LLM é como um livro do Bill Bryson: soa plausível e autoritativo, mas em áreas que você realmente conhece dá para perceber muitos erros
  Ainda assim, a gente continua depositando esperança na próxima pergunta

  • Eu costumo usar LLM como ponto de partida para aprender. Não espero uma resposta perfeita, mas dá para absorver novos termos e conceitos rapidamente
    Por exemplo, eu queria instalar um interruptor num Miata de 1990, e por causa do LLM conheci pela primeira vez os conceitos de relé e chave DPDT
    O diagrama estava errado, mas ajudou a definir a direção do estudo
  • Acho que essa comparação não é totalmente justa. Quanto mais conhecemos um tema, mais difíceis são as perguntas que fazemos, então é natural que o LLM erre mais
    Já em áreas que não conhecemos, até respostas em nível básico já parecem impressionantes
  • Eu perguntei ao ChatGPT sobre a motivação de personagens de um romance, e havia vários erros factuais
    Para quem não conhece, parece plausível, mas se você constrói raciocínios sobre informação errada, no fim obtém um resultado ainda mais distorcido
    A conversa pode ser vista aqui
  • A menção ao Bill Bryson foi boa demais
  • Tentei ler livros do Bryson, mas queria exemplos concretos de que partes exatamente estão erradas

• Eu tinha uma sensação parecida nas aulas da faculdade
  Durante a aula, parecia que eu tinha entendido tudo, mas quando ia resolver os problemas por conta própria, percebia quantas lacunas havia

  • Neste semestre, a maioria dos meus alunos parece ter feito as tarefas com LLM
    O código dá erro porque não reflete o contexto da disciplina, e no fim sou eu quem precisa corrigir isso
  • O problema é que, no aprendizado, reconhecimento (recognition) é fácil, mas recordação (recall) é difícil
    Quando você aprende sem esforço, parece até que aprendeu melhor, mas na prática não é assim
  • Me preocupa que os universitários de hoje estejam substituindo esse “esforço” por LLM
  • Até especialistas passam por algo parecido. Quando simplificam explicações para o público em geral, muitas vezes acabam sendo tratados como mentirosos
  • Falta de detalhes e errar com confiança são coisas diferentes
    Por exemplo, o Claude disse que a fundação do meu prédio estava em risco, mas o inspetor de verdade riu e disse que não havia problema nenhum

• Em subreddits de matemática e física, às vezes aparecem posts de gente dizendo que criou uma teoria unificada da física junto com o ChatGPT
  Esse tipo de pessoa sempre existiu, mas depois dos LLMs ficou muito mais comum

  • Até o ex-CEO da Uber agiu desse jeito
    Matéria relacionada: link do Gizmodo

• A experiência de ler LLM é parecida com ler jornal
  Em áreas que você não conhece, parece que aprendeu muito, mas nas que conhece percebe na hora que é besteira
  Então fico preocupado com o quanto ele pode estar errado em temas que eu não domino

  • Isso é exatamente o efeito de amnésia de Gell-Mann
    Explicação na Wikipédia
  • Na verdade, não é só jornal; livros também ficaram difíceis de confiar
    Qualquer um pode publicar, e agora vídeos também ficaram fáceis de manipular
    No fim, o importante é a capacidade de filtrar fontes

• Eu aplico ao ChatGPT os mesmos filtros de fonte e confiabilidade que aplico quando ouço informações de pessoas
  Depois de ouvir uma resposta, sinto menos que “ganhei conhecimento” e mais que ganhei uma direção para explorar

  • Alguém perguntou se havia algum caso em que esse “ponto de partida para exploração” de fato evoluiu para conhecimento real
  • Isso me lembra o conceito de “default to null”
    É a postura de assumir que, quando uma frase não faz sentido, talvez não seja você que não sabe, mas sim o texto que pode ser sem sentido
  • O problema é que a memória humana esquece o contexto mais rápido do que os fatos
    No fim, com o passar do tempo, até informação errada acaba se misturando à nossa visão de mundo

• Há texto demais fingindo ter certeza sobre o futuro dos LLMs
  Mas, olhando para a história, houve muitos casos em que quantidade (Quantity) mudou a qualidade
  Engines de xadrez, busca do Google e Wikipédia partiram de princípios simples, mas foi a escala dos dados que produziu a inovação
  LLM também é só multiplicação de matrizes, mas talvez, assim como a carne (meat) pensa, disso possa surgir uma nova inteligência

  • Mas, por enquanto, ainda existem o viés político da Wikipédia e a manipulação sutil mencionada em xkcd 978
  • Se você não conhece a história da “carne pensante”, vale ler este texto
  • Antigamente, acreditava-se que a carne produzia moscas; talvez um dia também percebamos que era ilusão achar que a carne produz pensamento

• A frase “LLM não é uma máquina de conhecimento, e sim uma máquina de confiança” ficou na minha cabeça
  Quando pergunto sobre um problema técnico e ele responde “isso é um problema conhecido”, fico aliviado, pensando: não sou burro; isso realmente é difícil
  Por exemplo, eu queria mudar a aba padrão do depurador no WebStorm, e a AI disse que não havia como, o que me poupou perda de tempo

  • Mas a AI muitas vezes também dá falsa confiança desse jeito
    Mesmo se eu inventar um problema, ela responde algo como “isso é uma issue conhecida” e engana de forma convincente

• Eu uso LLM não como fonte de autoridade, mas como espelho do pensamento
  Ao explicar minhas ideias, acabo percebendo minha própria confusão ou falhas lógicas
  A linguagem já é naturalmente incerta, e o LLM revela essa incerteza em forma estatística
  Por isso, se abordado com senso crítico, ele pode acabar sendo uma ferramenta para refinar o pensamento
  No fim, é importante reconhecer que nem humanos nem AI são perfeitos, e tratá-los com o mesmo ceticismo que teríamos com um estranho

• Concordo com a ideia de que “LLM produz não conhecimento, mas confiança”
  Mesmo sem perfeição, uma postura de agir com convicção às vezes leva a resultados melhores
  Especialmente para pessoas excessivamente cautelosas, a própria confiança pode ser o núcleo da produtividade

  • Mas confiança também é uma arma social
    Convicção sem fundamento gera credibilidade diante dos outros, e quando isso se repete, acabamos aprendendo humildade e hesitação
    Por isso, a postura acadêmica muitas vezes também pode se tornar autolimitante