Por que conversar com LLMs melhorou meu raciocínio

• Conversar com LLMs aumenta a clareza do pensamento e a capacidade de expressão verbal
• O LLM organiza em frases ideias que eu sabia implicitamente havia muito tempo, mas não conseguia expressar em palavras, gerando um momento de percepção em vez de um novo aprendizado
• Assim como na experiência de programadores, intuição, reconhecimento de padrões e julgamentos difíceis de explicar muitas vezes se acumulam em uma forma anterior à linguagem
• Os LLMs são especialmente bons em desdobrar essas estruturas ambíguas em linguagem, decompondo e listando razões para permitir a reconstrução do pensamento
• Quando um pensamento se fixa em frases, é possível testar, revisar e descartar suposições e intuições, mudando a qualidade do raciocínio
• Por meio de um processo repetido de verbalização, aumenta a precisão do monólogo interno, e passamos a reconhecer melhor o próprio pensamento

---

Boa parte do que sabemos é tácito (tacit knowledge)

• Programadores e desenvolvedores muitas vezes percebem intuitivamente que um design está errado antes mesmo de conseguir explicar isso em palavras
  • Isso inclui casos em que se intui que o design está errado ou se detecta um bug antes mesmo de reproduzi-lo
  • Percebe-se imediatamente uma abstração incorreta, mas levará tempo para explicá-la
• Esse conhecimento tácito não é uma falha, mas o resultado de a experiência ter sido comprimida em padrões orientados à ação
  • O cérebro armazena conhecimento em formas otimizadas para execução, não para explicação
• Porém, para reflexão, planejamento e ensino, a expressão em linguagem é indispensável, e ideias não expressas são difíceis de revisar ou compartilhar

Os LLMs são bons no problema oposto

• O LLM é uma ferramenta otimizada para transformar conceitos e estruturas ambíguas em frases
• Quando o usuário faz uma pergunta que “parece vagamente correta, mas é difícil explicar o motivo”, o LLM organiza e apresenta as razões passo a passo
• Cada ponto é estruturado de forma ortogonal, permitindo ao usuário trocar e reorganizar esses elementos para expandir seu pensamento

Quando colocamos o pensamento em palavras, o pensamento muda

• Quando o LLM organiza uma ideia em frases, o usuário passa a poder experimentá-la mentalmente
• Uma intuição vaga se transforma em uma distinção nomeada, e pressupostos implícitos vêm à tona, tornando possível verificar, descartar e revisar
• Assim como a escrita refina o pensamento, o diferencial do LLM está na velocidade
  • É possível explorar rapidamente pensamentos semi-formados, descartar explicações erradas e tentar de novo
  • Esse processo estimula etapas do raciocínio que antes costumavam ser puladas

Loop de feedback e internalização do pensamento

• Com o tempo, mesmo sem o LLM, a pessoa passa a se perguntar: “Consigo expressar com precisão, em linguagem, o que estou pensando, sentindo e acreditando agora?”
• Em vez de melhorar diretamente o raciocínio, o LLM melhora a capacidade de usar a linguagem e a eficiência do monólogo interno
• Como o raciocínio depende de expressão explícita, maior clareza linguística leva diretamente a maior clareza de pensamento
• Quanto mais esse processo se repete, mais a pessoa passa a reconhecer com precisão o que realmente pensa

[sudosudo]

É preciso ter metacognição para conseguir pensar bem; só por existir um LLM, o pensamento não melhora. E quem começa a usar LLM logo de início provavelmente também vai destruir a própria metacognição..

[woung717]

Bem, parece que também há casos em que, por causa de respostas bajuladoras e equivocadas, a pessoa acaba ficando presa à própria forma de pensar. Como uma ferramenta para organizar as ideias com clareza, é útil, mas também acho importante sempre olhar para as respostas da IA com um ponto de vista crítico.

[y15un]

Por isso, eu configuro as instruções do Gemini como: "não elogiar nem enaltecer excessivamente o usuário; responder em um estilo neutro e científico/acadêmico; sempre apresentar referências." Ainda há casos em que ele descumpre as instruções (e.g., eu disse para não incluir vídeos do YouTube, mas às vezes ele acaba inserindo mesmo assim), mas, ainda assim, gera respostas muito mais limpas e focadas nos pontos principais.

[slimeyslime]

Instruções concisas e boas. Acho que também vou tentar aplicar.

[GN⁺]

Comentários do Hacker News

• Este texto bate com a minha experiência também. Conversando com LLMs, consegui dar forma a ideias que antes eram vagas e explorar temas relacionados para ampliar meu entendimento
  Antes, mesmo quando eu ficava curioso sobre algo, não sabia por onde começar, mas o ChatGPT me diz se a ideia já existe como conceito, quem pesquisou isso e quais fontes primárias existem
  É como uma toca de coelho para explorar o mundo. A barreira de entrada para o conhecimento diminui, e até a escrita, que antes eu achava entediante, passou a parecer nova. Agora até penso em escrever por conta própria

  • No começo dos anos 2000, a Wikipedia fazia esse papel. Agora parece uma enciclopédia com a qual dá para conversar
    Só me preocupo se um dia as empresas tentarem monetizar mais os LLMs. A conversa pode acabar sendo direcionada para induzir compras
  • Não sou bom em matemática, mas tenho muito interesse em emulação de sintetizadores analógicos. Eu estava travado tentando entender a inovação do ‘zero delay filter’ de meados dos anos 2000, e finalmente entendi conversando com um LLM
    Consegui compreender como funciona o algoritmo aproximado que resolve o problema do loop de feedback. Acho que esse tipo de aprendizado também ajudaria muito os estudantes
  • Usar um LLM como rubber duck é uma excelente forma de aproveitá-lo
  • George Orwell não disse que “escrever é pensar”?
  • Quero comparar LLMs com café. Café é uma ferramenta de aumento de produtividade disponível em todo lugar, com muitos tipos diferentes, mas no fim das contas “grão é grão”
    A IA me parece parecida. A essência é a mesma; só os enfeites ao redor ficam mais chamativos. O mercado global de café gira em torno de 500 bilhões de dólares, e acho que o mercado de IA logo chegará a algo desse tamanho

• Não estou tentando negar a experiência dos outros, mas pensar é um ato que se reforça a si mesmo
  É no processo de fazer perguntas a si mesmo e respondê-las que surgem novos pensamentos. Não devemos esquecer essa capacidade

  • Pela minha experiência, os LLMs têm duas vantagens sobre o pensamento individual
    1. dão acesso a um vasto índice de conhecimento e me mostram informações que eu desconhecia
    2. respondem de forma imediata e envolvente, o que reduz o cansaço. Por isso, consigo manter o foco por mais tempo
       Dito isso, é uma pena que sejam tão yes-men e não consigam apresentar contrapontos. Ainda assim, pensar com LLMs tem valor por si só
  • Ninguém está negando que “o pensamento desenvolve o pensamento”
    Mas o processo de expressar algo por escrito exige um pensamento metacognitivo muito mais profundo do que simplesmente pensar. Por isso, leva a um pensamento mais refinado
  • Na minha experiência, existe um “efeito placebo recursivo”
    Você sente que está pensando melhor → fica empolgado → se envolve mais → o resultado melhora → fica mais empolgado → e isso se repete
    Esse ciclo também pode acontecer sem LLMs
  • Concordo em grande parte, mas às vezes o raciocínio puro não basta quando faltam informações
    Conversas com LLMs muitas vezes são dispersas e ineficientes. No fim, o ser humano ainda precisa definir a direção
    Conversas humanas são lentas, mas ainda têm capacidade de raciocínio superior. LLMs são bons para resumir ou servir de ponto de partida para exploração, mas insights profundos vêm de livros e de conversas com pessoas
  • Vale a pena conhecer o conceito de ‘rubber duck debugging’ (link da Wikipedia)
    Só o ato de organizar os pensamentos em palavras já ativa outras partes do cérebro e ajuda na resolução de problemas

• Depois de 20 anos fazendo outra coisa, recentemente comecei a dar aulas de ciência da computação na graduação
  No começo, achei que usaria LLMs como ajuda para programar, mas eles acabaram sendo muito mais úteis para refinar o enquadramento conceitual
  Eles me ajudaram a explicar com clareza a filosofia de design de software não convencional que eu tenho

  • A hipótese de Geoffrey Hinton sobre LLMs é interessante. Como os LLMs precisam comprimir o conhecimento do mundo em dezenas de bilhões de parâmetros, eles devem ser muito bons em pensamento analógico
  • Fiquei curioso sobre a sua filosofia de design não convencional. Dá até inveja dos seus alunos

• No texto original, o estilo está muito com cara de LLM
  A estrutura repetida de “This is not <>, this is how <>” soa artificial. Uma pessoa real não escreve assim

  • Eu também senti um estranhamento parecido. A estrutura das frases parece uma enumeração mecânica excessiva, o que quebra o fluxo da mensagem
    O autor diz que “escrever também ajuda a pensar, mas conversar com LLMs é mais rápido e tem menos atrito”, mas, ironicamente, o atrito de expressão aumenta e a comunicação perde força
  • link relacionado do pangram.com

• Concordo que os LLMs ajudam a trazer à tona o conhecimento tácito das pessoas
  Ao mesmo tempo, o texto de ontem sobre ‘dívida cognitiva (cognitive debt) ao usar IA’ (link) também faz sentido. As duas posições parecem corretas

  • No fim das contas, tudo depende de como se interage com o LLM
    Se você usa de forma conversacional, fazendo perguntas pessoais, isso pode acumular dívida cognitiva
    Já se usar de forma imperativa, dando tarefas, dá para obter resultados verificáveis
    Por exemplo, “escreva um ensaio sobre os pássaros da minha região” pode ser confundido com uma criação humana, mas
    “como a cobrança de clientes funciona nesta codebase?” gera código determinístico que pode ser verificado

• Concordo com a observação do autor. LLMs, como no rubber duck debugging, fazem a pessoa organizar o próprio pensamento ao explicar um problema
  A diferença é que esse ‘rubber duck’ tem um vasto conhecimento especializado

• Eu também costumo ter a experiência de ver o pensamento se refinar ao discutir ideias com LLMs
  No processo de explicar, eu estruturo o pensamento, e as perguntas imediatas me ajudam a explorar novos ângulos

• Não concordo com a definição de ‘bom pensamento’ deste texto
  Para mim, bom pensamento é lógico, detalhado e capaz de enxergar claramente diferentes possibilidades
  Os LLMs tendem mais a reforçar intuições do que validá-las, e isso pode até embaralhar o pensamento

• Eu uso LLMs como parceiros de debate intelectual
  São úteis para testar minhas ideias e investigar se alguém já pensou algo parecido

• Conversar com LLMs é ao mesmo tempo incrível e frustrante
  É espantoso ter um computador que entende minha linguagem natural, mas o fato de ele não aprender é uma limitação
  Com um desenvolvedor júnior, a confiança se acumula com o tempo, mas com LLMs isso é impossível

  • Mas eu crio um arquivo agent.md para cada projeto e vou acumulando contexto aos poucos
    Se eu registrar nesse arquivo minha abordagem preferida para resolver problemas, o modo como faço build, teste e deploy etc., o LLM faz menos suposições sem sentido
    Eu gerencio isso como uma espécie de “dez mandamentos do LLM”. Sempre que começo uma nova sessão, faço o modelo ler esse arquivo e obtenho resultados bem mais consistentes
    Não é perfeito, mas é uma forma prática de compensar a limitação de o LLM não conseguir aprender por conta própria

[dogtree]

Você abriu os olhos.