2 pontos por GN⁺ 2025-05-05 | 1 comentários | Compartilhar no WhatsApp
  • É uma crítica ao fato de que textos escritos por LLMs, de respostas de alunos a revisões de artigos, podem parecer convincentes por fora, mas quase nunca oferecem ao leitor novas ideias ou experiências
  • Os motivos pelos quais as pessoas terceirizam a escrita se dividem entre considerar a tarefa pouco importante, acreditar que o modelo escreve melhor do que elas ou querer produzir texto comercial gerado automaticamente
  • Se o objetivo da escrita é transmitir as próprias ideias, uma saída de LLM, que não tem pensamento próprio, é mais próxima de um produto vazio do que de plágio
  • Mesmo tarefas que parecem formais, como trabalhos de aula e revisões de artigos, na prática exigem raciocínio e julgamento; LLMs apenas produzem texto, mas não substituem o processo de pensar
  • O exemplo de 234 palavras feito com Gemini apenas repetia o prompt de forma prolixa e acrescentava generalidades; por isso, o prompt original valia mais a pena ler do que o resultado

O estilo e os limites revelados pela escrita com LLMs

  • Ao corrigir trabalhos de alunos, o autor frequentemente encontra textos que parecem saídas do ChatGPT, como respostas explicando as desvantagens dos ângulos de Euler (Euler angles)
  • Essas respostas em geral são prolixas e vagas, têm obsessão pelo estilo de bullets em negrito e tendem a repetir o prompt
  • O estilo do ChatGPT é distinto o bastante para ser reconhecível, mas o autor considera que isso não é uma prova decisiva a ponto de encaminhar o caso a um comitê de honra
  • Mesmo levantando o problema, ele não tem certeza de que o ganho para a integridade do curso seja maior do que o tempo gasto disputando o caso

Por que as pessoas entregam a escrita a LLMs

  • Tarefas que parecem pouco importantes

    • O autor vê isso como uma atitude comum entre estudantes que enxergam as disciplinas como uma sequência de obstáculos para obter o diploma
    • Uma motivação parecida vem crescendo também em revisões de artigos, e ele cita como caso relacionado paper reviews
    • Muitos pesquisadores veem a revisão como uma tarefa paralela somada a uma carga de trabalho já excessiva e podem sentir que é difícil reservar tempo para escrever uma boa revisão
  • Quando se acredita que o modelo escreve melhor

    • Alguns colegas acreditam que LLMs produzem textos melhores do que os deles
    • Pela percepção do autor, isso parece mais comum entre pessoas para quem o inglês é segunda língua
    • Algo parecido acontece com quem está começando a programar, ligado à atitude de tratar programação como um encantamento misterioso a ser decorado e recitado
    • Há uso semelhante na escrita acadêmica, e ele cita como caso relacionado academic writing
  • Texto gerado automaticamente com interesses envolvidos

    • Astroturfing, chatbots de suporte ao cliente e introduções prolixas de receitas de confeitaria online são exemplos
    • O autor considera que esses textos não são escritos para serem lidos por pessoas e que também não carregam a intenção do autor
    • Como o foco é tratar das motivações individuais, ele não aprofunda esse tipo

O propósito da escrita e o vazio das saídas de LLMs

  • O principal motivo pelo qual humanos escrevem é transmitir ideias originais
  • Essas ideias não precisam ser especiais nem acadêmicas; férias, um cachorro de estimação ou uma cor favorita podem ser temas suficientes
  • A condição importante é que a ideia seja da própria pessoa
  • Copiar as palavras de outra pessoa não transmite as próprias ideias, mas ao menos transmite o pensamento de um humano
  • Como LLMs, por estrutura, não têm pensamentos próprios, publicar suas saídas é visto como algo próximo de uma ação sem propósito

Mesmo tarefas que parecem pouco importantes são importantes de fato

  • Comentar em um post do Reddit com um resumo do texto original feito por computador é visto como desperdício de tempo de todos
    • Se o texto original é tão pobre que um resumo basta, então não vale a pena participar com um comentário
    • Se o texto original exige uma leitura humana de verdade, o resumo é sem sentido
  • O objetivo de uma tarefa de escrita em sala de aula não é o texto produzido, mas forçar o aluno a pensar
    • O LLM produz o resultado, mas não produz o processo de raciocínio
  • Em revisões de artigos, uma revisão feita pela metade e sem empenho só cria trabalho desnecessário para os autores originais e não dá ao editor nenhuma informação além do que ele já sabe

Refutando a crença de que “o modelo é melhor”

  • Na comunicação profissional, o autor considera que LLMs são usados principalmente para criar enchimento ou ajustar o tom do prompt original
  • Nesse processo, o sentido original fica turvo, e várias camadas de palavras desnecessárias são acrescentadas até a ideias simples
  • Com sorte, o texto não está errado, mas muitas vezes inventa completamente detalhes importantes ou produz algo difícil de entender
  • Em um texto humano mal escrito, ao menos se pode esperar que exista uma compreensão interna que a pessoa tenta compartilhar; com LLMs, não se pode ter essa expectativa

Programação e vibe coding

  • O autor tem um pouco mais de empatia pelos programadores, mas considera que o resultado de longo prazo é mais discretamente prejudicial
  • Lembrando Programming as Theory Building, de Peter Naur, ele considera que escrever um programa suficientemente complexo exige não apenas o artefato de código, mas também uma teoria sobre a estrutura lógica por trás dele
  • Vibe coding é definido como uma forma de deixar a geração do programa quase inteiramente a cargo de um LLM
  • Essa abordagem produz artefatos sem teoria, e por isso o código resultante é, na prática, inútil
  • Nos termos de Naur, tal programa estaria morto; aqui, a comparação é que ele já nasce morto
  • Como exemplo de app feito com vibe coding que sofreu com problemas de segurança, ele cita um app de receitas vibe-coded que vazou uma chave da OpenAI

Experimento com Gemini

  • O autor inseriu o argumento do ensaio no Google Gemini e pediu que ele concluísse o texto em 2 parágrafos curtos
  • A saída do Gemini tinha 234 palavras e, segundo a avaliação, limitou-se a reformular o prompt longamente
  • O tom permaneceu amplo e cheio de generalidades sem sentido; usava palavras grandes, mas não com bom gosto
  • A frase de exemplo “Perhaps it stems from a desire for efficiency, a wish to quickly generate text without the perceived effort of crafting each sentence.” é apresentada como um caso de uma pequena ideia transformada em uma grande frase
  • O mesmo significado poderia ser reduzido a “Perhaps it stems from a desire for efficiency.” e, com mais refinamento, a “Perhaps people do it for efficiency.”
  • Esse experimento leva à conclusão de que LLMs são excelentes em alongar bobagens, mas não muito bons para o resto

A conclusão de que ele preferiria ler o prompt

  • O autor afirma que nunca quis ver a saída de nenhum modelo generativo criativo, incluindo imagem, texto, áudio ou vídeo, mais do que o prompt original
  • O resultado gerado tem menos substância do que o prompt, e não há visão humana no processo de criação
  • O propósito da criação é compartilhar a própria experiência; se não há experiência a compartilhar, não há motivo para criar
  • A conclusão final é que um texto que não vale a pena escrever também não vale a pena ler

1 comentários

 
GN⁺ 2025-05-05
Opiniões no Hacker News
  • Já pedi várias vezes a colegas de trabalho que produzem textos absurdamente prolixos com LLMs que, em vez disso, me mandem só o prompt.
    Se um LLM consegue gerar um texto longo a partir de uma entrada limitada, então o que é necessário é apenas essa entrada concisa; o resto vejo como enchimento inventado.

    • Quando tenho uma ideia nebulosa na cabeça e levaria muito tempo para expressá-la de forma concisa, achei bastante útil usar um LLM para comprimir o que quero dizer.
      Se eu digito ou dito um fluxo de consciência cheio de parênteses e meio estruturado e peço um resumo, muitas vezes ele organiza melhor o que eu estava tentando dizer.
      Isso também se conecta à famosa frase de Pascal: “se eu tivesse tido tempo, teria escrito uma carta mais curta”.
      A propósito, quando pedi a um LLM para comprimir a frase acima, saiu algo como: “quando é difícil expressar ideias nebulosas, falar ou escrever longamente pensamentos semiorganizados e pedir a um LLM que os resuma ajuda a capturar a intenção de forma mais clara e eficaz”.
    • Basta dizer: “alguém enviou esta mensagem gerada por IA; estime da melhor forma possível qual teria sido o prompt curto que criou este texto”.
      Agora a IA vira apenas uma impressora bonita com perdas.
    • https://marketoonist.com/2023/03/ai-written-ai-read.html
    • Recentemente, os requisitos de uma story que o BA me passou eram contraditórios entre si e muito mais prolixos do que as discussões anteriores, e perdi meio dia com isso.
      Quando finalmente consegui falar com ele, ele admitiu que tinha colocado os requisitos reais no ChatGPT e que “não teve tempo de revisar o resultado”; fiquei realmente furioso.
    • Usar LLM para escrever coisas como currículos me dá uma sensação parecida.
      O LLM não pode saber sobre mim mais do que aquilo que dei no prompt, então o resultado não pode trazer mais informação do que o prompt.
      Para perguntas sobre conhecimento público, ele é muito mais útil, porque pode trazer informações novas de materiais externos.
  • Gosto da perspectiva do autor: não é um juízo de valor sobre indivíduos que usam LLMs como ChatGPT ou Gemini, mas a ideia de que o pensamento envolvido em criar o prompt é inevitavelmente mais interessante, original e humano do que a saída do LLM.
    Pela minha experiência usando LLMs para escrever código, se o prompt é lixo, o código é objetivamente lixo.
    Se eu não sei o que quero, e não tenho ideias, estrutura nem plano, é esse tipo de código que sai.
    Também gostaria de ouvir contra-argumentos de pessoas que usaram LLMs recentemente para escrita acadêmica ou criativa. Fora usá-los para atravessar boilerplate ou montar esqueletos em projetos pessoais de programação, não tenho usado modelos recentes.

    • Esse é o ponto central. Mesmo modelos recentes como Sonnet 3.5, quanto mais aberto é o prompt, mais banal e genérica fica a resposta.
      No fim, é uma estrutura que repete continuamente: entra lixo, sai lixo.
      Algumas semanas atrás, citei esse ponto como uma das razões pelas quais os LLMs atuais não conseguem ser bons criadores de campanhas em Dungeons and Dragons.
      Humanos não precisam de “restrições”. Se você pedir a um escritor competente para se sentar em silêncio e imaginar a trama de um novo romance, ele simplesmente consegue.
      https://news.ycombinator.com/item?id=43677863
      Ainda assim, LLMs podem ser excelentes caixas de ressonância para ideias.
      Se quiser mais provas, aumente a temperatura para 1.0 e pergunte a qualquer LLM: “para uma campanha de DND, imagine uma sala de dungeon independente com um quebra-cabeça único que não exista antes. Descreva concretamente o quebra-cabeça, a solução, o layout da sala etc., e faça algo completamente novo e imaginativo”.
      Aposto que 99% vão entregar algum quebra-cabeça formal baseado em física, como “The Resonant Hourglass” ou “The Mirror of Acoustic Symmetry”.
    • Pela minha experiência, o Gemini pode se sair muito bem em escrita criativa, mas é preciso formular os prompts e editar com muito cuidado.
      É um processo de inserir ideias, cortar o que deve ser cortado, definir tom e concisão, e rodar vários rascunhos.
      https://old.reddit.com/r/singularity/comments/1andqk8/gemini...
    • Tenho sentimentos mistos. Em geral, acho que não se deve usar diretamente a saída de um LLM para criar algo que um humano precise ler, mas abro uma grande exceção para tradução ou escrita em segunda língua.
      Ao mesmo tempo, quanto mais uma pessoa precisa de um LLM para esses usos, maior a chance de ela ser justamente a menos capaz de perceber as fraquezas da saída. Assim como não sei escrever em espanhol, também não consigo avaliar a qualidade de uma tradução em espanhol feita por LLM.
      Num extremo, estudantes de hoje podem passar a depender de LLMs, confiar neles sem saber melhor, acabar confiando em tudo sem saber nada e nem sequer conseguir avaliar qualidade ou desempenho.
      Uma área em que discordo do autor é programação. Embora eu goste de algoritmos, código é escrito para ser lido por computadores, e não vejo grande problema em computadores escreverem código.
      LLMs me pouparam muito tempo na escrita de funções simples, permitindo passar rápido pelas tarefas chatas do projeto e focar nas partes interessantes.
      Acho que a frase de Miyazaki, “os humanos perderam a confiança em si mesmos”, é a que melhor se encaixa. LLMs podem ser ótimas ferramentas para automatizar trabalhos repetitivos e tediosos, mas é triste achar que eles podem substituir a perspectiva única de uma pessoa.
    • Em escrita criativa e profissional, foram úteis para revisão de gramática e sintaxe e para encontrar a palavra adequada a partir de uma explicação nebulosa.
      Para estruturar o texto, quase não ajudam. Escrever é ter uma compreensão tão clara que, mesmo ao reduzir esse significado a palavras, outras pessoas ainda consigam agarrá-lo.
      Concordo que os LLMs não ajudam muito nessa parte.
    • LLMs são excelentes para revisão. Também são bons para escrever a conclusão e o resumo de artigos. É um trabalho de sintetizar os resultados do artigo e deixá-los com boa aparência, algo em que a maioria dos cientistas é desesperadoramente ruim.
      Mas todas as informações precisam estar no prompt. Caso contrário, eles alucinam.
      O resultado não fica no nível de ser enviado sem alterações, mas é suficiente para começar e iterar, em vez de encarar uma tela em branco.
      Também quero testá-los na seção de métodos, porque em todo artigo é basicamente repetir as mesmas informações com frases diferentes.
      Mas ainda não confio na precisão dos detalhes técnicos. LLMs são apenas modelos de linguagem; não têm conhecimento nem compreensão.
  • Escrito desse jeito, um LLM parece um algoritmo de descompressão reversa. Uma ideia simples é inflada pelo LLM e vira uma bagunça, e outra pessoa a resume de novo com um LLM, devolvendo-a para algo próximo do prompt original
    Os únicos que ganham com esse trabalho sem sentido são Sam Altman e companhia, que embolsam algo como US$ 0,000000001 por terem tornado isso possível

    • Acho que a resposta é essa. LLMs são basicamente úteis para transformar e reduzir dados e texto, não são ferramentas úteis para expansão
      As exceções são textos e códigos repetitivos ou com cara de boilerplate, em que é preciso expressar pouca informação de forma longa
    • Na prática, é bem provável que Sam Altman esteja gastando esse dinheiro com eletricidade e custos de computação. Não sei se eles já descobriram como transformar isso em fluxo de receita
    • Na verdade, acho que ele deve estar perdendo US$ 0,000001
    • Exato. As duas coisas estão muito intimamente ligadas
      http://prize.hutter1.net/
      Basta ver o prefácio e o FAQ, e o fato de que todos os vencedores agora são redes neurais
    • Acho que a culpa é dos humanos. Não entendo por que tantos lugares exigem textos desnecessariamente longos
  • Acho que a resposta ao desânimo do professor é bem simples. Muita gente não está na universidade para aprender e cultivar a mente, mas para sobreviver em um sistema econômico brutal de darwinismo social
    Quem foi lá para estudar ângulos de Euler de verdade sempre foi uma minoria minúscula; o resto vê isso como uma barreira que precisa atravessar para conseguir um emprego que talvez venha a ser automatizado por IA
    Do ponto de vista de reforço de condicionamento, o professor claramente só precisa descontar pontos dos alunos que trapacearam
    Em tese, os alunos vão desistir ou ficar bons o suficiente para não serem pegos. Esta última opção talvez seja uma habilidade com demanda no futuro

    • Sistema de quem?
      É meio estranho os pais dizerem: “se você passar por esses portais, para cada 1 dólar que você ganhar moendo gergelim em alguma empresa, nós vamos acrescentar mais 2 dólares”
      Trabalhar e se educar por conta própria não é algo bom e digno? Isso é um mau negócio?
    • Pequena correção: ele não é professor, mas um aluno de pós-graduação que fez a graduação na mesma escola, e parece ter passado a maior parte da vida universitária durante a Covid
      Pelo menos é isso que está na página dele: https://claytonwramsey.com/about/
      Professores também não recebem treinamento real em educação, mas essa pessoa também não parece ter aprendido métodos de ensino de verdade
      No fim, ele é bem jovem, e o texto parece mais uma reação forte e improvisada. Deve ser avaliado levando isso em conta
  • Há muitas formas de usar LLMs
    O problema está em pessoas que jogam um prompt único e curto e recebem uma saída genérica e chata. É “lixo entra, genérico sai”
    O modo como eu realmente uso é despejar pensamentos e receber ajuda para organizá-los, obter feedback sobre expressão e conexão entre frases, melhorar tom e estilo como não nativo tentando manter a individualidade, simplificar frases bagunçadas, encontrar lacunas ou problemas no texto etc.
    Normalmente é um processo iterativo, e o tamanho dos prompts combinados acaba maior que o resultado final. Também incorporo o feedback manualmente
    Se alguém digita apenas “escreva um post de blog sobre X”, o prompt pode ser mais interessante que a saída; mas, se há cinco rodadas de revisão e contexto, você realmente preferiria ler todos os prompts e rascunhos em vez da versão final?
    Se quiser, está aqui: https://chatgpt.com/share/6817dd19-4604-800b-95ee-f2dd05add4...

    • A propósito, o comentário original enviado primeiro ao ChatGPT era muito melhor do que o que foi postado aqui. Era simples, sincero e ia ao ponto
    • No momento em que li “melhorar tom e estilo, tentando manter a individualidade, e simplificar frases bagunçadas”, tive justamente a sensação de que este texto tinha sido escrito pelo ChatGPT
      A propósito, o rascunho inicial dado ao ChatGPT é melhor do que o texto publicado aqui
    • Houve muito vai e vem para produzir algo funcionalmente igual ao texto original, e o resultado ficou ligeiramente pior
    • Acho que você levou o ponto do texto ao pé da letra. O autor não quis dizer que quer literalmente ler os prompts, mas que está interessado no que você está tentando dizer
      Isso é algo muito difícil de fazer os alunos entenderem. Quando um professor pede para escrever sobre um evento histórico, isso não é um ritual para chegar ao diploma
      O objetivo é aprimorar várias habilidades: reunir informações, compreendê-las, absorvê-las, criticar o que foi lido e, por fim, formar a própria opinião
      Dizer “despejo pensamentos e deixo o LLM organizar” soa como falta de interesse em desenvolver a capacidade de realmente absorver informações
      Para mim, parece um sinal de que a pessoa não tem interesse em se tornar alguém interessante. Acho que é uma questão de maturidade, e um dia ela vai entender
      O que o autor diz, no fim, é isso. O que me interessa é o que você tem a dizer sobre um tema com que se importa, não algo que consegue fazer para fingir que se importa ou que sabe
      Se você não consegue organizar os próprios pensamentos, é difícil acreditar que já chegou a um ponto interessante; e, para chegar lá, é preciso praticar
      Mas me preocupa que, se você usar LLMs sem praticar, acabe nunca se tornando uma pessoa interessante
    • Exato. Um LLM é uma ferramenta que exige habilidade. Um uso adicional que faço é tradução para o idioma XYZ
      Isso também nem sempre é simples, então às vezes é preciso iterar com algo como “traduza para a língua usada por pessoas que vivem em tal região”
      O autor acerta em parte. Como falante de segunda língua, o LLM produz textos melhores do que eu
      Mas os prompts estão em língua estrangeira e misturados com pedaços de rascunho, inúteis para o leitor, então não vou compartilhá-los
      Vejo isso mais como entregar um rascunho de livro a um editor e a um tradutor
  • Desde que a IA surgiu, tenho pensado continuamente na proporção entre prompt e saída
    Por causa das características dos sistemas que usamos, presumimos naturalmente que o prompt será mais curto que a saída, mas quanto mais especificamos o que queremos, mais longo o prompt fica, enquanto o tamanho da saída permanece igual
    Se, em vez de escrever um ensaio, você explica o que deve entrar nele, essa explicação inevitavelmente fica mais longa que o próprio ensaio. Porque explicar o que se quer dizer exige mais texto do que simplesmente dizer
    O fato de esperarmos receber de volta mais esforço com menos esforço mostra que o que obtemos, no fim, é texto de preenchimento
    Por isso os prompts são mais interessantes, e muitas vezes comecei a escrever um prompt sem saber o que escrever, e, nesse processo, de repente ficou claro o que eu queria dizer
    No geral, a IA é muito mais útil para comprimir ideias complexas em algo simples do que para expandir ideias simples em algo complexo

    • Por isso, será difícil que sistemas desse tipo substituam efetivamente o desenvolvimento de software
      Quando você consegue especificar em inglês, com precisão suficiente, um novo sistema que quer construir a ponto de obter exatamente o sistema desejado, teria sido melhor simplesmente escrever o código
    • Acho que o importante não é a proporção entre prompt e saída, mas a velocidade para obter a saída
      Se eu passo 1 hora escrevendo um prompt de 500 palavras e anexo X dados adicionais, como linhas de uma tabela, e o LLM devolve X respostas perfeitas, não importa que a proporção de saída seja pior do que se eu mesmo digitasse esses caracteres
      O importante é se, nessa 1 hora mais alguns minutos de processamento do LLM, concluí o trabalho mais rápido
      É parecido com programação. O objetivo de usar um LLM não é escrever um código melhor do que eu conseguiria escrever sozinho, mas escrever um código suficientemente bom muito mais rápido
    • Sim. Um LLM pode ser um pato de borracha que reflete meus erros de volta para mim
      Mas, como outros disseram, talvez os prompts não sejam tão interessantes ou repetitivos quanto imaginamos. Pode ser só “a tarefa é esta, qual é a resposta?”
  • Concordo totalmente com o ponto do autor, mas é difícil refutar as condições e barreiras econômicas envolvidas em obter um diploma
    A maioria das pessoas vê o diploma como uma porta de entrada para conseguir um bom emprego, e isso faz sentido economicamente
    Infelizmente, hoje os empregadores também estão incentivando esse tipo de trabalho de copiar e colar. Veja Meta e Google dizendo que a maior parte do código novo está sendo criada por IA
    O mundo será devorado pela IA

    • Você obtém aquilo que mede, e deve esperar que as pessoas otimizem para esse indicador
      Antigamente, só os mais inteligentes ou os mais ricos iam para a universidade, então o diploma universitário virou uma métrica substituta de inteligência
      Agora que os graduados conseguem bons empregos, a forma de dar bons empregos a todos passa a ser dar diplomas a todos
      Se a maioria das pessoas não está interessada no aprendizado por trás do diploma e só se importa com o emprego, acabamos com alunos que se preocupam apenas com a nota de corte e o certificado no final
      Se as pessoas só vieram jogar o jogo, não dá para esperar que aprendam
      Ainda assim, mesmo que 90% percam a oportunidade à sua frente, 10% vão agarrá-la e sugá-la até o tutano
      Se você está na universidade, recomendo aproveitar o conhecimento oferecido e as oportunidades de interação. A universidade pode estar aberta a todos, mas as pessoas que enxergam o ouro ali dentro e realmente aprendem são uma minoria sortuda
      O jogo não se resume à pontuação final. Há muito mais sendo oferecido
    • Depois de obterem o diploma desse jeito, vão se candidatar a empregos sem ter aprendido nada de fato, e tentar enganar os entrevistadores com a mesma IA que os ajudou a se formar
      Tenho medo de que os LLMs já tenham criado a primeira geração de desenvolvedores que não conseguem funcionar sem LLMs
      Não há problema em usar LLMs para parte do trabalho, mas é preciso conseguir funcionar sem eles
      Nem todos os dados podem ser colocados em prompts de IA, alguns problemas não podem ser resolvidos com LLMs, e, se você depende de código ou configurações gerados para problemas simples, não desenvolve sua própria capacidade
    • Não concordo com o ponto do autor. Acho que o mundo está adotando essas ferramentas e modelos em dois campos
      Discordo fortemente da conclusão de Clayton: “Nunca houve uma vez em que eu não preferisse ver o prompt original em vez da saída do modelo generativo. A saída tem menos substância que o prompt e não tem a visão humana”
      Fizemos isto com IA, e tenho certeza de que, se você não for o criador, não vai querer ver a entrada bruta
      https://www.youtube.com/watch?v=H4NFXGMuwpY
      Os usuários de IA serão divididos em dois tipos: os que usam a IA como uma ferramenta completa de ponta a ponta, e os que a usam como uma ferramenta para ampliar o trabalho e a criatividade que já têm
      O segundo caso é claramente um excelente uso de IA
    • Porque quem contrata com base em diplomas não é melhor do que quem obtém diplomas com LLMs
      Talvez isso force uma grande mudança na forma de avaliar estudantes. Depois de entregar um ensaio, talvez o professor precise conversar com o aluno sobre o tema para verificar quanto ele realmente absorveu
      Ou talvez seja mais provável que os LLMs apenas piorem tudo
  • Isso acontece porque o instrutor está fazendo perguntas que apenas levam o aluno a repetir o texto do instrutor
    Para ensinar direito, deveria ser assim
    “Há um pequeno braço robótico de brinquedo feito com Tinkertoys. Ele tem três juntas angulares: uma base giratória, um ombro e um cotovelo, e cada junta tem um transferidor para ver o ângulo”

    1. Com base nesses três ângulos, calcule onde estará a ponta do braço. É assim que os ângulos de Euler funcionam na prática, e não é tão difícil
    2. Calcule quais devem ser os ângulos para alcançar um ponto específico na mesa. Para essa estrutura de robô existe uma solução simples, e basta procurar por “two link kinematics”. Não é necessário derivá-la; basta conseguir calcular como enviar o braço para a posição desejada. A solução é única? Dica: pode haver mais de uma solução, mas não muitas
    3. Desafio extra: adicione mais uma junta no pulso. Agora calcule quais devem ser os ângulos para alcançar um ponto específico na mesa. Três juntas são muito mais difíceis que duas, e há infinitas soluções. Procure por “N-link kinematics” e crie uma solução simples que funcione, mas não se esforce demais para otimizá-la. Isso é assunto de uma disciplina de controle ótimo
      Assim, eles passam a entender de verdade o que esses problemas significam na prática
    • Um LLM não consegue fazer isso? Fico um pouco surpreso
      Não sei nada de robótica, mas soa como uma tarefa bastante comum, do tipo em que um LLM conseguiria regurgitar o dever de casa de outra pessoa
    • Muito bem colocado. Isso é uma tarefa ruim
      Se um aluno faz isso, o problema pode ser o aluno; mas, se 90% fazem isso, eu diria que a tarefa está errada
  • Eu já dei aula muito antes de os LLMs aparecerem, e havia muitos trabalhos-lixo entregues por copiar e colar
    Eu sempre dava 0, e não dizia que era plágio. Porque, para tratar como plágio, seria necessário passar pelo procedimento administrativo da universidade
    Em vez disso, eu só comentava: “pedi X, e você entregou uma bobagem colada sem sentido”
    Enquanto as saídas dos LLMs estiverem no nível atual, elas não representam muita ameaça real de competitividade nas tarefas
    Se o aluno for cuidadoso o bastante para reescrever com a própria voz, eu até consideraria isso um sucesso. Se ele simplesmente entregar o lixo de um LLM refinado com RLHF por empresas terceirizadas de rotulagem de dados, basta dar 0

    • Aqui, o autor também é parte do problema. Se você deixa passar quando os alunos entregam bobagens do ChatGPT, é claro que eles vão fazer isso
      Os alunos não se importam com o apelo emocional de 3.000 palavras do blog; eles escolhem o caminho de menor resistência
      Se você não está disposto a riscar a tarefa inteira e devolvê-la com “bobagem do ChatGPT, 0” escrito em letras grandes e vermelhas, então deveria se perguntar qual era o objetivo da tarefa em primeiro lugar
      Dito isso, eu entendo. A universidade virou uma estrutura em que o aluno paga para obter um diploma, e os professores perderam, diante dos administradores, qualquer poder de impor padrões ou disciplina
      Então só resta dar a nota mínima para passar ao lixo do ChatGPT e filosofar em um blog que os alunos jamais vão ler
    • Quando apliquei e corrigi uma prova de Matlab, fiz exatamente isso
      Era claramente cola. Por exemplo, casos em que se obtinha a resposta correta com código errado
      Mas eu não tinha intenção de passar pelo procedimento administrativo de denunciar como fraude; simplesmente dei 0
    • A suposição é que um aluno suspeito de ter usado LLM não vai contestar?
      Dar 0 para uma resposta correta parece algo que levaria a uma reclamação ou recurso bem-sucedido
    • Quando eu era criança, escrevia redações na escola com ideias realmente originais
      Mas ideias novas têm possibilidade de fracassar, então a maioria era ruim e recebia notas baixas
      Sem saber o que fazer, logo comecei a escrever redações sem ler os livros indicados, com base em resumos da Wikipedia e resenhas de outras pessoas
      Depois de receber meus primeiros A e A+, percebi que até um texto original mediano é algo que metade das pessoas tem compreensão baixa demais para entender
      Para que uma ideia seja reconhecida como realmente intelectual em literatura, ela precisa ser atraente até para pessoas que não se lembram do que de fato leram
      Mesmo para pessoas instruídas e inteligentes, um mar de informações semelhantes embaça a visão
  • O objetivo de uma tarefa de redação em sala de aula não deveria ser produzir um texto, mas fazer o aluno pensar. Modelos de linguagem produzem o primeiro, mas não conseguem produzir o segundo
    É muito desesperador ver tantos profissionais e acadêmicos inteligentes na educação e na academia não entenderem isso
    Eles veem o trabalho como simples produção de entregáveis e não pensam em como o processo constrói conhecimento, habilidades e experiência
    Os alunos que menos sabem estão sendo arrastados por LLMs, sem entender o propósito da escrita ou da resolução de problemas, nem as limitações dos LLMs, e desperdiçando anos
    Às vezes gastam centenas de milhares de dólares para atrofiar o cérebro e obter apenas um pedaço de papel, para então encarar o mundo real, onde os problemas são muito mais abertos e a qualidade de resolução de problemas dos LLMs cai bastante
    Quem de fato se agarra aos problemas por conta própria e aprende terá uma enorme vantagem no longo prazo

    • Já vi uma analogia certeira. Fazer trabalhos escolares com LLM é como ir à academia de empilhadeira
      Se a única coisa que importa para nós é mover peso, faz sentido usar uma ferramenta
      Mas essa atividade é feita pelo efeito que ela terá sobre você. O professor não faz perguntas porque não sabe a resposta
    • Eu estou lá para conseguir um diploma
      Se quisesse aprender e mergulhar no material, poderia economizar 60 mil dólares e fazer isso de graça on-line, provavelmente de forma mais eficiente
      O objetivo das tarefas de redação em sala é fazer a universidade me conceder um diploma
      Aprender de fato o material não garante um diploma; isso só é possível passando pelos portões estabelecidos pelos professores e pagando uma mensalidade enorme
      Seria bom se houvesse outro sistema em que, depois de realmente aprender, eu pudesse receber uma certificação válida de empregabilidade por isso; mas, enquanto os professores forem os guardiões do cobiçado comprovante de empregabilidade, esse problema de incentivos continuará
    • Estão perdendo as árvores por causa da floresta
      Quando criança, ao receber uma redação sobre “por que as forças do bem venceram em O Senhor dos Anéis”, aquilo era, na prática, um portão para verificar se eu tinha realmente lido o romance
      Havia três opções: ler o romance e escrever a redação por conta própria, encontrar uma redação já escrita ou pegar a redação de um amigo como modelo e reescrevê-la
      Antes da internet, encontrar uma redação já escrita também não era fácil, embora existissem livros de redações sobre temas comuns, com o risco de o professor descobrir ou de outra pessoa usar a mesma fonte
      A e C pelo menos faziam você aprender sobre o romance e aprimorar a escrita
      Hoje dá para pedir ao ChatGPT que escreva uma redação de 4 páginas sobre um romance de que você nunca ouviu falar e encerrar o assunto. Não há valor obtido nesse processo
      É um exemplo simples, mas se aplica exatamente da mesma forma à programação. Um programador iniciante vai argumentar que um LLM lhe dá poder para lidar com tarefas difíceis e linguagens que não conhece, mas não está adquirindo habilidade nem conhecimento com essa experiência
      Se você pedir ao Google Maps um caminho de Prague a Brussels, ele lhe dará uma lista de conversões que o guia até o destino, mas não dá para afirmar que, no processo, você aprendeu a topografia da Alemanha
    • Desde que o ChatGPT explodiu no início de 2023, ficou evidente que educadores precisavam repensar a forma de ensinar
      Concordo que a situação descrita pelo autor é insatisfatória, mas a maior parte é responsabilidade do sistema educacional e, mais ainda, de quem escreve
      Com tarefas de redação assim, é natural que os alunos usem LLMs. Se os colegas estão usando, o tolo é quem não usa
      Educadores precisam reestruturar tanto a forma de ensinar quanto a de avaliar. É estranho que o autor não enxergue isso
      Universidades e escolas precisam mudar seu modo de operar em relação à AI; caso contrário, estão preparando os alunos para fracassar
      Sei que a AI traz muitos problemas potenciais e reais para a sociedade, mas, se for adotada corretamente, também tem potencial para transformar positivamente a experiência educacional
    • Acho que esse tipo de reclamação será ignorado por pelo menos dois motivos
      Primeiro, os alunos são uma audiência cativa. Eles não querem estar ali, mas a lei os obriga
      Mesmo depois da educação obrigatória, continua sendo assim. Foram empurrados por inércia para níveis mais altos de ensino e não perceberam que tinham escolhas ou alternativas reais
      Segundo, muitas das habilidades desenvolvidas em sala de aula são, na prática, inúteis
      Passei muito tempo em aulas de inglês como segunda língua, mas quem realmente me ensinou o idioma foi o uso da internet. As aulas de inglês da parte final eram apenas ocupação para parecer ocupado
      Nas aulas de língua materna também tive de escrever muitas redações, mas a única coisa útil foi a prova final daquela disciplina
      Desde então, nunca escrevi uma redação “de verdade”. Mesmo que escrevesse, provavelmente seria em inglês e usaria outro estilo que aprendi em posts de fórum