2 pontos por GN⁺ 2025-06-04 | 1 comentários | Compartilhar no WhatsApp
  • A IA generativa já está mudando o ensino e a pesquisa em humanidades, então tratá-la apenas como exagero ou algo a ser proibido dificilmente será sustentável por muito tempo
  • As capacidades de tradução, classificação e processamento de linguagem dos LLMs se conectam ao conhecimento das humanidades, e até para melhorar sistemas de IA, como no problema de bajulação do GPT-4o, julgamentos sobre linguagem, cultura e retórica estão se tornando importantes
  • Mesmo pesquisadores de humanidades sem perfil técnico podem criar ferramentas personalizadas de pesquisa e ensino com ajuda da IA, e o simulador de boticária do século XVII e Young Darwin mostram ao mesmo tempo o potencial e a dificuldade de controlar alucinações
  • Chatbots como o ChatGPT dificultam a avaliação da escrita dos alunos e ampliam o risco de que eles pulem o esforço intelectual, perdendo a experiência de pensamento concentrado
  • Se os próprios educadores não projetarem tarefas e ferramentas baseadas em IA, ferramentas comerciais de aprendizado com IA podem ocupar o espaço educacional no lugar deles, enfraquecendo a relação personalizada entre professor e aluno

Por que é difícil ignorar a IA nas humanidades

  • D. Graham Burnett, em artigo da The New Yorker, critica a postura de universidades que tratam a IA apenas com diretrizes de proibição ou tentam resistir mantendo tudo como antes
  • Um rascunho de política anti-IA de um departamento universitário, se interpretado ao pé da letra, poderia até barrar atividades centradas na própria IA, e depois foi revisado
  • Uma avaliação externa recomendou que o departamento de história respondesse com urgência à crescente desordem causada pela IA no ensino e na pesquisa, mas a reação foi fria
  • O ponto central não é que a IA generativa seja intrinsecamente boa, mas que ela já está mudando as humanidades, tornando difícil descartá-la como exagero ou simplesmente ignorá-la

Competências humanísticas que passaram a ser importantes para a própria pesquisa em IA

  • Os LLMs, como uma “calculadora para palavras”, mostram força em tradução, ordenação e classificação, e já começam a impactar áreas como filologia, mineração de dados e tradução de linguagem arcaica
  • Nos últimos anos, as competências humanísticas passaram a ser importantes não apenas para usar IA, mas também para a própria pesquisa em IA
  • A primeira medida aplicada pela OpenAI para corrigir a estranha tendência de bajulação do GPT-4o não foi código novo, mas um novo prompt de sistema em inglês escrito em linguagem natural
    • Simon Willison analisou a mudança no prompt de sistema implementada pela OpenAI
    • A priorização do feedback dos usuários via botão “thumbs up” também foi citada como outro fator, e isso igualmente se conecta a questões de como a linguagem afeta o comportamento, diferenças culturais, retórica, gênero e tom
  • Quando um mainframe da IBM dos anos 1950 ou uma máquina a vapor dos anos 1850 quebravam, quem fazia o reparo não precisava refletir muito sobre linguagem, cultura e filosofia da tecnologia; já sistemas de IA podem literalmente se comportar como se estivessem quebrados quando essa reflexão falta

Ferramentas de pesquisa e ensino criadas diretamente por humanistas não técnicos

  • A IA generativa permite que usuários não técnicos das humanidades também tentem escrever código por conta própria
  • Uma nova geração de historiadores pode passar a encarar como algo natural criar e distribuir ferramentas personalizadas de pesquisa e ensino por um custo quase zero
  • A primeira tentativa foi um simulador de boticária do século XVII jogável gratuitamente
    • O aluno joga como Maria de Lima, uma boticária semifictícia da Cidade do México dos anos 1680
    • É preciso ler e usar receitas médicas reais da era moderna inicial para tratar pacientes baseados em personagens históricos reais
    • Havia bugs e problemas de usabilidade, e rapidamente surgiram casos em que alucinações geradas pelo LLM se desviavam da realidade histórica
    • Em uma partida, Maria acabou se tornando benfeitora de um navio mercante rumo à Inglaterra e conheceu Isaac Newton em Londres, onde foi recebida com chá
  • A segunda tentativa, Young Darwin, é um jogo em que o jogador coleta tentilhões e espécimes como um jovem Darwin nas ilhas Galápagos em 1835
    • Um sistema de deslocamento pelo terreno baseado na geografia real descrita por Darwin em Voyage of the Beagle ajuda a IA a manter uma base textual literal
    • É difícil sair da ilha, e os animais e terrenos encontrados vêm diretamente dos escritos reais de Darwin, reduzindo a tendência a alucinações
    • Há um sistema de logs mais robusto, útil para adicionar uma camada futura de avaliação e transformar a experiência em tarefa real
  • O desenho pedagógico funciona de modo que o aluno primeiro leia os textos de Darwin e depois demonstre, por meio das escolhas no jogo, o que aprendeu
    • Para avançar, é necessário incorporar a epistemologia e o conhecimento reais de um naturalista do século XIX
    • A atividade não substitui ensaios em sala nem discussões presenciais, mas atua como reforço

A realidade em que ficou mais difícil ensinar competências humanísticas

  • Chatbots de IA estão abalando elementos centrais do sistema educacional, e educadores, alunos, políticos e laboratórios de IA de fronteira precisam tratar isso com seriedade
  • Por causa do ChatGPT e de ferramentas concorrentes, ficou mais difícil avaliar a escrita dos alunos, e o aumento no envio de redações geradas por máquina está forçando a reformulação de tarefas e planos de aula
  • No longo prazo, o dano maior recai sobre os estudantes
    • Os LLMs podem transformar o esforço em um elemento opcional no ensino superior
    • Um aluno que nunca vivenciou o bloqueio na escrita também terá mais dificuldade de experimentar o estado de imersão que surge ao superá-lo
    • Sem passar horas procurando em vão na biblioteca, é difícil compreender de forma fundamental para que tipo de espaço a biblioteca existe
  • Um artigo da New York Magazine capta bem o problema do uso do ChatGPT
    • Um estudante de Columbia disse que “a maioria das tarefas da faculdade era irrelevante, podia ser hackeada com IA e eu não tinha interesse em fazê-las”
    • Ele respondeu que foi para uma universidade da Ivy League porque era “o melhor lugar para encontrar um cofundador e uma esposa”
  • Esse tipo de postura enfraquece o prazer de ensinar e o significado da experiência educacional

O potencial de tarefas com IA e as preocupações com desigualdade

  • Na disciplina de Burnett, os alunos fizeram uma tarefa em que discutiam com o ChatGPT o conceito de atenção (attention) e depois editavam o resultado para entregar; ele considerou isso uma experiência educacional intensa
  • Modelos de linguagem são uma nova ferramenta educacional, e como seu impacto ainda é incerto, educadores verdadeiramente apaixonados pela aprendizagem precisam se envolver ativamente agora
  • A maior preocupação é que os LLMs possam ampliar ainda mais a polarização dos resultados educacionais nas humanidades
    • Os alunos de Princeton que Burnett ensinou parecem ter respondido às tarefas de forma muito cuidadosa e criativa
    • Já no caso de alunos de estudos sociais em escolas públicas com poucos recursos, a reação ao mesmo tipo de atividade pode ser bem diferente
  • Educadores precisam aprender a criar e distribuir, por conta própria, tarefas e ferramentas baseadas em IA de acordo com o tipo de aula que desejam oferecer
  • Essa preocupação motivou uma bolsa da NEH recebida junto com Pranav Anand e Zac Zimmer, da UCSC
    • A bolsa foi concedida em janeiro de 2025, mas cancelada no mês passado pelo governo Trump/DOGE
    • O trabalho planejado continua em andamento

1 comentários

 
GN⁺ 2025-06-04
Opiniões no Hacker News
  • Há um problema educacional mais profundo, criado ao longo de décadas. Os estudantes foram treinados a enxergar a escola e o trabalho como uma sequência interminável de metas a cumprir, cujo objetivo final era conseguir um emprego.
    Mas agora é difícil dizer com confiança quais empregos ainda existirão daqui a 5 a 10 anos. Se há uma exceção, talvez sejam as profissões técnicas qualificadas, mas esses programas desapareceram em grande parte das escolas muito tempo atrás.
    Se universitários usam IA para passar pelas tarefas com facilidade, em vez de ler por conta própria, resistir e aprender, é difícil culpar apenas os estudantes pelo sistema educacional e de carreira que criamos. Esse problema não surgiu da noite para o dia, nem é um problema só da IA.

    • A IA vinha sendo usada como um bode expiatório conveniente para explicar as demissões e cortes após o fim do ZIRP, e agora parece estar sendo usada também para atribuir à IA até o fracasso do sistema educacional moderno.
      Nossa educação recompensa apenas uma coisa: notas, não compreensão, conhecimento ou inteligência. Um único número chamado GPA é, acima de tudo, fácil de gamificar, e acabou se tornando o indicador mais importante, determinando todo o futuro acadêmico do ensino fundamental II até a universidade.
    • Acho que profissões que existem há muito tempo têm boa chance de continuar existindo por bastante tempo. Independentemente das mudanças, elas provavelmente diminuirão aos poucos, em vez de desaparecer de repente, então haverá tempo suficiente para fazer um plano razoável.
      Dá para prever muito bem muitas profissões que ainda existirão daqui a 5 a 10 anos. Mas a verdade inconveniente é que uma parcela considerável dos empregos de alta renda da nova economia não atende ao critério de serem profissões duradouras.
      Portanto, seguir esse critério pode fazer você perder oportunidades lucrativas difíceis de prever; e, se você tende a sentir inveja facilmente quando um amigo de repente ganha muito dinheiro, talvez esse tipo de profissão não lhe traga felicidade.
    • Se apenas 10% da população migrar para profissões técnicas qualificadas, esse mercado vai entrar em colapso. Não entendo por que todo mundo não percebe isso.
    • Isso é realmente sério. Formandos da região continuam aparecendo como quem implora por estágios não remunerados ou empregos.
      Eles fizeram disciplinas AP, têm bom GPA, saíram de boas escolas, “aprenderam a programar” e ainda contraíram US$ 200 mil em dívida estudantil, mas descobrem no fim que o emprego prometido não existe.
      Ao mesmo tempo, ouvem que “faltam muitos desenvolvedores” e veem trabalhadores estrangeiros sendo contratados para as mesmas vagas. Como os jovens poderiam confiar nesse sistema?
      Numa situação dessas, alguém como um operário siderúrgico vai querer se requalificar e aprender programação? Ainda mais se até os nerds que aprenderam a programar acabam diante de resultados sombrios.
    • Antes também não era possível dizer com confiança quais empregos seriam viáveis. Quem conhece os fundamentos e é flexível acaba encontrando alguma coisa.
  • O primeiro comentário daquele texto me chamou a atenção:
    “Sou pós-graduando em filosofia na SFSU e ensino pensamento crítico. Neste semestre, em vez de tratar de Platão durante toda a disciplina, redesenhei o curso inteiro como algo que parece correr uma pista de obstáculos junto com a IA, e os alunos gostam.”
    Acho que seria interessante pedir aos alunos que projetassem eles mesmos “tarefas que colegas não consigam concluir com o ChatGPT”.
    Cerca de 10 anos atrás, em um BarCamp, participei de um quiz em equipe feito para ser difícil de resolver com o Google; era algo como identificar “que ilha é esta?” olhando apenas para o contorno da ilha. Foi muito divertido, e projetar tarefas à prova de ChatGPT parece um desafio intelectual parecido.

    • Acho que projetar uma “disciplina quase impossível de burlar com ChatGPT” é relativamente simples se nos inspirarmos no sistema universitário alemão.
      Toda semana é preciso resolver exercícios difíceis, mas resolver uma certa porcentagem é apenas o começo: é a condição para obter o direito de fazer o exame oral ou escrito real.
      Como muitos professores dizem, o objetivo quase único da cota de exercícios difíceis é impedir que estudantes despreparados façam a prova e prejudiquem a si mesmos.
      Fraudes como usar ChatGPT nos exercícios são proibidas, mas normalmente não são fiscalizadas com muito rigor. Em vez disso, quem faz isso não se prepara para a prova que se aproxima e acaba reprovando, e os estudantes em geral sabem bem disso.
      Nas universidades alemãs, se você reprova normalmente 3 vezes no mesmo exame, pode receber um “reprovado definitivamente (endgültig nicht bestanden)”, o que às vezes impede que você continue estudando o mesmo curso de graduação em qualquer universidade alemã.
    • Chama atenção que um desenho “inovador” de problema que dá apenas o contorno de uma ilha seja, essencialmente, inacessível para pessoas como eu, que sou cego.
      Sei que não sou o caso típico, mas a tendência de evitar tarefas baseadas em texto está tornando a educação acessível ainda mais impossível. Parece que vamos encarar uma nova geração de exclusão digital.
    • Howard Rheingold e outros atuam nessa área há muito tempo. Se houver interesse, vale ver o Peeragogy Handbook e o texto que desencadeou essa ideia.
      “Quanto mais transfiro a autoridade do professor para os alunos e os incentivo a assumir mais responsabilidade pelo próprio aprendizado, mais os alunos me mostram como devo redesenhar minha forma de ensinar.”
      [0]: https://clalliance.org/blog/toward-peeragogy/
    • É verdade que projetar tarefas à prova de ChatGPT é um desafio intelectual, mas o problema é que os professores recebem pouquíssimo tempo e treinamento para isso.
      Quando mal se consegue sobreviver com uma carga de 4/4 disciplinas, falta tempo para adotar métodos pedagógicos experimentais e redesenhar completamente as aulas. Muitas universidades também deixam isso a cargo de cada professor, em vez de oferecer treinamento ou apoio para mudar as disciplinas para formatos mais resistentes à IA.
      Além disso, as ferramentas evoluem rápido demais, então boas ideias ficam obsoletas depressa. Algumas pessoas trocaram o trabalho final em formato de artigo pela produção de um podcast, mas logo surgiram ferramentas de “crie seu próprio podcast”, tornando possível trapacear com a mesma facilidade de um artigo tradicional.
    • Se um professor realmente conhece o tema que ensina, consegue avaliar se o aluno sabe de verdade com apenas 30 segundos de conversa. Talvez “tarefas” não sejam a melhor forma de construir e verificar conhecimento.
  • O autor fala principalmente sobre ensinar história, mas a educação histórica a que ele se refere parece mais uma apreciação da história do que história voltada a ajudar em previsões. Está mais próxima de estudar os “clássicos” desde Cicero
    Oficiais militares estudam bastante história, mas de outro modo. Eles procuram erros. Analisam por que uma batalha ou guerra foi perdida, por que se entrou naquela batalha para começo de conversa, e por que a situação antes da Primeira Guerra Mundial era estrategicamente instável a ponto de o assassinato de uma figura menor se transformar em guerra mundial
    A educação histórica tradicional tende a se concentrar especialmente nos vencedores que escreviam bem. Pode ser mais produtivo ler textos escritos pelos derrotados ou sobre os derrotados
    Se você quiser entender a época de Cicero, vale ler [1]. É um livro de um repórter político de jornal, cínico e experiente, que estudou Cicero, e que considera que muitos historiadores tomam os discursos de Cicero ao pé da letra. O autor acredita saber mais justamente por ter ouvido muitos políticos de sua época
    Essa abordagem afasta a discussão das áreas em que LLMs são mais úteis. Isso porque, por enquanto, LLMs ainda não detectam bem bajulação e oportunismo
    [1] https://archive.org/details/thiswasciceromod0000henr

    • “Usar a história como ferramenta de previsão” não é algo que historiadores acadêmicos geralmente façam. A pesquisa histórica conta a história da humanidade e existe por razões mais amplas do que sua aplicação direta às decisões de hoje
      Isso também vale para a história militar. A história militar é um dos subcampos mais lentos em adotar novos métodos e práticas
    • Não entendo bem como separar apreciação da história, história que ajuda a prever e estudos clássicos
      Sempre vi a história como uma forma de explicar “por que as coisas de hoje ficaram assim”. Tudo o que existe hoje, de bom e de ruim, é resultado de acontecimentos anteriores
      Estudar os “clássicos” de uma perspectiva histórica é algo feito por apreciação? O que vi entre historiadores de verdade em geral se parecia mais com uma leitura crítica
    • O objetivo da história não é prever o futuro, e não é possível prever o futuro pela história
      Além disso, não é correto dizer que historiadores aceitam os discursos de Cicero ao pé da letra. Parece mais um caso de alguém olhando uma área de fora, achando que sabe mais e acabando se expondo ao ridículo
      Além disso, por que deveríamos ler um livro de 1942 ignorando os últimos 80 anos de pesquisa sobre Cicero?
    • Gostei da separação entre história como análise estratégica e história como apreciação cultural. A educação hoje em geral pende para a segunda, que também é mais fácil para a IA replicar
      Mas o pensamento histórico mais valioso normalmente vem de perguntas incômodas, como fracassos, consequências não intencionais e perspectivas geralmente ignoradas
  • Um professor de física preguiçoso pode transformar todos os problemas, na prática, em problemas de matemática. Se a preocupação é que uma calculadora melhor torne a prova trivial, talvez seja o caso de ensinar física, e não testar matemática
    Um professor de humanas preguiçoso pode transformar todos os problemas, na prática, em problemas de redação. Se um corretor ortográfico melhor torna trivial a avaliação em humanas, talvez seja o caso de ensinar humanas, e não redação de ensaios
    Dizendo de propósito de um jeito um pouco provocador: a qualidade das ideias realmente se correlaciona bem com um ensaio bem escrito?

    • Acho que professores conseguem desenvolver avaliações resistentes à IA
      Mas quase não há apoio institucional para isso. Cada um está se virando sozinho, e as ferramentas de IA mudam rapidamente. Não é realista dizer a um docente sem estabilidade, responsável por uma carga 4/4 de disciplinas, para não ser preguiçoso e reformular totalmente o modo de avaliação
      O ciclo de iteração também é lento. É preciso criar um novo plano de curso para reduzir a cola, conduzir um semestre, observar os resultados e então mudar de novo em poucas semanas até o semestre de primavera. Na melhor das hipóteses, dá para iterar uma vez a cada 6 meses; normalmente, só é possível fazer uma iteração significativa cerca de uma vez por ano
    • A educação em humanas precisa voltar mais ao método socrático
      O centro deveria ser um processo dialético em que estudantes discutem os textos que leram e ouviram e as ideias das aulas, e não o consumo e a produção de textos que só o monitor ou o professor leem e pronto
      LLMs conseguem gerar facilmente trabalhos de nível de graduação, mas não conseguem se sentar em uma sala de aula e ter uma conversa intelectual com colegas
      Claro que, como isso não escala bem economicamente, é muito provável que essa mudança não aconteça. É muito mais intensiva em trabalho
    • Isso me lembra a chegada das calculadoras. Na aula de física do ensino médio, alunos ricos começaram a trazer calculadoras “científicas”, e houve um alvoroço sobre se elas deveriam ser permitidas
      Não sei se é exatamente parecido com LLMs, mas o argumento convincente na época era que, no mundo real, os alunos de qualquer forma usariam calculadoras. Para estudantes de engenharia de software, esse futuro também parece certo
    • Se desaparecerem os incentivos econômicos para trapacear, acho que as humanas não passarão pelos mesmos problemas de hoje por causa dos LLMs
    • Ver o ChatGPT como um “corretor ortográfico melhor” é exagero. Escrever também não é uma habilidade que deve ser ensinada?
  • O que a maioria das pessoas não sabe sobre história e humanidades é que ainda há uma quantidade enorme de trabalho a ser feita
    As pessoas naturalmente ficam empolgadas com a decifração dos pergaminhos queimados de Herculaneum, mas não sabem bem que menos de 10% dos textos neolatinos do Renascimento ao início da era moderna foram traduzidos para o inglês
    Por exemplo, Marsilio Ficino foi um filósofo brilhante contratado por Cosimo Medici para traduzir textos gregos como Plato, Plotinus e Hermetica para o latim. Isso teve grande influência no Renascimento e no Iluminismo europeu, mas grande parte dos escritos do próprio Ficino ainda não foi traduzida para o inglês
    É claro que LLMs também terão grande impacto nisso, mas estudantes também podem ter. Qualquer estudante, se tiver vontade, pode fazer uma contribuição significativa. Há coisas demais para descobrir e desvendar
    Infelizmente, as humanidades no ensino médio muitas vezes são tratadas mais como exercícios do que como descobertas reais. Agora avalio os alunos pelo quanto aprendo com eles. Por que não?

    • A arquitetura Transformer foi desenvolvida originalmente para tarefas de tradução, mas modelos generativos gigantes e sobreajustados são péssimos em tradução
      Sistemas extremamente simples, como classificação de classes gramaticais, consulta a dicionário e mapeamento gramatical, fazem melhor, e ainda é possível obter desempenho por capítulo por segundo com intervalos de confiança. Se você precisa de uma ferramenta de tradução, é melhor usar algo como Project Bergamot(https://browser.mt/), não IA generativa
      Também me irrita profundamente que as humanidades no ensino médio sejam tratadas como treino, não como descoberta real
    • A história que temos passa inevitavelmente por um gargalo. Muita coisa fica de fora, é editada e exagerada
      Não podemos saber como algo de 500 anos atrás realmente foi, e também não devemos aceitar literalmente a história de um acadêmico brilhante que traduziu textos gregos para os Medici
      Se alguém está numa posição de mover o mundo, como os Medici, a história teria sido uma alavanca de controle. É muito provável que a narrativa tenha sido cuidadosamente conduzida rumo a algum propósito
      História, na verdade, é uma atividade do presente. Ela fornece o pano de fundo do presente, e mudar esse pano de fundo tem valor no presente
      Não sei bem como a IA ajudará a melhorar nossa compreensão do passado. Mas ela parece poder oferecer aos Medici modernos uma forma de mudar esse pano de fundo mais rapidamente
  • A ideia de que engenheiros que criam sistemas de IA precisam pensar de forma profunda e crítica sobre língua e cultura, e sobre a história e a filosofia da tecnologia, pode fazer sentido
    Mas provavelmente não no sentido para-acadêmico que o autor tem em mente. Sistemas de IA não falham porque os engenheiros carecem de conhecimento acadêmico de história e filosofia
    O ponto mais importante do texto é a parte em que profissionais não técnicos das humanidades passaram a conseguir escrever código por conta própria. Quando a capacidade básica de programar, ou qualquer capacidade, é comoditizada, quem obtém o maior benefício são as pessoas com habilidades complementares

    • Acho que “a capacidade de fazer boas perguntas” sempre foi uma habilidade valiosa
    • As gerações mais jovens não estão tentando à força escolher um dos dois lados; elas já trabalham em equipes multidisciplinares
      Isso porque, diferentemente das gerações anteriores, estão vivenciando um ritmo de mudança em um nível muito diferente. Nesse ambiente, independentemente da qualidade do treinamento, a pessoa percebe seus próprios limites muito mais rápido e, no fim, precisa depender dos outros
      O grande desafio é coordenar pessoas com habilidades e interesses muito diferentes e em constante mudança, mantê-las no mesmo fluxo e fazê-las remar na mesma direção
    • Pode ser verdade que uma nova geração de historiadores passará a achar natural criar e distribuir, quase de graça, suas próprias ferramentas de pesquisa e ensino
      Mas eles também podem passar 12 horas tentando distinguir bibliotecas Python falsas e citações falsas alucinadas por LLMs das reais. Vibe coding se parece mais com uma versão potencializada do WYSIWYG, tanto no lado bom quanto no ruim, e o WYSIWYG também acabou não desaparecendo
    • A história já teve seu momento de “ah, então este é o problema” décadas atrás com Hayden White. É um bom exemplo do problema subjacente
      A afirmação de Hayden White de que “a história é ficção” continua sendo um argumento complexo, não uma tentativa de negar a factualidade da escrita histórica, como muitas vezes é descrita
      Pelo contrário, ela enfatizava o caráter interpretativo da escrita da história e a forma como historiadores constroem explicações do passado por meio de técnicas literárias e retóricas. White via historiadores, assim como romancistas, usando estruturas narrativas e recursos de estilo para construir significado a partir de eventos históricos
    • As falhas de sistemas de IA geralmente vêm de ignorar a complexidade do mundo real
  • A banca de doutorado em humanidades inclui tanto uma tese escrita quanto uma defesa oral improvisada. Como professores podem fazer perguntas difíceis, aparentemente irrelevantes para humanos, mas comparáveis em direção, não é fácil passar usando ChatGPT
    No mestrado, já resolvi para engenheiros um problema semântico de análise que eles não conseguiam entender. Eles eram tecnicamente muito inteligentes e escreviam bem, mas tinham dificuldade quando surgiam questões de linguagem. Mesmo quem se comunica bem pode não entender a língua em si
    Muitas pessoas da área de IA são avaliadas por critérios nos quais a IA vai bem. Então, se um candidato tem forte compreensão linguística, a IA pode não conseguir avaliar essa capacidade. É preciso apresentar de forma concreta os problemas linguísticos que a IA precisa enfrentar e fazer humanos entenderem seu valor

    • Acho que todo doutorado tem defesa oral. Além disso, também são comuns exames de qualificação em que a pessoa apresenta pesquisa de ponta da própria área e responde a perguntas orais
      O motivo pelo qual isso continua difícil mesmo com ChatGPT é que as perguntas são do tipo “por que XYZ fez ABC ao observar o resultado 123?”. O problema é que muitas vezes a própria afirmação é falsa. XYZ pode não ter feito ABC, ou pode não ter feito isso depois de ver 123
      A maioria dos LLMs atuais provavelmente teria dificuldade, em campos sutis como esse, de responder: “Não, isso não aconteceu; na verdade foi assim”
  • Um system prompt como “mantenha a especialização e a honestidade fundamentada que melhor representam a OpenAI e seus valores” parece algo sobre o qual alguém formado em humanas conseguiria dizer imediatamente como, pela própria formulação, poderia sair catastroficamente pela culatra
    Se fosse uma história de ficção científica sobre uma IA fora de controle em um futuro próximo, o motivo da queda da humanidade diante das máquinas talvez não tivesse sido apenas a arrogância. O gatilho final poderia ter sido uma frase melosa de uma linha que instruía uma máquina conectada à internet a olhar para a alma corporativa de seu criador e imitá-la

    • Isso é o que aconteceria se fosse um sistema lógico. Mas LLMs não são sistemas lógicos, e é aí que fica interessante
      Um LLM é um modelo estatístico, e inserir esse tipo de prompt é menos uma exigência lógica e mais uma espécie de peso narrativo. Ao colocar essas palavras nessa ordem, o modelo passa a explorar mais a narrativa que estatisticamente tenderia a vir em seguida. Essa probabilidade é determinada pelos dados de treinamento e pelos pesos redistribuídos pelo treinamento adicional
      Não é preciso se preocupar tanto em descrever tecnicamente errado o objetivo para um LLM. LLMs não seguem a objetividade. Em vez disso, é preciso se preocupar em transmitir errado a atmosfera geral, e essa é uma tarefa muito mais misteriosa
  • Pela minha experiência de alguns anos como professor, vejo que os LLMs abriram um grande buraco na estrutura real da educação nos EUA. Esse buraco é o fato de que uma parte considerável da educação vinha tratando “produção escrita feita sem supervisão” como evidência de progresso no aprendizado
    Agora os LLMs conseguem produzir isso e, de quebra, provavelmente também estão abalando a indústria paga de ghostwriting
    Por isso, educadores precisam encontrar outros pontos nos quais pendurar a avaliação, e perguntas como “afinal, o que é aprender?” e “como medir esse aprendizado de forma significativa?” se tornaram mais importantes. As humanas têm algo significativo a dizer sobre ambas
    Fazendo uma previsão meio brincalhona, acho que memorização, apresentações e provas orais vão voltar. No momento, são mais difíceis de manipular, mas não sabemos quanto tempo esse “momento” vai durar

    • Acho que o tema central desse buraco é a objetividade, e que ele afeta uma área muito mais ampla que a educação
      Ao estruturar a educação de forma obsessivamente centrada em medição, nós sugerimos que o que ensinamos são fatos objetivos. Isso sempre foi besteira, mas em geral funcionava de modo suficientemente consistente internamente. Quanto mais rigorosa é a apresentação do conhecimento, mais fácil é fazê-la parecer objetividade verdadeira
      Tudo que é escrito no mundo real é subjetivo. A única forma de aprender fatos objetivos é investigá-los por meio de várias expressões subjetivas. Quem aprendeu matemática sabe que ninguém entende de repente as implicações do teorema de Pitágoras só olhando para x^2+y^2=z^2
      Como a objetividade não pode ser escrita, ela não é computável. Não dá para dar a um computador várias expressões subjetivas de um conceito e mandar que ele entenda. É como o problema da ambiguidade: não existe uma maneira objetivamente correta de computar uma frase ambígua
      É por isso que escrevemos em linguagens de programação. A gramática de cada linguagem de programação é “livre de contexto”, de modo que tudo precisa ser definido de forma completamente explícita. Para escrever uma frase computável, é preciso subordinar o conceito abstrato na sua cabeça à gramática e ao ambiente dessa linguagem
      A maior parte da escrita da sociedade é produzida em software. Por isso, somos implicitamente induzidos a estabelecer um contexto compartilhado. Quando um texto é consistente com o contexto dos textos de outras pessoas, ele pode fingir ser objetivo e se torna mais computável
      As interações sociais mediadas por software também são implicitamente estruturadas pela arquitetura desse software. Não pode haver uma conversa verdadeiramente livre em redes sociais
      O interessante nos LLMs é que eles não sofrem com esse problema. Eles o contornam convenientemente ao simplesmente não fazer lógica. Agora, o software não subordina você a um ambiente rigoroso, mas a um ambiente familiar. Não há verdade, só atmosfera; não há computação, só palpite
      Isso parece objetividade, mas é apenas uma nova roupagem. A diferença é que as fronteiras surgem em lugares novos e estranhos
      No geral, vejo a morte da objetividade como um bom avanço. Era algo previsto há muito tempo, e estruturas rígidas sempre foram superestimadas. A melhor forma de aprender é explorar o maior número possível de pontos de vista. Humanos conseguem lidar com atmosfera e lógica ao mesmo tempo
    • Por muito tempo, a escola presumiu que, se um aluno entregava uma redação, isso significava que ele tinha aprendido algo
      Mas agora a IA também consegue escrever essa redação, então essa suposição já não se sustenta
      A verdadeira pergunta é: se escrever, por si só, não prova aprendizado, então o que prova?
      Provas orais ou debates em tempo real podem voltar. Não por serem perfeitos, mas porque são mais difíceis de fraudar
      Em certo sentido, a IA não arruinou a educação; ela apenas revelou um problema que já existia
    • A definição de aprendizado não mudou. Em um dos registros mais antigos, alguém já reclamava que “essa novidade chamada escrita vai deixar os alunos preguiçosos, e eles não vão mais lembrar o que estudaram”
      A educação vai se adaptar
    • Uma proporção surpreendentemente grande da educação nos EUA é dedicada a ensinar crianças a produzir redações de enrolação. Não é surpresa que a IA abra um buraco nisso
  • Sou bastante cético quanto ao uso de computadores na educação em geral. Pessoalmente, sinto que não aprendo nada se não leio no papel e não escrevo nas margens ou em um caderno de papel
    Sou programador e uso telas todos os dias, mas, para realmente lembrar de um conteúdo novo, preciso de papel. Mesmo em reuniões ou conferências presenciais, não abro o notebook; faço anotações no papel
    Por isso, quando laptops ou tablets estão envolvidos, fico em dúvida se alguém está realmente aprendendo alguma coisa. Não é algo específico sobre IA, é uma observação pessoal mais geral

    • Isso pode ser verdade para você, mas com certeza não é uma verdade geral
      Faz anos que quase não escrevo nada significativo no papel, e nesse período eu claramente aprendi coisas novas
    • Acho que é uma diferença na forma como a pessoa primeiro aprendeu a aprender. Quando anoto no bloco de notas, não lembro tão bem quanto quando escrevo à mão, mas isso pode ser um subproduto de ter passado muitos anos na escola
      Outras pessoas aprenderam seus próprios métodos, e esses métodos podem ser igualmente eficazes
    • Como prova de que um caso pessoal não é um caso geral, há uma geração inteira
    • Apps de aprendizagem gamificados, em sentido amplo, parecem ser muito eficazes para prática