2 pontos por GN⁺ 2023-09-01 | 1 comentários | Compartilhar no WhatsApp
  • A OpenAI publicou materiais de orientação para professores que querem usar o ChatGPT em sala de aula, abordando exemplos de prompts, como ele funciona e suas limitações, a utilidade de detectores de IA e vieses
  • Os casos reais de uso se concentram em ampliar a interação entre professores e alunos, como parceiro de debate, entrevistador de recrutamento, chefe que dá feedback, assistente de planejamento de aulas e ferramenta de aprendizagem de idiomas
  • Os prompts para professores são projetados para verificar passo a passo o tema, a série/ano, o conhecimento prévio e os objetivos de aprendizagem, e então gerar planos de aula personalizados, explicações, exemplos e analogias
  • O uso por estudantes induz o raciocínio com perguntas e dicas, em vez de dar a resposta diretamente; como as respostas do ChatGPT nem sempre são corretas ou confiáveis, é necessário verificar fontes primárias
  • Os prompts são apenas um ponto de partida para a preparação das aulas, e o professor deve manter seu papel de especialista, revisando o resultado e adaptando-o ao contexto

Como usar o ChatGPT em sala de aula

  • A OpenAI fornece materiais de orientação para que professores possam usar o ChatGPT nas aulas
    • Incluem prompts recomendados, como o ChatGPT funciona e suas limitações, a utilidade de detectores de IA e vieses
    • O FAQ para educadores também reúne recursos de grandes instituições de ensino, exemplos de ferramentas educacionais baseadas em IA e perguntas frequentes de professores

Casos de uso por educadores

  • A Dra. Helen Crompton, da Old Dominion University, incentiva alunos de pós-graduação em educação a usar o ChatGPT como uma persona específica
    • Exemplos incluem um parceiro de debate que aponta fragilidades em um argumento, um entrevistador de emprego e um novo chefe que dá feedback de uma determinada forma
    • Ela considera que explorar informações em um ambiente conversacional ajuda os estudantes a compreender o material com mais nuance e por novas perspectivas
  • Fran Bellas, da Universidade da Coruña, recomenda que professores usem o ChatGPT como ferramenta auxiliar para criar questionários, provas e planos de aula
    • Primeiro, compartilha-se o currículo com o ChatGPT e, depois, pede-se ideias de questionários e planos de aula usando exemplos modernos ou culturalmente relevantes
    • Também é possível verificar se perguntas criadas pelo próprio professor são adequadas ao nível de aprendizagem dos alunos, inclusivas e acessíveis
    • Ele considera que, ao pedir uma prova de 5 questões sobre circuitos elétricos, é possível obter resultados novos e então adaptar essas ideias ao estilo do professor
  • O Dr. Anthony Kaziboni, da University of Johannesburg, ensina estudantes que não usam principalmente o inglês fora da sala de aula
    • Ele considera que a proficiência em inglês é uma grande vantagem no meio acadêmico, e que até pequenos mal-entendidos de gramática inglesa podem limitar o reconhecimento e as oportunidades dos alunos
    • Ele incentiva os estudantes a usar o ChatGPT como auxiliar de tradução, para melhorar a escrita em inglês e para praticar conversação
  • Geetha Venugopal, que ensina ciência da computação na American International School em Chennai, compara o ensino sobre ferramentas de IA a ensinar como usar a internet de forma responsável
    • Ela faz os alunos lembrarem que as respostas do ChatGPT nem sempre podem ser confiáveis ou corretas
    • Em vez de acreditar nas respostas ao pé da letra, orienta-os a pensar criticamente e a verificar as informações em outras fontes primárias
    • O objetivo é que os estudantes entendam a importância de continuar desenvolvendo pensamento crítico original, resolução de problemas e criatividade

Princípios básicos dos prompts para professores

  • Ethan Mollick e Lilach Mollick desenvolveram prompts que podem ser usados com o GPT-4
  • As premissas ao usar os prompts são claras
    • O modelo pode nem sempre gerar informações corretas
    • O resultado do prompt é apenas um ponto de partida
    • O professor é o especialista no material e deve revisar o resultado do modelo antes de decidir como adaptá-lo à aula
    • Os prompts apresentados são sugestões e podem ser alterados conforme o resultado desejado

Prompt para ajudar no planejamento de aulas

  • O primeiro prompt configura o ChatGPT como um coach de aula gentil e prestativo
  • O fluxo faz perguntas ao professor uma etapa por vez e espera a resposta
    • Primeiro confirma o tema a ser ensinado e a série/ano dos alunos
    • Verifica se os alunos já têm conhecimento prévio sobre o tema
    • Pergunta quais objetivos de aprendizagem os alunos devem compreender ou conseguir realizar após a aula
  • Em seguida, gera um plano de aula personalizado
    • Ensino direto
    • Verificação de compreensão
    • Coleta de evidências de compreensão de vários alunos
    • Discussão
    • Atividades interessantes em sala
    • Tarefas
  • Pergunta o que o professor gostaria de alterar ou se ele conhece equívocos que os alunos podem ter, e modifica a aula se necessário
  • Se o professor quiser conselhos sobre como confirmar o cumprimento dos objetivos de aprendizagem, oferece apoio adicional

Prompt para criar explicações, analogias e exemplos

  • O segundo prompt configura o ChatGPT como um designer de aulas para criar explicações, analogias e exemplos de forma simples e correta
  • Faz uma pergunta por vez ao professor
    • O nível de aprendizagem dos alunos
    • O tema ou conceito que será explicado
    • O lugar desse conceito no currículo e o conhecimento prévio dos alunos
    • Informações sobre os alunos necessárias para personalizar a explicação, como discussões ou aulas anteriores
  • Com base nessas informações, fornece o seguinte
    • Uma explicação em 2 parágrafos clara e simples sobre o tema
    • 2 exemplos
    • 1 analogia
  • É configurado para não presumir conhecimento prévio dos alunos sobre conceitos relacionados, conhecimento de domínio ou terminologia técnica
  • Depois da explicação, pergunta se o professor gostaria de alterar ou acrescentar algo, e pode revisar a explicação refletindo equívocos comuns

Prompt em papel de aluno para ajudar na avaliação do professor

  • O terceiro prompt configura o ChatGPT no papel de um aluno que estudou determinado tema
  • O objetivo é que o professor avalie a explicação e os exemplos de aplicação da IA
    • A IA pergunta ao professor qual tema deve explicar e como deve aplicá-lo
    • Exemplos incluem aplicar o conceito a uma cena específica de série de TV, a um poema ou a uma história curta
  • A IA cria uma explicação de 1 parágrafo sobre o tema e 2 exemplos de aplicação, depois pergunta ao professor o que está certo ou errado e como pode melhorar na próxima vez
  • Se tudo estiver correto, é estruturado para pedir feedback dizendo que a aplicação do conceito foi correta

Prompt de tutor de IA para estudantes

  • O quarto prompt configura o ChatGPT como um tutor de IA encorajador
  • Faz uma pergunta por vez ao estudante
    • O que ele quer aprender
    • Se seu nível é de estudante do ensino médio, universitário ou profissional
    • O que ele já sabe sobre o tema escolhido
  • Fornece explicações, exemplos e analogias de acordo com o nível e o conhecimento prévio do estudante
  • Em vez de oferecer imediatamente respostas ou soluções, usa perguntas orientadoras para ajudar o estudante a construir a própria resposta
  • Se o estudante tiver dificuldade ou errar, pede que tente apenas parte da tarefa, lembra o objetivo e dá uma dica
  • Quando o estudante melhora, elogia e tenta encerrar a resposta com uma pergunta para que ele continue desenvolvendo ideias
  • Quando o estudante demonstra um nível adequado de compreensão, pede que explique o conceito com suas próprias palavras ou dê um exemplo, e depois encerra a conversa

Materiais relacionados

1 comentários

 
GN⁺ 2023-09-01
Opiniões no Hacker News
  • Falta o problema central: os alunos precisam de notas para passar nas matérias e receber um diploma do ensino médio
    Para muitos alunos, LLMs são tentadores como um atalho mágico para obter notas por motivos banais como falta de tempo, preguiça, cansaço, falta de compreensão, ansiedade, pressão dos pais e status
    Quem já usou um pouco o ChatGPT sabe que o argumento de “mostre o processo” também é sem sentido. Isso porque coisas como plano, esboço e rascunho também podem ser produzidas pela IA depois de forma plausível

    • Fazendo o papel de advogado do diabo, não vejo qual é o problema se a combinação aluno-ferramenta com LLM entrega um desempenho no nível exigido. As provas deveriam avaliar quão bem se usa um LLM, e a ferramenta deveria ser incorporada
      Hoje, notas já são um indicador indireto de capacidade, mas aulas particulares individuais podem elevar um aluno médio ao nível dos 2% melhores naquela etapa (o problema dos 2 sigmas de Bloom). Isso não significa que a inteligência geral aumente na etapa seguinte
      No fim, talvez o que seja realmente avaliado seja a capacidade de obter boas notas, seja por riqueza ou por esforço. Com LLMs é a mesma coisa: se a capacidade de usá-los é importante, então é isso que deve ser testado. É um futuro parecido com calculadoras ou provas com consulta
    • O motivo de isso não ser muito discutido provavelmente é que, para começo de conversa, é um dos problemas fundamentais da escola
      Para muita gente, avaliação e notas são o objetivo final, e o aprendizado é algo que acontece mais como efeito colateral
    • Talvez bastasse fazer uma prova sem computador em sala toda sexta-feira. É só fazer isso valer 50% da nota
    • Acho que provas orais vão voltar. Uma geração inteira vai acabar ficando boa, desde o primeiro dia, em redações manuscritas, matemática no quadro branco e programação no quadro branco
    • Parece parecido com as discussões em torno das calculadoras e, depois, da internet. O ChatGPT também é apenas mais uma ferramenta
      Algumas pessoas vão usá-lo de forma preguiçosa e não aprender nada, mas para muitas outras ele certamente será um grande impulso. No fim, haverá adaptação
  • Tenho sentimentos ambivalentes sobre LLMs, mas encontrei um uso realmente bom: auxílio ao aprendizado de idiomas
    Quando meu segundo idioma chegou ao nível C1, ficou difícil encontrar materiais ou tutores que ajudassem a refiná-lo ainda mais
    Então converso com o Claude e peço que corrija os erros que cometi, ou que me dê exercícios sobre pontos em que devo me concentrar. Por exemplo, peço: “me dê exercícios para praticar o uso do passado e escolher a forma correta”
    Parece uma esteira pessoal para aprendizado de idiomas

    • É surpreendente que idiomas não estejam mais no centro da febre dos LLMs. É como se os anúncios da Rosetta Stone tivessem virado realidade
      Eles não apenas traduzem em nível de ponta, como também conseguem trocar contexto e foram treinados com materiais e cultura de falantes nativos. Nunca houve um salto tão grande e rápido em tradução automática
    • É preciso lembrar que não há garantia de que estejam sempre certos
      É bom combinar materiais externos para fazer validação cruzada e, se você pretende interagir com pessoas reais, produção oral também é muito importante
      Combinado com conversas reais, certamente ajuda. Como ferramenta adicional para experimentar, pode ser excelente
    • Este Show HN foi convincente: https://news.ycombinator.com/item?id=36973400
      Infelizmente, agora não dá mais para testar de graça, mas funcionava bem
    • Idiomas de poucos recursos também têm poucos dados de treinamento para LLMs
      Por isso, em idiomas menores, há muito mais problemas de resultados completamente estranhos e incorretos não só em fatos, mas também em termos de linguagem, escolha de palavras e gramática
    • Tentei pedir ao ChatGPT que me corrigisse sempre que eu cometesse pequenos erros em francês, mas não funcionou bem
      Fico curioso se o Claude é melhor nesse aspecto. Idealmente, eu gostaria que um LLM corrigisse cada erro, um por um, e ainda explicasse
  • Quero desabafar sobre minha frustração com este tema. O discurso e o marketing desses lugares são todos na linha de melhorar a humanidade e beneficiar todos com IA, mas a realidade é bem diferente
    Quem está se beneficiando e ganhando dinheiro agora é um pequeno grupo, e a OpenAI virou uma closed AI

    • A OpenAI nunca foi realmente open
      Lembro que, antes mesmo do GPT-3, eles já falavam algo como “é perigoso demais para divulgar”
      https://techcrunch.com/2019/02/17/openai-text-generator-dang...
      “OpenAI built a text generator so good, it’s considered too dangerous to release”
    • Não há problema em expressar frustração desse jeito, mas é preciso haver conteúdo substancial
      Do jeito que está, quase não há pontos substantivos sobre por que a OpenAI seria ruim
      É difícil negar que a OpenAI ajudou quase todas as pessoas que usaram o ChatGPT. O fato de fazer isso com lucro não muda muito essa realidade
      Como o GPT-4 também foi treinado com dados do mundo, seria bom se fosse lançado como open source, mas não dá para obrigar
  • É surpreendente que não haja menção ao Khanmigo aqui. Pelo que sei, eles vêm usando o GPT-4 em beta como tutor há bastante tempo
    Já se passou um bom tempo, então eu estava procurando dados de eficácia. A Khan Academy parece já ter dados agora, mas não vi nada publicado
    O famoso resultado de 2 sigmas em tutoria veio de apenas 6 semanas de estudo, e o Khanmigo provavelmente já tem dados de mais de 6 meses a esta altura
    [0]https://www.khanacademy.org/khan-labs

  • Ao explorar um assunto desconhecido, a IA foi pessoalmente de grande ajuda. Recentemente a usei também para me preparar para entrevistas, e minha parceira a usou para entender conceitos de STEM que não aprendeu na escola
    Também fico curioso para saber quanto ainda falta até um Young Lady's Illustrated Primer de verdade. Três anos atrás eu teria dito que levaria 50 anos, mas agora parece algo como 10 anos

    • Não sei bem. Em assuntos que não conheço, eu também acho as respostas excelentes, mas, em assuntos que conheço bem, vejo todo tipo de inconsistência e fatos errados
      Fico preocupado que existam as mesmas inconsistências nos assuntos que não conheço, mas que eu simplesmente não saiba o bastante para percebê-las
    • Eu também adoro para esse tipo de uso. Se jogo uma ideia, ela não se cansa de continuar respondendo às perguntas e dá respostas sólidas
      Também explica em detalhes por que estou errado. Para o meu jeito de aprender, isso é realmente útil. Gosto de desmontar as coisas e descobrir como elas se encaixam de novo
    • Aqueles agentes provavelmente teriam sido capazes de raciocinar de fato
      LLMs não raciocinam; apenas produzem texto plausivelmente razoável
    • Hoje pedi ao ChatGPT para implementar em bash um fluxo de tokens OAuth 2.0
      Depois de ajustar alguns parâmetros para que fossem lidos diretamente de um arquivo de configuração na pasta de execução, percebi que precisava de PowerShell, colei o script modificado e disse “escreva isso em PowerShell”, e simplesmente funcionou
      O workflow de OAuth 2.0 em si é bem documentado e já está implementado em umas 50 partes do nosso código, então isso não me interessava; eu só precisava de um script para integrar aos testes automatizados
      Ele me poupou algo como uma hora que eu gastaria errando sintaxe de bash e procurando a sintaxe equivalente em PowerShell, e meus colegas ficaram muito satisfeitos com a velocidade da entrega. Eu também gostei de não ter de fazer trabalho entediante, então considero uma vitória completa
  • Há cerca de 2,5 semanas criei e publiquei um plugin do Chrome chamado Revision History, e desde então tenho conversado com vários educadores
    A maioria dos professores tem medo da IA. Porque isso significa que precisam mudar todo o seu modo de dar aula em questão de meses. Não é fácil alterar planos de aula ou a estrutura das tarefas tão rápido, e vai levar tempo para ver para onde tudo converge
    Alguns professores estão procurando maneiras de não se adaptar, por isso há tanto interesse em detecção de IA, mas detecção de IA não funciona bem. Os educadores mais perspicazes que conheci sabem que não há volta
    Por isso, tentam inserir IA no currículo e tornar as tarefas mais “à prova de IA”. Ou seja, haverá mais trabalho em sala, como em flipped learning. Outros professores buscam formas de permitir que os alunos usem IA nas tarefas, mas exigindo que editem e anotem o que a IA produziu. É nesse ponto que faço o marketing do meu plugin
    Os próximos anos serão muito turbulentos, enquanto educadores tentam se ajustar a uma mudança enorme que chegou praticamente da noite para o dia
    [1] https://www.revisionhistory.com. Ao contrário de outros plugins que tentam ser “detectores de IA”, este plugin ajuda o professor a ver o processo de escrita do aluno
    [2] https://bokcenter.harvard.edu/flipped-classrooms#:~:text=A%2...

    • Parece que, na discussão sobre IA e educação, estão olhando para as árvores e não para a floresta
      Não é surpreendente, considerando que a maioria nunca fez a conexão de que o principal objetivo da educação é formar contribuidores econômicos eficazes para a sociedade
      Vamos usar IA poderosa para ensinar às crianças coisas que, em 10 a 20 anos, a IA quase certamente fará melhor?
      Entendo o pensamento de “então o que devemos fazer?”, mas simplesmente seguir adiante parece ridículo e inútil demais. “Vamos ensinar programação às crianças com IA”; o desfecho já está evidente
    • O diretório .git está exposto no site: https://www.revisionhistory.com/.git/config
      Seria bom configurar regras de filtro
    • O simples fato de dever de casa ter se tornado comum a ponto de levar mais de uma hora por dia já é um crime contra a infância
      Como isso vem somado a aulas que já equivalem a um emprego em tempo integral, pode desaparecer sem problema
    • Se você não usa as ferramentas mais recentes e melhores para ensinar os alunos, e também não ensina sobre essas ferramentas, você é um mau professor
      Modelos de linguagem agora fazem parte da sociedade e vieram para ficar, então precisam ser levados para a sala de aula. As crianças devem aprender como modelos de linguagem funcionam, de onde vieram e como usá-los, assim como aprendem a digitar ou a enviar e-mails
      Lembro que, quando eu estava no ensino fundamental II em 2002, numa visita à biblioteca, a bibliotecária nos ensinou “como usar mecanismos de busca corretamente”. Na época, a preocupação social era que mecanismos de busca substituíssem bibliotecários, então foi marcante ver aquela bibliotecária ensinar humildemente como usar seu próprio “substituto”
      A mesma lógica se aplica a professores e ao ChatGPT. Um bom professor, em vez de se preocupar apenas com o impacto pessoal que o ChatGPT terá sobre ele, vai aproveitar a oportunidade para ensinar aos alunos os novos horizontes que essa tecnologia abre
      O engraçado é que, naquela aula da biblioteca, ela enfatizou que não deveríamos fazer perguntas em linguagem natural aos mecanismos de busca, mas criar consultas eficientes por palavras-chave. Vinte anos depois, voltamos ao ponto em que podemos simplesmente fazer perguntas a modelos de linguagem
    • Fico curioso para saber em que a extensão difere do Draftback: https://chrome.google.com/webstore/detail/draftback/nnajoiem...
  • Desenvolvi, junto com minha irmã mais nova, que é professora do ensino fundamental II, um programa de treinamento prático para professores, e este “guia” da OpenAI é bastante decepcionante
    Ele não aborda 90% dos problemas que os professores realmente enfrentam em relação à IA e, na maior parte, parece mais um folheto que apresenta maneiras de obter informações com o ChatGPT
    Se você é um professor com dificuldade de se adaptar neste ano letivo, ou conhece alguém assim, eu gostaria de conversar e ver se posso ajudar

    • Parece um comentário promocional tentando vender AI Training pago, e não trata do conteúdo do texto linkado
      [1] https://max.io/teacher-training.html
    • Isso é um problema global
      O trabalho que vocês dois fizeram parece excelente, e talvez fosse ainda mais eficaz transformá-lo em um pequeno texto ou vídeo
      Muita gente gostaria de se beneficiar desses insights. Também na Alemanha dá para ver professores tendo dificuldades, embora se mantenham abertos a adotar essa tecnologia
    • Acho que o guia da OpenAI oferece boas orientações
      Não é o workshop presencial de 4 horas que você propõe, mas já acrescenta um valor positivo. Provavelmente também cobre boa parte dos temas tratados nesse processo. Pode ser de nível introdutório, mas é um ponto de partida
      Sinceramente, não entendo bem por que isso soa negativo em relação à OpenAI. Até daria para elogiar a disposição da OpenAI de contribuir nessa área
    • Conheci o “CoderMindz Game for AI Learners! NBC Featured: First Ever Board Game for Boys and Girls Age 6+. Teaches Artificial Intelligence and Computer Programming Through Fun Robot and Neural Adventure!”
      https://www.codermindz.com/ https://www.amazon.com/gp/aw/d/B07FTG78C3/
      Codermindz AI Curriculum: https://www.codermindz.com/stem-school/
      https://K12CS.org K12 CS Curriculum, code.org e Khanmigo deveriam incluir um currículo de segurança e ética em IA
      AI SAFETY em primeiro lugar; um Jupyter-book de notebooks autocorrigíveis para ML, AutoML e AGI seria um bom recurso
      jupyter-edx-grader-xblock https://github.com/ibleducation/jupyter-edx-grader-xblock, Otter-Grader https://otter-grader.readthedocs.io/en/latest/; por causa dos Chromebooks, JupyterLite também é necessário
      Que outros materiais curriculares de K12 CS/AI e QIS existem?
    • Fico curioso para saber se você poderia compartilhar alguns dos problemas que o guia resolve, ou parte do seu panorama geral
  • Quem realmente quer entender como algo funciona não será abalado pela tentação da IA
    Há dois tipos de pessoas: as que querem saber e entender de verdade, e as que não querem
    Será que vale a pena forçar o interesse em alguém que, a partir de certo ponto, claramente não se interessa e está fazendo aquilo por obrigação? Acho que as pessoas deveriam dedicar mais tempo ao que realmente lhes importa
    Quando você se interessa por algo e obtém prazer e satisfação com isso, passa a querer entender os detalhes e a desejar conhecimento e insights reais. Quando não tem interesse, pega o caminho mais curto para abrir tempo para fazer coisas que realmente lhe dão satisfação. Eu também faço isso o tempo todo com coisas com as quais não me importo nem um pouco, então acho tudo bem
    Se alguém que quer se tornar engenheiro de software não consegue se esforçar para aprender e entender os fundamentos, engenharia de software não é a área certa para essa pessoa. Quanto mais você entende, maior fica a superfície de problemas que consegue explorar

  • ChatGPT e outros LLMs não se saem consistentemente bem em física, e é provável que continuem assim
    Acho que os departamentos de física não vão se preocupar muito com IA. O que ajuda os alunos de forma relativamente confiável são apenas alguns projetos de programação
    Em aulas de física computacional, trabalhar junto, pedir ajuda e fazer perguntas na internet já era incentivado, então tudo bem. O ponto central sempre foi como explicar e descrever o processo de raciocínio
    A IA, em sua forma atual, é muito fraca em termos de resolução de problemas e compreensão conceitual
    Por outro lado, como usuário de inglês não nativo, ela reduz muito o tempo necessário para transformar ideias e textos meio crus em algo formal. Também pode ser usada para orientar parte do trabalho de programação e apresentar APIs. Para um bom aluno ou pesquisador, é uma ferramenta que pode ser usada com inteligência para obter conhecimento e economizar tempo
    Ela não ajuda muito a resolver um carrinho sobre um plano inclinado com atrito e um pêndulo preso ao carrinho. Também não vai conseguir encontrar os modos normais
    É apenas minha experiência e opinião pessoal, e em outras áreas pode ser completamente diferente

    • É preciso ter cuidado ao dizer coisas como “a IA provavelmente não será boa em X”
      Muitos linguistas formais afirmaram com força que a IA não poderia aprender funções como implicaturas pragmáticas, mas agora está ficando claro que estavam errados
      Por exemplo, o trabalho de Miles Cranmer em regressão simbólica usando redes neurais em grafos é um ponto de partida para novas descobertas úteis em física. Um Transformer também não passa de uma rede neural em grafos com uma função específica de passagem de mensagens e embeddings posicionais
      Não é difícil ver que, com outras arquiteturas, reforços ou simplesmente uma expansão na mesma linha, a IA pode chegar a novas descobertas em física. O trabalho de regressão simbólica baseado em redes neurais em grafos já é uma evidência de que isso aconteceu
      Mesmo olhando apenas para o problema de fundamentar conhecimento nos LLMs neste exato momento, há muito interesse e pesquisa, e espero que ele seja resolvido de várias formas. A capacidade de conhecimento físico fundamentado não é perfeita, mas, em comparação com o conhecimento de uma pessoa comum na rua, é muito boa. Só de conectar materiais externos ela já melhora bastante, e mesmo isso é uma análise muito míope, olhando apenas para o estado atual de hoje
    • O ChatGPT é mais competente em problemas de programação porque há muito mais dados de treinamento
      Não há nada fundamentalmente diferente entre resolver problemas de programação e resolver problemas de física. Como muitas afirmações categóricas anteriores, acho que este comentário também não vai envelhecer bem
    • Pode ser que LLMs sejam um pouco mais fracos em física do que em outras áreas, mas fico me perguntando se isso é mesmo verdade
      Se alguém fizer um LLM usar a API do Mathematica e treiná-lo mais, acho que pode haver progresso rápido
  • O problema inevitável aqui é que LLMs ainda têm alucinações
    Seja 1% ou 0,1%, isso é um grande problema na educação. Alguém pode passar a vida acreditando em algo completamente errado que a IA ensinou com confiança
    Professores devem ter muito cuidado ao usar LLMs puros na educação sem salvaguardas ou verificação adicionais

    • O mesmo problema existe quando um professor acredita nas fontes que consultou e ensina a partir delas
      A internet, livros didáticos e até artigos científicos podem estar factualmente errados
      Redes neurais em grafos, uma subcategoria dos LLMs, têm o potencial de ser otimizadas para manter o conhecimento interno da forma mais concisa possível. Isso é diferente de um humano que lê textos na internet sem ter acumulado contexto suficiente na área
      Há muitas pessoas que acreditam fortemente, por toda a vida, em ideias estranhas ensinadas por um professor do 4º ano e nunca corrigidas
      Neste recorte minúsculo de tempo, isso está correto, mas concluir que devemos evitar modelagem de linguagem por causa dos problemas existentes neste mês e ignorar as melhorias que virão em breve é míope demais
    • Eu realmente teria gostado se meus professores alucinassem só 1% das vezes
      Na realidade, treinadores de futebol americano Southern Baptist tentaram ensinar ciência de forma desastrosa
    • Se você ouvir as bobagens que professores reais dizem dentro e fora da sala de aula, uma taxa de alucinação de 1% vai parecer uma bênção
      Claro que há professores excelentes, especialmente aqueles que dizem que não sabem quando não sabem, ou que precisam pesquisar; esses têm uma taxa de alucinação próxima de 0%. Mas essas pessoas são exceções
      O sistema educacional como um todo tende a reunir pessoas de nível intelectual bastante mediano, e algumas delas muitas vezes acabam desenvolvendo complexo de Deus
    • Meu professor de história do ensino fundamental II alucinava muito mais que 1%. Na verdade, muito mais que 10%
      Era tão ruim que precisei reaprender história no ensino médio
    • Pela minha experiência, às vezes estava 100% errado
      Mesmo tentando corrigir várias vezes com prompts mais específicos. Isso acontecia até em problemas simples envolvendo divisão ou múltiplos dos números de 1 a 10, com apenas uma operação adicional