OpenAI revela o modo Study no ChatGPT

• Desenvolvido para responder às preocupações no ambiente educacional sobre se o ChatGPT realmente ajuda no aprendizado ou apenas fornece respostas
• Em vez de entregar apenas a resposta, apoia o processo de aprendizagem por meio de orientação passo a passo e interação
• Ajusta perguntas orientadoras de acordo com os objetivos e o nível de habilidade, promovendo compreensão mais profunda e reflexão por meio de participação e interação
• Em colaboração com professores, cientistas e especialistas em educação, incorpora instruções de sistema personalizadas com base na ciência da aprendizagem, como incentivo à participação ativa, gestão da carga cognitiva, metacognição e autorreflexão
• Inclui diversos recursos educacionais, como aulas personalizadas, quizzes de verificação de conhecimento, feedback e acompanhamento de progresso
• Continua sendo aprimorado com base no feedback real de estudantes de universidades e do ensino superior, com previsão de adicionar recursos como visualizações, acompanhamento de metas e personalização mais avançada**

Principais recursos

• Prompts interativos: combinam perguntas no estilo socrático, dicas e autoavaliação para incentivar o usuário a pensar por conta própria
• Respostas com suporte adicional: fornecem informações passo a passo considerando as conexões entre os temas, reduzindo a sobrecarga cognitiva excessiva
• Suporte personalizado: avalia o nível técnico, lembra conversas anteriores e oferece aulas sob medida para o usuário
• Verificação de conhecimento: acompanha o progresso com quizzes, perguntas discursivas e feedback personalizado, reforçando memória e capacidade de aplicação
• Flexibilidade: é possível ativar ou desativar o modo Study a qualquer momento durante a conversa

Experimentar no ChatGPT

[GN⁺]

Opiniões no Hacker News

• Acho que os LLMs estão sendo subestimados como parceiros de estudo, porque você pode fazer perguntas “bobas” sem sentir vergonha. Um modo que explica tudo passo a passo, em vez de dar respostas curtas, parece mágica de verdade. É como ter um assistente competente disponível 24 horas por dia, então considero uma ferramenta dos sonhos para estudar sozinho. Antigamente havia muitas dificuldades com a imprecisão das informações online, conteúdo desatualizado, falta de feedback e comunidades grosseiras, mas agora a experiência está incomparavelmente à frente daquela época. Claro, isso não significa que se deve acreditar cegamente no que a IA diz; é preciso verificar por conta própria. Algumas pessoas vão usar isso de forma preguiçosa, mas, assim como acontece com livros e manuais antigos, acho que o quanto isso ajuda depende da postura de cada um. Fico muito empolgado e impressionado por viver numa era em que podemos usar ferramentas assim

  • Concordo que, alguns anos atrás, aprender qualquer coisa online era bem difícil por causa de informações erradas, respostas mal-intencionadas e falta de feedback imediato. Mas hoje em dia, com IA, a gente se vê obrigado a desconfiar toda vez se a resposta está certa ou se é só alucinação. Já vivi várias vezes a experiência de receber respostas erradas em perguntas factuais. E quando se aponta esse problema, a resposta é sempre que o modelo mais recente melhorou, junto com a cobrança de uma assinatura cara. O pior é que a IA cede fácil demais quando você contesta a resposta dela. Ela não consegue defender o que disse, e não acho que essa seja uma característica desejável num professor. No fim, IA também é só uma ferramenta útil, mas não dá para confiar demais, então sempre é preciso manter um ceticismo saudável. Na verdade, acho que isso também vale para métodos tradicionais de ensino

  • Um modo que explica o material passo a passo é atraente, mas sinto que esses sistemas ainda têm o problema de mentir com confiança. Por exemplo, existe um easter egg em que o logo do DuckDuckGo muda dependendo da busca, mas se você perguntar ao Copilot ele diz que não, e se contestar, de repente diz que sim e ainda inventa exemplos sem sentido, como explicar que, ao pesquisar por gato, aparece um logo em forma de gato. O problema do Copilot, na minha opinião, é que ele não sabe a resposta com clareza, mas em vez de admitir isso, responde com uma mentira

  • Acho muito real esse medo de fazer perguntas bobas. Ainda mais para quem já foi ferido por professores ou docentes que humilhavam alunos. Já aconteceu comigo de ver um vídeo de um professor famoso envergonhando um estudante e decidir parar de assistir às aulas dele

  • Quando se olha para a adoção tradicional de TI nas escolas, os EUA despejaram dezenas de bilhões em educação, mas os resultados reais de aprendizagem não melhoraram. Esse é o pano de fundo do ceticismo. Também acho que, antes de gastar 100 bilhões de dólares, é preciso provar primeiro que isso realmente funciona. Por enquanto, minha posição é que ainda não há evidência decisiva

  • Estou no nível B1 de espanhol, e com o ChatGPT estou criando aulas sob medida, perguntando sobre nuances do idioma e até praticando fala, tendo uma experiência de aprendizado muito melhor do que com apps tradicionais

• Posso dizer com confiança que os LLMs foram uma ferramenta absurdamente incrível para aprender coisas novas por conta própria depois de me formar na faculdade. Antes, se eu não entendesse um conceito, praticamente não havia nenhuma resposta à vista, e se não fosse uma pergunta comum no Stack Exchange, eu tinha que me virar sozinho. Agora é como ter um monitor pessoal disponível a qualquer momento. Há quem diga que isso torna o aprendizado fácil demais ou superficial, mas quase ninguém acharia que universitários aprendem melhor sem monitores

  • Pessoalmente, pela minha experiência, não sinto que isso seja como ter um monitor sempre acessível para todo mundo. Quando se entra em certo nível de profundidade, os LLMs rapidamente deixam de ser úteis. Isso vale ainda mais quando é preciso encontrar fontes acadêmicas confiáveis ou lidar com temas complexos e controversos

  • Recentemente, ao consertar e investigar um dispositivo antigo com CPU Intel de 9ª geração de 2020, o LLM explicou com facilidade informações como cada geração e compatibilidade de soquetes, de um jeito tão prático que quase senti que nem merecia usar uma ferramenta assim. Em algumas áreas ele não ajuda muito, mas em outras é realmente impressionante

  • Depois do lançamento do ChatGPT, senti como se tivesse reencontrado o antigo Google. Antes eu conseguia encontrar facilmente no Google informações importantes ao aprender uma linguagem de programação nova, mas há alguns anos o Google ficou inútil. Mesmo quando a informação existe, ela acaba soterrada nos resultados de busca

  • O ChatGPT montou um plano de estudos adequado para mim e me incentivou a escrever anotações e artigos, e assim aprendi Rust em 12 semanas. Nesse processo, transformei minhas anotações em https://rustaceo.es em espanhol, e sinto que o potencial dessa forma de aprender é infinito

  • No passado eu sofri tentando entender um problema de IPv6 em casa, mas graças ao ChatGPT consegui analisar o tráfego com tcpdump e receber explicações passo a passo sobre como a rede funcionava. Também aprendi detalhes sobre RA e NDP (que substituem o papel de DHCP e ARP do IPv4). No fim, descobri que os fenômenos estranhos recorrentes na minha rede mesh Wi‑Fi vinham de um repetidor barato. Passei 5 anos sem saber a causa e finalmente resolvi

• Extraí o prompt de sistema do ChatGPT Study Mode. Chamou atenção o tipo de instrução como “não responda de imediato à pergunta do usuário nem faça a lição por ele; em problemas de matemática/lógica, não resolva imediatamente, faça perguntas passo a passo e dê ao usuário a chance de responder em cada etapa”. link do gist

  • Gostaria que cada fornecedor de LLM também adicionasse instruções para responder de forma “concisa e sem encheção”. Sou um leitor lento, então é difícil ler até explicações desnecessárias. Respostas que vêm rápido demais às vezes até me deixam ansioso. Isso talvez também ajudasse a reduzir problemas de contexto

  • É engraçado que letras maiúsculas (CAPS) realmente tenham significado para os LLMs

  • Fico curioso sobre o que aconteceria se esse prompt fosse aplicado a outros modelos. Quero saber se o ChatGPT Study Mode é só um prompt de sistema especial ou se existe alguma outra diferença, e já tive bons resultados usando prompts parecidos para estudar temas com mais profundidade

  • Acho interessante como essas instruções internas ficam tão fáceis de expor. Parece que a OpenAI quis manter o prompt de sistema em sigilo, mas como qualquer um consegue acessar o conteúdo com facilidade, isso dá a impressão de que foi exposto de propósito

  • Eu também extraí um prompt de sistema parecido, e dá para conferir neste link

• Como alguém que aprende ao longo da vida, sinto que uma grande parte do tempo de estudo é gasto procurando material. A IA parece ajudar a tornar essa busca mais eficiente. Por outro lado, no processo de construir um modelo lógico do tema estudado, se eu depender da IA, parece que não fui eu quem aprendeu, mas apenas reuni “abrangências” da IA, e nesse caso eu não consigo recuperar o resultado sem ela. Acho importante armazenar no meu cérebro um modelo offline coerente

  • Concordo que “a maior parte do estudo é busca”. Houve uma época em que a capacidade de pesquisar era, por si só, uma habilidade importante, e no processo de busca também se aprendia conhecimento relacionado e inesperado. Acho um pouco triste que a próxima geração talvez tenha essa capacidade enfraquecida

  • Acho que o objetivo do Study Mode não é dar a resposta certa, mas guiar o processo de encontrar a resposta por conta própria. Muita gente, na verdade, não conhece bem esse método de aprendizagem

  • Dizem que terceirizar o entendimento é uma atitude perigosa no longo prazo, e que é preciso manter uma higiene de pensamento própria

  • Também é uma grande vantagem quando a IA encontra associações novas que não podem ser capturadas só por palavras-chave

• Gostaria de verificar com precisão a eficácia do Study Mode por meio de um estudo randomizado com grupo de controle. Quero saber se isso realmente ajuda os alunos, se é melhor do que o aprendizado autodirigido, e qual é a diferença entre aprender errando e receber orientação repetida sobre conceitos. Gostaria que o Study Mode separasse automaticamente informações que pudessem ser usadas em flashcards e spaced repetition (ferramentas de repetição, como Mochi e Anki). Aliás, também recomendo a palestra de Andy Matuschak

  • O Study Mode na prática não oferece as funções mencionadas acima. O objetivo do investimento é fazer o aluno dizer “se não fosse o Study Mode eu não teria aprendido nada” e, no processo, resumir os materiais de estudo inseridos pelo aluno para usar como dados próprios

  • Já existe um artigo de pesquisa sobre tutores de IA com efeito parecido comprovado. Segundo este artigo, o grupo com tutor de IA apresentou uma melhora de aprendizagem mais de duas vezes maior do que o grupo de active learning em aulas reais

  • Também há estudos dizendo que LLMs desaceleram desenvolvedores experientes. Acho que isso talvez também possa acontecer no aprendizado autodirigido. Mas os LLMs tornam o próprio ato de aprender mais prazeroso, então fornecem motivação para não desistir e continuar tentando. Se estudar for divertido, mesmo que a velocidade seja um pouco menor, ainda assim dá para aprender mais ao longo do tempo, com constância. No fim, o vencedor do aprendizado não é quem é rápido, mas quem persiste, e acho que os LLMs tornam isso mais viável

  • Tenho curiosidade sobre estudos em universidades de elite a respeito do efeito da tutoria. Pela minha experiência, alunos de universidades de ponta muitas vezes recebem dos tutores não uma ajuda real, mas apenas a resposta certa (às vezes até deixando que o tutor faça a lição), e acabam achando que aprenderam alguma coisa. Na prática, deixam de passar pela situação de “ter dúvida, se perder e errar”, que é justamente onde o aprendizado de verdade acontece. E o uso de LLM parece parecido com isso: quando algo fica difícil ou trava, recorrem logo ao ChatGPT para encontrar a solução sem tentativa e erro. Com isso, os alunos ficam ansiosos em provas e a demanda por listas de exercícios vai aumentando. Tenho sentido na pele o aumento do número de estudantes que nem conseguem mais ler o livro-texto sozinhos depois da aula

  • Pode fazer uma grande diferença para alunos que já são muito motivados, mas esse grupo não é tão grande, e hoje em dia parece estar diminuindo cada vez mais por causa da queda na capacidade de concentração

• Um conhecido meu toca uma startup de educação usando OpenAI. Quando empresas grandes como a OpenAI entram no mesmo mercado, desenvolvedores menores podem ficar em desvantagem a qualquer momento. Por isso, sinto medo de construir um negócio dependente desses modelos e acho que é preciso agir com cautela

  • Fico curioso se, no começo de outras tecnologias, também existia a percepção de que empresas de hardware sempre acabariam copiando o software, empacotando tudo por conta própria e competindo com as empresas de software. Parece muito parecido com o que vemos agora, e embora muita gente pense que os provedores de modelos sempre terão vantagem sobre quem constrói em cima deles, ainda acho que não vi base suficiente para afirmar isso

  • Como a estrutura de cobrança por token no hosting de LLM está ficando cada vez menos lucrativa, parece claro que as grandes empresas vão tentar copiar (Sherlock) todas as startups e apps que mostrem potencial de crescimento

  • Quem desenvolve em áreas adjacentes a LLM precisa sempre ter isso em mente e, considerando a força de expansão de mercado e o capital das grandes empresas, sinto que no fim há um risco real de nós simplesmente desaparecermos

  • A dúvida é por que empreendedores não perceberiam isso. Está claro desde o começo que a OpenAI não pretende ficar apenas fornecendo LLM puro, mas avançar para muitos outros mercados

  • É óbvio que o risco existe, então o importante é qual valor real nós adicionamos. Se for um negócio de curto prazo, é melhor agir rápido; se for algo de longo prazo, precisa haver algo mais original do que algo que qualquer um possa fazer imediatamente

• A estratégia central do meu aprendizado com LLM é estudar principalmente por livros e usar o LLM só para resolução oficial, perguntas de contexto e verificação de entendimento. Em coisas como destrinchar notação matemática de um domínio novo ou tirar dúvidas de contexto em textos de filosofia idealista alemã, o LLM esclarece de imediato coisas com as quais eu teria me enrolado muito sem ele, economizando um enorme tempo. Um ponto especialmente importante ao estudar é verificar imediatamente o meu grau de compreensão. Antes, eu seguia adiante com mal-entendidos e depois tinha que voltar. Agora, organizo minha intuição sobre uma fórmula ou conceito e peço ao LLM para confirmar; só de receber um feedback do tipo “está um pouco diferente” já consigo revisar aquele ponto. No fim, os livros continuam sendo a melhor fonte por terem a maior densidade de informação, mas com o LLM como apoio dá para acelerar muito o ritmo

• Sinto que falta urgentemente a interface correta para tudo isso. O Study Mode escreve informação como um paredão e mistura exemplos e perguntas, mas não há forma de visualizar as respostas ligadas a perguntas específicas. Uma UI de chat não é adequada para esse formato. É preciso uma interface separada, de canvas/artefatos, em que perguntas e respostas fiquem conectadas e o conteúdo seja estruturado. Tenho a impressão de que hoje estão tentando enfiar coisas demais numa interface de conversa simples demais

  • Isso ficou bem evidente quando um aluno quis aprender teoria dos jogos inteira: os dois lados partiam da suposição de uma sessão única de chat e de um processo linear. No fim, isso não é aprendizado profundo

  • Tentei com o periplus.app. Não é perfeito, mas dá claramente para sentir uma UX diferente da de chat

  • Tenho várias ideias de UX. Por exemplo, permitir avaliar o nível de entendimento de cada explicação, oferecer explicação adicional só nas partes não compreendidas, mostrar a estrutura de conhecimento em árvore, gráficos manipuláveis, quizzes interativos e várias outras formas. Talvez isso fuja do escopo do ChatGPT, mas vejo aí uma oportunidade para outros apps/startups atacarem esse espaço

  • Acho que a interface correta não existe. Se houver vontade e esforço para aprender, no fim a aprendizagem é possível de qualquer forma, seja em rolo, livro, e-book ou IA

• O fato de isso não ser uma função básica, mas um “produto separado”, diz muito sobre o momento atual. É algo que qualquer LLM poderia fazer com uma simples combinação de prompts. Dizem que o Study Mode foi desenvolvido em colaboração com professores, cientistas e especialistas em psicologia educacional, mas sou cético quanto à participação de especialistas de verdade

• Estou aprendendo Janet no momento, e usar o ChatGPT como tutor está sendo desconfortável. Mesmo diante de uma pergunta minha (“se local e var são ambos variáveis locais, qual é a diferença?”), ele responde com algo como “boa pergunta, você tocou bem no ponto central” e depois emenda uma alucinação plausível. É um bom tutor quando sabe do que está falando, mas acho que ele precisa conhecer os próprios limites

  • Os LLMs tendem a dar respostas realmente boas apenas sobre exemplos muito conhecidos, como React todo list, bootstrap form, vue tic-tac-toe etc.

  • Nesses casos, aconselham que é melhor inserir diretamente todo o guia ou documentação no contexto

  • Fazem uma comparação com a OpenAI e empresas que receberam sound money, dizendo que parece um tutor desesperado demais por dinheiro