- Universidade Carnegie Mellon (CMU) oferece este curso introdutório sobre como funcionam os sistemas modernos de inteligência artificial
- Com foco em machine learning e grandes modelos de linguagem (LLMs), o curso ensina as tecnologias fundamentais por trás de sistemas como ChatGPT, Gemini e Claude
- Os alunos aprendem aprendizado supervisionado básico, redes neurais, transformers e post-training, e podem implementar diretamente um LLM open source
- A versão online é oferecida gratuitamente e publica vídeos das aulas e tarefas com um cronograma 2 semanas atrasado em relação à turma da CMU
- O uso de ferramentas de IA é permitido, mas recomenda-se que a entrega final seja escrita pelo próprio aluno, como política para aumentar a compreensão do aprendizado
Visão geral do curso
- Este curso é centrado na inteligência artificial (IA) no sentido moderno, isto é, em machine learning e grandes modelos de linguagem (LLMs)
- Aborda as tecnologias fundamentais de sistemas como ChatGPT, Gemini e Claude
- A implementação básica de um LLM é composta por um pequeno conjunto de técnicas e estruturas de machine learning, podendo ser escrita em algumas centenas de linhas de código
- Os alunos aprendem os princípios básicos de aprendizado supervisionado, LLMs e post-training, e podem implementar diretamente um chatbot de IA
- Os principais tópicos abordados são os seguintes
- Breve história da IA
- Aprendizado supervisionado: modelos lineares, função de perda, otimização, redes neurais
- Grandes modelos de linguagem: self-attention, transformers, tokenizadores, inferência eficiente
- Post-training: ajuste fino supervisionado, alinhamento e instruction tuning, modelos de raciocínio, segurança e proteção
Curso online
- Uma versão online gratuita é oferecida em paralelo à turma da CMU, com conteúdo divulgado com 2 semanas de atraso em relação ao cronograma da universidade
- Inclui vídeos das aulas, tarefas (sistema mugrade), notebooks Colab etc.
- Quizzes, prova intermediária e prova final não fazem parte da versão online
- Em Enroll here, é possível receber notificações por e-mail quando as aulas e tarefas forem publicadas
- TA, office hours e avaliação por nota se aplicam apenas à turma da CMU
Avaliação e pré-requisitos
- Composição da nota
- Tarefas e programação: 20%
- Quizzes das tarefas: 40%
- Provas intermediárias e final: 40% (cada intermediária 10%, final 20%)
- Pré-requisitos obrigatórios
- Programação: é necessário domínio de programação orientada a objetos em Python (15-112 ou 15-122)
- Matemática: cálculo básico com derivadas (21-111 ou 21-120); recomenda-se base em álgebra linear e probabilidade
Tarefas e programação
- As principais tarefas têm como objetivo a implementação gradual de um chatbot de IA
- As entregas são feitas pelo sistema mugrade, com versões em Colab e notebooks Marimo
- Algumas tarefas são desenvolvidas com base nos resultados de tarefas anteriores
- Lista de tarefas
- HW0: correção automática e fundamentos de programação
- HW1: álgebra linear e PyTorch
- HW2: autodiferenciação e treinamento de modelos lineares
- HW3: treinamento de redes neurais
- HW4: implementação de transformers
- HW5: implementação de um LLM mínimo
- HW6: ajuste fino supervisionado e treinamento de chatbot
- HW7: aprendizado por reforço
- Após cada tarefa há um quiz de 15 minutos, elaborado com base no código ou nos conceitos da tarefa
Provas e cronograma das aulas
- O curso é composto por 2 provas intermediárias e 1 prova final, todas presenciais e sem consulta
- Intermediária 1: aprendizado supervisionado
- Intermediária 2: grandes modelos de linguagem
- Final: avaliação cumulativa (com maior peso para a parte final do curso)
- O cronograma das aulas é atualizado ao longo do semestre, e a versão online é publicada 2 semanas depois
- Ex.: 1/12 “História da IA”, 1/28 “Modelos lineares”, 2/16 “Prova intermediária 1”, 3/18 “Prova intermediária 2”, 4/20 “Prazo final do HW7” etc.
Política de uso de ferramentas de IA
- Uso de assistentes de IA permitido: ferramentas de IA podem ser usadas como referência em tarefas e programação
- No entanto, recomenda-se fortemente que a entrega final seja escrita pelo próprio aluno
- Em avaliações realizadas durante a disciplina (quizzes e provas), é proibido usar IA e materiais externos
- O objetivo da política é melhorar a eficiência do aprendizado
- A IA é útil como apoio ao estudo, mas dependência excessiva pode levar à queda de compreensão
- Alunos que resolvem as tarefas por conta própria tendem a ter melhor desempenho em quizzes e provas
1 comentários
Comentários do Hacker News
Pela política da disciplina de IA, é permitido usar assistentes de IA nas tarefas e exercícios de programação, mas recomenda-se que a versão final entregue seja escrita pelo próprio aluno
Em quizzes e provas durante o curso, o uso de IA ou de materiais externos é proibido
O motivo é que a IA é útil como ferramenta de aprendizado, mas a dependência excessiva pode atrapalhar a aprendizagem
Há evidências empíricas de que alunos que resolvem os problemas por conta própria têm desempenho muito melhor nas provas
O ponto central é que eles sabem que os alunos vão usar IA de qualquer forma, mas confiam na vontade de aprender e no autodesenvolvimento deles
Já ajudei em um curso parecido antes, e se a IA tivesse ajudado na depuração, os alunos poderiam ter coberto mais conteúdo e se concentrado em partes interessantes como implementação em CUDA
Essa nova disciplina parece realmente muito interessante, e o professor Zico é um excelente docente
Usar IA para acelerar o entendimento e, no fim, ser avaliado sem IA é uma estrutura boa para consolidar o aprendizado
Na época pareceu injusto, mas hoje acho que era uma abordagem muito justa
Parece uma abordagem ainda mais adequada para os dias de hoje
O docente dessa disciplina é membro do conselho da OpenAI
Artigo relacionado: Zico Kolter joins OpenAI’s board of directors
É uma pena que ‘modern AI’ pareça se referir apenas a LLMs
A IA moderna abrange uma área muito mais ampla, e só pelo título eu esperava modelos SOTA mais variados
Ainda assim, as aulas da CMU costumam ser excelentes, então parece ser um bom curso
Se houver material que cubra outras áreas também, eu teria muito interesse
Estou fazendo a versão gratuita desde alguns dias atrás, e o sistema de tarefas é realmente excelente
Dá para rodar os testes localmente, então o aprendizado é muito melhor do que apenas assistir às aulas
Recomendo 10/10
Queria saber se é tudo no computador pessoal ou se também dão acesso a um cluster
Gostaria de saber se esse curso é realmente bom
Ou se alguém tem outras recomendações de cursos para aprender de forma sistemática como os LLMs funcionam
Gostaria de perguntar a quem está realmente acompanhando a disciplina fazendo todas as tarefas
De forma realista, quantas horas por semana é preciso investir para conseguir concluir tudo
Estou esperando sair a IA pós-moderna
É uma pena não haver conteúdo sobre raciocínio simbólico (symbolic reasoning)
Estou esperando a publicação de um livro-texto para acompanhar as aulas
Se sair, pretendo comprar na hora
Fico feliz em ver o renascimento de Lisp e Prolog
Ainda assim, Lisp e Prolog continuam úteis
Para implementar redes neurais do zero, C é adequado, e conectar subsistemas com Python já basta para montar sistemas suficientemente complexos
Sempre existiram discretamente em seus próprios nichos