CS 886: Tendências recentes de pesquisa em modelos fundacionais

• Uma das aulas de IA da Universidade de Waterloo, o "MIT do Canadá"
• Inclui links para slides explicativos de cada capítulo, aulas em vídeo no YouTube e referências
• Só a lista de tópicos e de referências já parece ser uma boa fonte de consulta

Conteúdo da disciplina

Introduction to Foundation Models

1. Introdução a Foundation Model
2. Orientações da disciplina
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. Pré-treinamento de modelos de linguagem

Large Language Models

9. Large Language Model
10. Lei de escala
11. Instruction Tuning & RLHF
12. Treinamento eficiente de LLMs
13. Inferência eficiente de LLMs
14. Compressão e esparsificação de LLMs
15. Prompting de LLMs

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. Geração de imagens
19. Pré-treinamento de modelos multimodais
20. Large Multimodal Model

Augmenting Foundation Models

21. Ampliação com ferramentas
22. Ampliação com recuperação