MIT 6.S184: Introdução a Flow Matching e Modelos de Difusão

 (diffusion.csail.mit.edu)
3 pontos por GN⁺ 2025-03-04 | 1 comentários | Compartilhar no WhatsApp
  • A versão 2026 do MIT 6.S184 é um curso introdutório que ensina, em teoria e prática, modelos de difusão e modelos de fluxo usados em vários tipos de dados, como imagem e vídeo
  • As aulas avançam por equações diferenciais estocásticas, equação de Fokker-Planck, flow matching, score matching, classifier-free guidance, espaços latentes e até modelos de difusão discretos
  • Cada aula inclui prática, permitindo que o aluno implemente flow matching e modelos de difusão passo a passo, do zero
  • Na parte final do curso, os alunos constroem diretamente um latent diffusion model, de modo que as ferramentas de interpretação probabilística também possam ser aplicadas a outras áreas
  • Recomenda-se experiência com probabilidade e deep learning, e os pré-requisitos incluem álgebra linear, cálculo multivariável, probabilidade básica, Python e PyTorch

Estrutura do curso e objetivos de aprendizagem

  • Flow Matching and Diffusion Models — 2026 Version é um curso projetado para ajudar estudantes e pesquisadores a entenderem mais profundamente modelos de difusão e de fluxo
  • Os modelos abordados são métodos de IA generativa para imagens, vídeos e vários outros tipos de dados
  • O curso é organizado em um fluxo que vai da base matemática até a implementação
    • equações diferenciais estocásticas
    • equação de Fokker-Planck
    • explicação passo a passo de cada componente dos modelos
    • implementação guiada por meio de práticas em cada aula
  • Ao final, os alunos constroem um modelo de difusão latente do zero
  • A base recomendada é experiência com probabilidade e deep learning, e os pré-requisitos são álgebra linear, cálculo multivariável, probabilidade básica, Python e PyTorch

Notas de aula e materiais do curso

  • As notas de aula são o material central do curso e explicam todo o conteúdo das aulas de forma autocontida
  • Informações de citação das notas de aula
    • Introduction to Flow Matching and Diffusion Models
    • Peter Holderrieth, Ezra Erives
    • 2026
    • arXiv eprint: 2506.02070

  • Lista de aulas

    • Aula 1: Flow and Diffusion Models
      • Cobre introdução a modelos generativos, equações diferenciais ordinárias e estocásticas, e amostragem em modelos de fluxo e difusão
      • slides 1, Video 13
    • Aula 2: Flow Matching
      • Cobre caminhos de probabilidade condicionais e marginais, campos vetoriais condicionais e marginais, e o objetivo de treinamento de flow matching
      • slides 2, Video 14
    • Aula 3-A: Score Functions and Score Matching
      • Cobre funções score, denoising score matching e amostragem com SDE
      • slides 3, Video 15
    • Aula 3-B: Classifier-free Guidance
      • Cobre guided generation, classifier guidance e classifier-free guidance
      • slides 3, Video 16
    • Aula 4: Latent Spaces and Neural Network Architectures
      • Cobre VAE e espaços latentes, Diffusion Transformer e U-Nets, e casos de grandes modelos
      • slides 4, Video 17
    • Aula 5: Discrete Diffusion Models
      • Cobre continuous-time Markov chains (CTMCs), amostragem em modelos CTMC e treinamento de modelos CTMC
      • slides 5, Video 18

Como funcionam as práticas

  • O curso inclui um total de 3 labs, que oferecem experiência de implementação por meio de exercícios fornecidos junto com as aulas
  • As práticas seguem o formato de construir flow matching e modelos de difusão passo a passo, do zero
  • Procedimento
    • conferir as instruções no link da prática
    • baixar o notebook .ipynb no GitHub
    • executar em um ambiente Jupyter Notebook, com Google Colab também disponível como opção
    • após concluir todas as questões, exportar o notebook em PDF e enviar para o Gradescope no Canvas
    • como isso dificulta a correção, não se deve apagar a saída das células
  • Em caso de dificuldade, é possível consultar a solução

Leituras relacionadas

1 comentários

 
GN⁺ 2025-03-04
Comentários do Hacker News

  • A aula do MIT “6.S184: Introduction to Flow Matching and Diffusion Models” agora está disponível no YouTube
    Ela aborda algoritmos modernos de IA generativa para imagens, vídeos, proteínas etc., junto com as ferramentas matemáticas para entendê-los
    Flow matching e modelos de difusão são matematicamente desafiadores, então muitas aulas ficam no nível da intuição, mas esta busca uma introdução matematicamente rigorosa e autocontida, voltada a iniciantes em IA
    Fonte: https://x.com/peholderrieth

    • Tentei assistir à aula de MIT Optics [1], mas a qualidade de áudio/vídeo é muito ruim. Seria bom se alguém pudesse consertar isso, talvez até com modelos de difusão
      [1] https://ocw.mit.edu/courses/2-71-optics-spring-2009/resource...
    • Link da playlist no YouTube: https://www.youtube.com/watch?v=GCoP2w-Cqtg&list=PL57nT7tSGA...
    • Seria bom surgir o costume de distinguir claramente entre materiais e aulas de “intuição de alto nível” e materiais profundos, voltados à aplicação, que não evitam todos os pré-requisitos
      Ambos têm valor, mas é difícil encontrar o segundo tipo no mar de material introdutório que só oferece intuição

  • Fluxos normalizantes condicionais estão entre as soluções mais elegantes que já vi para problemas de engenharia reversa, desde que haja dados para treinar
    A ideia de empurrar e puxar a massa de probabilidade da distribuição base com uma função bijetiva, deformando-a cuidadosamente até a posição desejada, é realmente elegante, e a própria construção dessa função bijetiva é muito engenhosa
    Foi difícil aplicar quando parte do valor-alvo era contínua e parte categórica, mas ainda assim é um método muito bonito, e acho que o nome foi muito bem escolhido

  • Parece uma ótima aula e quero assistir logo. Esta parece focar estritamente em espaços contínuos, mas também há muita coisa interessante acontecendo em difusão discreta
    Fico curioso se há planos para uma continuação. Notei que o professor Peter acabou de publicar também um artigo sobre difusão discreta
    https://x.com/peholderrieth/status/1891846309952282661
    https://github.com/kuleshov-group/awesome-discrete-diffusion...

  • Gostaria de saber se existe alguma coleção de aulas abertas cobrindo técnicas modernas de IA

  • Sou realmente grato ao MIT OCW e a materiais de aula abertos parecidos. Tenho usado como material complementar das disciplinas da graduação, e aprender o mesmo tema de duas maneiras ajuda muito, especialmente em conteúdos mais difíceis de entender

  • Fico feliz de ver essa aula aqui. Parece que os LLMs roubaram muita atenção dessa técnica extremamente útil

  • Seria ótimo se alguém familiarizado com o tema pudesse explicar em poucas palavras os principais usos e uma impressão geral

    • É o princípio por trás dos modelos modernos de geração de imagens, como Stable Diffusion e Dalle, além de modelos de geração de vídeo e áudio. Mais recentemente, também começou a ser usado rapidamente em controle de robôs [1]
      Esses modelos são treinados para empurrar gradualmente amostras de ruído puro na direção da distribuição dos dados de treino. Como são treinados com versões com ruído do conjunto de dados, no processo de remoção de ruído conseguem explorar e aproveitar melhor as regiões ao redor da distribuição real dos dados
      Um dos grandes problemas dos GANs é o fenômeno chamado colapso de modo [2]
      [1] https://www.physicalintelligence.company/blog/pi0
      [2] https://en.wikipedia.org/wiki/Mode_collapse

  • Os últimos 10 anos foram uma era de ouro da educação em deep learning. Gosto de ver essa competição para publicar gratuitamente conteúdos de aprendizado cada vez melhores

  • É excelente que o MIT esteja disponibilizando gratuitamente conteúdo tão oportuno e relevante

  • Fico curioso sobre que outras aulas do OCW existem cobrindo IA moderna