MIT 6.S184: Introdução a Flow Matching e Modelos de Difusão

Introdução a Flow Matching e Modelos de Difusão

• A disciplina de ciência da computação 6.S184 do MIT é um curso sobre IA generativa que utiliza equações diferenciais estocásticas.
• Modelos de difusão e baseados em fluxo se consolidaram como o estado da arte da IA generativa em várias modalidades de dados, como imagens, vídeos e música.
• Este curso tem como objetivo construir, desde o início, a base matemática desses modelos, e ao final os alunos irão construir por conta própria um modelo de difusão de imagens simples.
• Este curso é ideal para estudantes que desejam compreender de forma rigorosa a teoria e a prática da IA generativa.

Notas de aula

• As notas de aula são o elemento central do curso e fornecem explicações independentes de todo o material.
• Os slides das aulas são fornecidos como apoio visual e não são material independente.

Aulas

• Aula 1: Modelos de fluxo e difusão

  • Introdução aos modelos generativos
  • Equações diferenciais ordinárias e estocásticas
  • Amostragem em modelos de fluxo e difusão

• Aula 2: Construção de objetivos de treinamento

  • Caminhos de probabilidade condicionais e marginais
  • Equações de continuidade e de Fokker-Planck
  • Campos vetoriais marginais e funções de score marginais

• Aula 3: Treinamento de modelos de fluxo e difusão

  • Flow matching
  • Score matching
  • Diferentes abordagens para modelos de difusão

• Aula 4: Construindo um gerador de imagens

  • Guiding e geração condicional
  • Arquiteturas de redes neurais
  • Panorama dos modelos de ponta

• Aula 5: Robótica generativa

  • Aula convidada de Benjamin Burchfiel
  • Modelos de ação em larga escala
  • Modelos de difusão para robótica

• Aula 6: Design generativo de proteínas

  • Aula convidada de Jason Yim
  • Projeto de novas proteínas com IA
  • Flow matching para geração de estruturas de proteínas

Práticas

• Há 3 práticas fornecidas junto com o curso, oferecendo exercícios para construir passo a passo modelos de flow matching e difusão.
• As práticas podem ser abertas e realizadas no Google Colab.

Instrutores

• Peter e Ezra ministram o curso em conjunto, e Tommi Jaakkola atua como patrocinador e conselheiro.
• Peter Holderrieth é aluno de doutorado, e Ezra Erives é aluno de mestrado em engenharia.

Pré-requisitos

• São necessários álgebra linear, análise real e teoria básica da probabilidade, além de experiência com Python e PyTorch.

Observações

• Este curso não trata de grandes modelos de linguagem (LLMs). Embora LLMs envolvam dados discretos como texto, este curso foca em dados em espaços contínuos, como imagens, vídeos e estruturas de proteínas.

Agradecimentos

• Este curso não teria sido possível sem o apoio de diversas pessoas e organizações.
• Os agradecimentos são dirigidos ao professor Tommi Jaakkola, a Lisa Bella e Ellen Reid do MIT EECS, além de muitas outras pessoas.

[GN⁺]

Opiniões do Hacker News

• A aula do MIT "6.S184: Introduction to Flow Matching and Diffusion Models" foi disponibilizada no YouTube

  • Ensina algoritmos de IA generativa para imagens, vídeo, proteínas etc., além das ferramentas matemáticas para compreendê-los
  • Como modelos de fluxo e difusão são temas matematicamente desafiadores, muitas aulas ensinam apenas uma intuição de alto nível
  • Esta aula oferece uma introdução matematicamente rigorosa e independente, voltada para iniciantes em IA
  • Espero que gostem da aula

• Fluxos normalizadores condicionais são uma das soluções mais elegantes para problemas de projeto inverso

  • Se houver dados, é possível treiná-los
  • A ideia de transformar uma distribuição de base com uma função bijetiva e movê-la para o lugar correto é muito elegante
  • Houve dificuldade em lidar ao mesmo tempo com alvos contínuos e categóricos
  • É um método realmente incrível

• Os últimos 10 anos foram a era de ouro da educação em deep learning

  • É interessante ver a competição para oferecer gratuitamente conteúdo de aprendizado de alta qualidade

• Ótima aula, quero assistir o quanto antes

  • Embora esta aula foque em espaços contínuos, muita coisa interessante também está acontecendo em difusão discreta
  • Fico curioso se há planos para uma aula de continuação
  • Descobri que o professor Peter publicou um artigo sobre difusão discreta

• Fico curioso se existe alguma coleção reunindo todos os cursos públicos sobre as tecnologias mais recentes de IA

• Sou muito grato ao MIT OCW e aos seus colaboradores

  • Uso isso como material complementar, e aprender o mesmo tema de duas formas diferentes é muito útil
  • Isso ajuda especialmente em temas difíceis de entender

• Apesar de essa tecnologia ser muito útil, parece que os LLMs desviaram bastante a atenção dela

• É excelente que o MIT disponibilize gratuitamente conteúdo oportuno e relevante

• Muito obrigado, fico curioso se há outros cursos do OCW sobre IA moderna

• Bom trabalho, parabéns