Sistemas de Deep Learning

 (dlsyscourse.org)
3 pontos por GN⁺ 2023-08-14 | 1 comentários | Compartilhar no WhatsApp
  • Com base no calendário da CMU, trata-se de um cronograma de aulas de sistemas de deep learning de 26/8 a 8/12, reunindo em um só lugar datas, tópicos, instrutores, slides e links para os vídeos da versão de 2022
  • Alguns horários de aula podem mudar, e os slides das próximas aulas são materiais de versões anteriores que serão atualizados antes de cada aula
  • A parte inicial começa com introdução e revisão de ML, avançando para diferenciação automática, otimização, abstrações e implementação de bibliotecas de redes neurais, e implementação de redes convolucionais
  • A parte intermediária e final aborda aceleração de hardware para álgebra linear, GPU, RNN, Transformers, treinamento de modelos em larga escala, modelos generativos, customização de modelos pré-treinados e implantação de modelos
  • Os vídeos das aulas online são publicados junto com os slides quando disponíveis, e o cronograma também inclui pausas por Fall Break, Democracy Day, Thanksgiving e apresentações de projetos dos alunos

Forma de disponibilização dos materiais e período do cronograma

  • Todo o curso é disponibilizado como cronograma provisório
    • O momento exato de algumas aulas pode mudar
    • Os slides das próximas aulas são materiais de versões anteriores do curso, e versões atualizadas serão publicadas antes de cada aula
    • Os vídeos públicos das aulas online são publicados junto com os slides quando disponíveis
  • A tabela inclui a data no padrão da CMU, número e tema da aula, instrutor, slides e vídeo da versão de 2022
  • Os instrutores aparecem como Dettmers, Chen, Both e Students

Fluxo das aulas

  • Do fim de agosto até meados de setembro, o foco é a base de sistemas de deep learning
  • De meados de setembro até o começo de outubro, o conteúdo se expande para treinamento de modelos e implementação de frameworks
    • 11/9: Optimization
    • 16/9: Neural Network Library Abstractions
    • 18/9: Normalization, Dropout, + Implementation
    • 23/9: NN Library Implementation
    • 25/9: Convolutional Networks
  • Do fim de setembro até meados de outubro, o tema é aceleração de hardware e implementação de CNNs
  • No fim de outubro, o foco é modelagem de sequência e Transformers
  • A partir de novembro, seguem modelos em larga escala, modelos generativos, implantação e apresentações de projetos
    • 4/11: sem aula por Democracy Day
    • 6/11: Training Large Models
    • 11/11: Generative Models
    • 13/11: Generative Models Implementation
    • 18/11: Customize Pretrained Models
    • 20/11: Model Deployment
    • 25/11: Future Directions / Q&A
    • 27/11: sem aula por Thanksgiving
    • 2/12, 4/12 e 8/12: apresentações de projetos dos alunos

Leituras relacionadas

1 comentários

 
GN⁺ 2023-08-14
Comentários do Hacker News

  • Gosto muito da parte que ironiza nomes que quase não têm significado em deep learning, como “keys”, “queries” e “values” no slide sobre operações de autoatenção
    No contexto de LSTM, ele também ironiza o uso de nomes como “forget gate”, “input gate” e “output gate”; curiosamente, é justamente por causa dessas explicações que fico confiante de que estou entendendo o assunto de verdade
    Antes, eu sentia que termos estranhos me levavam a uma compreensão totalmente equivocada

    • Fica ainda pior quando vemos a comunidade de machine learning pegar termos da neurociência e usá-los de qualquer jeito
      Ainda assim, acho bom ter nomes fáceis de lembrar que possam ser usados para explicar conceitos em palavras
    • “forget gate”, “input gate” e “output gate” são nomes válidos
      cell_h = cell_(h-1) * forget_gate + tanh(linear(input_h)) * input_gate
      out_h = cell_h * output_gate
      Como dá para ver, forget_gate multiplica por um número em [0, 1] para mascarar a entrada, input_gate controla a entrada externa e output_gate, obviamente, controla a saída
    • Depois que você entende o que eles representam, os nomes fazem sentido. Fico curioso para saber que outros nomes seriam melhores
    • Também é divertido ver como machine learning distorce termos da estatística de um jeito irritante

  • Materiais educacionais abertos passam uma sensação muito boa

  • Este curso é uma introdução bastante única a compilação e implantação de machine learning

    • Gostei muito do estilo do instrutor, Kolter, e gosto especialmente deste curso porque, depois de cada aula, vem um vídeo de implementação junto com o arquivo de notebook
      Na maioria dos cursos de deep learning, a implementação fica a cargo dos assistentes e não é gravada nem publicada, mas este curso é uma exceção
      Outra boa exceção é o curso de Deep Learning da NYU, de Yann LeCun e Alfredo Canziani [0], no qual todas as sessões práticas, chamadas “Practica”, também são gravadas e disponibilizadas. Canziani é um excelente professor
      [0]: https://atcold.github.io/pytorch-Deep-Learning

  • Bom. Também gosto bastante do curso de deep learning da VU Amsterdam no YouTube
    Ele tem menos foco em sistemas, mas é uma ótima introdução ao machine learning moderno baseado em redes neurais

  • Fico curioso para saber se este curso será oferecido novamente neste outono. Parece que é preciso se inscrever para entregar as tarefas, então espero que ele abra de novo em breve

  • É empolgante ver MLSys crescer
    Métodos de deep learning exigem tanta computação que muitos avanços vieram de novos algoritmos e métodos de otimização

  • Fiz este curso quando ele foi oferecido pela primeira vez na CMU, e foi realmente excelente e muito bem estruturado

  • Gosto do fato de abordar aceleração por hardware. É uma lacuna no meu conhecimento, uma área que eu queria começar a entender