IA Animada

• Animated AI é um projeto que mostra conceitos de redes neurais por meio de animações e vídeos educativos, facilitando acompanhar processos computacionais que são difíceis de entender visualmente
• Os materiais principais se concentram no algoritmo fundamental de Convolution, Padding, Stride, Groups, Depthwise e Depthwise-separable Convolution
• O material de Pixel Shuffle mostra o fluxo de mudança de resolução dividido em exemplos com blocos de 2x2 e 3x3
• Cada tema é ligado a um vídeo complementar no YouTube que pode ser visto junto com o material animado da página
• A página do projeto indica o Patreon e o canal no YouTube, e o código é disponibilizado sob a MIT License

---

Animações e vídeos de redes neurais

• Animated AI produz animações e vídeos educativos que explicam redes neurais
• Links oficiais para apoio e para assistir aos vídeos também são fornecidos
  • Patreon
  • YouTube channel

Material de estudo sobre Convolution

• Fundamental Algorithm of Convolution in Neural Networks é um vídeo complementar no YouTube sobre o algoritmo fundamental de Convolution
• Convolution Padding - Neural Networks mostra as diferenças de Padding
  • No Padding, ou seja, “Valid”
  • Padding [1,1,1,1], ou seja, “Same”
• Stride - Convolution in Neural Networks aborda configurações de Stride e combinações com Padding
  • Stride 1 e Stride 2
  • Combinações de No Padding “Valid” e Padding [1,1,1,1] “Same”
• Groups, Depthwise, and Depthwise-Separable Convolution (Neural Networks) é um material que permite comparar Convolution das famílias Groups e Depthwise
  • 1 Group
  • 2 Groups
  • Depthwise, 8 Groups
  • Depthwise-separable, com pointwise aplicado após 8 Groups

Exemplos de Pixel Shuffle

• Pixel Shuffle - Changing Resolution with Style é um vídeo complementar no YouTube sobre Pixel Shuffle
• No tamanho de bloco 2x2, é possível ver exemplos de Shuffle, Unshuffle e loop de repetição
  • 2x2 Pixel Shuffle
  • 2x2 Pixel Unshuffle
  • 2x2 Pixel Shuffle/Unshuffle Loop
• O mesmo fluxo também é oferecido como exemplo separado para o tamanho de bloco 3x3
  • 3x3 Pixel Shuffle
  • 3x3 Pixel Unshuffle
  • 3x3 Pixel Shuffle/Unshuffle Loop

Licença

• O código do projeto é licenciado sob a MIT License

[GN⁺]

Comentários do Hacker News

• O design é bom, e também há a ferramenta de visualização de CNN da pesquisa da Georgia Tech
  https://poloclub.github.io/cnn-explainer/
  Coleção de ferramentas para projetar e visualizar arquiteturas de redes neurais: https://github.com/ashishpatel26/Tools-to-Design-or-Visualiz...
  Também há o TensorFlow Playground: https://playground.tensorflow.org/

  • ManimML: https://github.com/helblazer811/ManimML
    “But what is a convolution?”: https://youtu.be/KuXjwB4LzSA?si=qwnZMQYJhDxraGc8 https://github.com/3b1b/videos/tree/master/_2022/convolution... https://github.com/3b1b/videos/tree/master/_2023/convolution...
    “Convolution Is Fancy Multiplication”: https://news.ycombinator.com/item?id=25190770#25194658
    Links sobre Manim, Blender, ipyblender, PhysX, o3de, FEM e CFD do https://news.ycombinator.com/item?id=37953886: https://github.com/ManimCommunity/manim/issues/3362
    A combinação Manim + O3DE parece bastante útil para aprendizado, e também há código de um vídeo de algoritmo de cubo mágico feito com Manim: https://github.com/polylog-cs/rubiks-cube-video/blob/main/co...
    Documentação da API do Manim: https://docs.manim.community/en/stable/reference.html
  • O widget “Understanding Hyperparameters” do artigo da poloclub foi especialmente bom, e uma ferramenta feita de forma parecida também pode ajudar
    https://static.laszlokorte.de/conv2d/

• As cores foram usadas muito bem, e no começo achei que fosse um exemplo de animação feito por IA
  Como foi realmente feito à mão, dá para perceber ainda melhor o esforço envolvido, e os vídeos do canal no YouTube também valem a pena

  • Estou deixando o link do canal para facilitar a referência: https://www.youtube.com/@animatedai/videos

• É um bom projeto, mas eu preferiria que não carregasse imagens GIF com mais de 100 MB sem aviso

  • Em uma página que lida com animação, é natural que a mídia seja mais pesada do que em uma página comum, e hoje em dia até sites normais são bem grandes
    O NYT tem 11 MB, o Washington Post 22 MB, e uma única carga do Reddit dá algo em torno de 40 MB
    Em uma página que se propõe a mostrar animações, um tamanho na casa dos 100 MB não me parece algo que exija necessariamente um aviso prévio separado
  • Talvez desse para colocar a antiga tag “56k killer”
  • Sou o criador do site, e obrigado por apontar isso. O número de animações foi aumentando com o tempo, e eu não tinha percebido que o tamanho total tinha ficado tão grande
    Gostaria de saber qual comportamento seria o ideal. Por exemplo, uma imagem estática que começa a reproduzir ao clicar ou tocar, seções escondidas até serem expandidas, ou alguma outra abordagem
  • Para ser exato, são 134 MB

• Ficou muito bem feito, e isso me lembrou estes excelentes vídeos explicativos com animação 3D: https://www.youtube.com/@animagraffs

• Já fiz animações com Manim no passado, e embora tenham menos brilho visual, talvez possam ajudar
  https://www.jerpint.io/blog/cnn-cheatsheet/

• Também queria ver a camada de attention animada desse jeito. Estou quase entendendo, mas ainda não totalmente

  • Ainda não encontrei “aquela visualização” que faça o conceito de attention em Transformers ficar tão fácil de entender quanto esta visualização de CNN
    Se alguém tiver uma página que ajudou naquele momento de eureca de entender completamente a camada de attention, seria ótimo compartilhar
  • Sou o criador do site, e tenho uma boa notícia. Estou trabalhando agora em animações e vídeos explicativos sobre Transformer e self-attention
    Acho que a melhor forma de receber aviso é assinar o canal no YouTube e ativar o ícone de notificações
  • Acho que a ideia é querer ver uma animação de attention. Esta página não mostra attention, e sim convolução

• Para ver um artigo interativo sobre algoritmos específicos de IA, também vale conferir o mlu-explain da Amazon
  https://mlu-explain.github.io/

• Muito bom. Seria ótimo se também houvesse seções sobre RNN ou Transformer, e eu até pagaria para ver isso

• Muitas vezes pensei que a documentação do pandas deveria ter animações assim. O pipeline groupby / split-apply-combine parece algo que daria para explicar com um clipe de 10 segundos