Entendendo 'Automatic Differentiation' em 30 linhas de Python

• O artigo explica, usando Python, o importante conceito de diferenciação automática, que é um componente central do treinamento de redes neurais.
• O autor é um engenheiro de machine learning que usa bibliotecas como Tensorflow e Pytorch, e tem como objetivo escrever o código mais simples possível para realizar diferenciação automática.
• O autor começa escrevendo um código em Python que soma duas variáveis, x e y, e atribui o resultado à variável z. No entanto, z não rastreia as variáveis usadas, então é impossível atualizar automaticamente o valor de z quando o valor de x ou y muda.
• Para resolver isso, o autor apresenta uma classe Tensor que permite cálculo simbólico sobre variáveis. Nessa classe, a operação de soma é redefinida.
• A classe Tensor é aprimorada ainda mais com o uso de uma árvore binária. Cada tensor pode conter outros dois tensores e a operação que o criou. Isso é feito com a introdução de uma tupla Children.
• O autor adiciona um método forward à classe Tensor para executar o grafo computacional e calcular o valor real dos tensores.
• O autor introduz diferenciação automática no grafo computacional ao adicionar derivadas para as operações básicas suportadas pela classe Tensor. As chamadas recursivas da função grad percorrem o grafo computacional e decompõem funções complexas em combinações de funções simples.
• A classe Tensor é expandida para lidar com fórmulas mais complexas por meio da adição de outras operações, como subtração, divisão, exponenciação e negação.
• O autor demonstra o uso da classe Tensor criando fórmulas complexas e derivando-as.
• O autor conclui propondo possíveis melhorias e otimizações para a classe Tensor, como adicionar operações para arrays de tamanho arbitrário, interromper a travessia em nós que não dependem do tensor x e configurar cache para evitar repetição de cálculos.
• O objetivo do artigo é ajudar os leitores a entender como a diferenciação automática é realizada para otimização e treinamento de redes neurais.

[GN⁺]

Comentários do Hacker News

• Os leitores valorizam demonstrações de código concisas e elegantes que ajudam a entender conceitos complexos.
• A explicação de diferenciação automática no texto principal parece excessivamente simplificada, pois cobre apenas o caso em que o grafo é uma árvore e não trata grafos acíclicos dirigidos mais complexos.
• Alguns leitores acharam a diferenciação automática muito interessante e escreveram sua própria introdução ao conceito.
• Um leitor compartilhou sua própria implementação de autodiff em 26 linhas de Python.
• As técnicas discutidas são semelhantes às usadas em "rastreamento de dependências" e em sistemas de Knowledge Based Engineering que reduzem cálculos em grandes modelos 3D paramétricos.
• O vídeo de Andrej Karpathy construindo um motor de autograd foi recomendado por ser esclarecedor.
• Alguns leitores sugerem que a diferenciação automática não necessariamente constrói um grafo de operações e, em vez disso, calcula os valores correspondentes em tempo real.
• Há a sugestão de que explicar autodiff como uma regra da cadeia numérica é mais claro.
• Foi levantada uma pergunta sobre a justificativa para chamar a classe de tensor.
• A simplicidade da implementação surpreendeu alguns leitores, tornando o conceito mais acessível do que eles imaginavam inicialmente.
• A implementação foi comparada ao free monad de Haskell, indicando a relevância do tema entre diferentes linguagens.