Entendendo Deep Learning

Resumo do conteúdo do livro

• O livro "Understanding Deep Learning", escrito por Simon J.D. Prince, está previsto para ser publicado pela MIT Press em 5 de dezembro de 2023.
• O livro aborda diversos tópicos para ajudar na compreensão de deep learning e explica o conteúdo de forma que até engenheiros de software iniciantes possam entender.
• Os principais conteúdos do livro incluem aprendizado supervisionado, redes neurais, funções de perda, treinamento de modelos, medição de desempenho, regularização, redes convolucionais, redes residuais, transformers, redes neurais em grafos, aprendizado não supervisionado, redes adversariais generativas, fluxos normalizantes, autoencoders variacionais, modelos de difusão, aprendizado por reforço profundo, como o deep learning funciona, deep learning e ética.

Materiais para educadores

• Um manual de respostas para educadores é fornecido pela MIT Press mediante apresentação de credenciais.
• Cópias para uso em aula podem ser solicitadas à MIT Press.
• Materiais gráficos de cada capítulo são fornecidos nos formatos PDF, SVG e PowerPoint.

Materiais para estudantes

• São fornecidas respostas para perguntas selecionadas e notebooks em Python, o que ajuda os estudantes a compreender melhor o deep learning por meio da prática.
• Os notebooks cobrem diversos tópicos, como fundamentos matemáticos, aprendizado supervisionado, redes neurais rasas, redes neurais profundas, funções de perda, treinamento de modelos, gradientes e inicialização, medição de desempenho, regularização, redes convolucionais, redes residuais, transformers, redes neurais em grafos, redes adversariais generativas, fluxos normalizantes, autoencoders variacionais, modelos de difusão, aprendizado por reforço profundo, como o deep learning funciona, deep learning e ética.

Opinião do GN⁺

• Este livro oferece uma compreensão abrangente de deep learning e é útil para quem está aprendendo, pois inclui tanto explicações teóricas quanto casos de aplicação prática.
• Ao fornecer material para que engenheiros de software iniciantes aprendam de forma sistemática desde os conceitos básicos de deep learning até tópicos avançados, ele oferece uma oportunidade de desenvolver interesse e conhecimento na área.
• O mais importante é que ele inclui notebooks em Python para prática e materiais para educadores, permitindo vivenciar a aplicação do conhecimento teórico na resolução de problemas reais.

[GN⁺]

Opiniões do Hacker News

• • Os comentários se dividem, em geral, em duas posições: 1) esse tipo de conhecimento não é necessário para construir sistemas de IA, 2) esse conhecimento básico é necessário para entender o que realmente está acontecendo.
  • As duas perspectivas estão corretas. A área está se dividindo entre engenheiros de ML e cientistas de ML (ou pesquisadores).
  • É bom ter os dois perfis na equipe. Os cientistas podem ser mais lentos, e os engenheiros vão avançar experimentando várias APIs e modelos open source. Mas, quando encontram obstáculos ou precisam ajustar algoritmos, muitos engenheiros podem ter dificuldades. Para isso, é necessário um mindset de P&D que é pouco familiar para muitos engenheiros.
  • É aí que a importância do cientista de IA se destaca.
• • Se eu começar a estudar IA agora, ainda posso me aproximar de me tornar um especialista?
  • Há preocupação com iniciar uma jornada que talvez exija mestrado ou doutorado.
• • Há curiosidade sobre se aprender essa área agora só faz sentido por motivos históricos ou se ainda continua relevante para empregos no futuro.
  • Imagina-se que a OpenAI vá dominar tudo relacionado à IA, mas fica a dúvida se essa visão está correta.
• • Este livro é impressionante. Gostei do capítulo sobre os 'efeitos irracionais do deep learning'. Há outros livros que também valem a atenção?
• • Trabalho há décadas em várias plataformas de machine learning em uma grande empresa de tecnologia famosa. Tudo em que trabalhei fica obsoleto rapidamente. Desde algoritmos de ML até plataformas de computação, tudo é volátil. Como só um pequeno grupo de empresas de elite lidera praticamente toda a inovação em ML, para muita gente aprender esse tipo de material parece contraditório.
• • É difícil avaliar um livro desses... (só pelo sumário?)
  • Quem é o autor?
  • Ele tem outras publicações bem avaliadas?
  • Há boas resenhas de pessoas que conhecem a área?
  • Há boas resenhas de estudantes que não sabem nada?
• • Talvez seja uma pergunta boba, mas: como se compra o livro físico?
• • Parece que a imagem em PDF sobre 'por que o deep learning funciona' está apontando para 'deep learning e ética', e o contrário também parece acontecer.
• • Excelente trabalho, e é incrível disponibilizar isso de graça!!
• • Não há capítulo sobre RNN, mas, como a última coisa que li foi 'Deep Learning', de Ian Goodfellow, em 2016, é interessante ver um capítulo sobre transformers.