Ilya Sutskever: “Se você aprender tudo isso, saberá 90% do que importa”

Uma lista de leituras recomendadas por Ilya Sutskever sobre machine learning/IA

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• PAGE 434 onwards: Komogrov Complexity
• CS231n Convolutional Neural Networks for Visual Recognition

Coletânea de links: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

Parece que há um problema com o rastreamento do bot da Neo.

[xguru]

Parece que o Reddit está bloqueando. Coloquei manualmente ;)

[GN⁺]

Comentários do Hacker News

Resumo dos comentários do Hacker News

• A manchete esconde a real dimensão dessa tarefa. Se você clicar para ver do que se trata:

  • um dos itens é um curso completo sobre redes neurais convolucionais link
  • outro é um livro-texto de 500 páginas link
  • outro ainda é um livro-texto de 80 páginas link
  • talvez seja possível estudar essa lista em cerca de um ano em tempo integral. Dependendo das prioridades, pode valer a pena.

• Há algum tempo eu కూడా copiei a lista em link para facilitar o uso de wget (por exemplo, baixar todos os PDFs do arXiv)

  • é possível usar o comando wget para baixar todos os PDFs do arXiv.
  • junto com um amigo, usei o pdfunite para juntar tudo em um único PDF e mandei imprimir em espiral em uma gráfica. O resultado ficou muito bom.

• Vale lembrar que não há confirmação de que esta seja a lista real.

  • não foi confirmado que esta seja a lista verdadeira.
  • dizem que esta é a lista que Ilya deu a John Carmack há um ano.

• Quanto tempo leva para aprender os pré-requisitos necessários para estudar isso, se você ainda não tem formação em Ciência da Computação?

  • ao ler a lista, parecia difícil entender até metade dos títulos.
  • fico na dúvida se, ao começar por essa lista, eu conseguiria entendê-la ou se deveria começar por outro lugar.

• O que as pessoas esquecem é que, sem um objetivo adequado e tangível, não importa quantos artigos fundamentais ou interessantes você leia, no fim você não vai se lembrar de nada.

  • sem um objetivo claro e concreto, por mais artigos que você leia, nada ficará na memória.

• Há algumas discussões anteriores sobre isso, remontando a outubro de 2022. Fico pensando o quanto essa lista já está desatualizada.

  • houve algumas discussões desde outubro de 2022.

• Isso é só a pasta de favoritos de alguém. Onde está a prova de que isso foi recomendado pelo Ilya?

  • não há prova de que essa lista tenha sido recomendada por Ilya. Pode ser apenas a pasta de favoritos de alguém.

• O argumento de que isso representa 90% do que importa em ML parece um pouco ousado.

  • a afirmação de que essa lista cobre 90% do que é importante em machine learning é ousada. Tópicos importantes como aprendizado por reforço e redes neurais em grafos estão ausentes.

• Não há nada aí sobre LLMs, justamente onde aprendizado em contexto, retrieval augmentation, uso de ferramentas e multimodalidade estão avançando rapidamente.

  • a lista não traz nada sobre modelos de linguagem grandes (LLMs). Faltam temas importantes como aprendizado em contexto, retrieval augmentation, uso de ferramentas e multimodalidade.

• Ler 30 estudos não significa "aprendeu e entendeu".

  • ler 30 artigos não significa que a pessoa "aprendeu e entendeu". Especialmente se estiver começando do zero.