30 Papers - Resumo da lista de artigos essenciais de IA recomendados por Ilya Sutskever

baeba · 2026-07-08T09:33:20+09:00

Com base em uma lista de artigos essenciais de IA que, segundo se diz, Ilya Sutskever recomendou a John Carmack, este é um site que reúne os principais trabalhos de machine learning de forma fácil de acompanhar para iniciantes A lista acompanha os principais caminhos de evolução da IA moderna, incluindo deep learning, visão computacional, modelagem sequencial, attention, transformers, redes neurais em grafos, leis de escalonamento, teoria da informação e teoria da complexidade Em vez de apenas listar os artigos, também reúne notas de aula, textos explicativos e explicações baseadas em código, reduzindo a barreira de entrada aos artigos originais Leitores que queiram entender os grandes modelos de linguagem modernos e os sistemas de deep learning podem revisar em um só lugar os pontos de partida de arquitetura, técnicas de treinamento e teoria da complexidade Embora a lista tenha ficado conhecida originalmente como uma seleção de 30 artigos, o site atualmente organiza apenas 27 itens Introdução Uma lista que organiza materiais centrais para o avanço da IA Este site é um projeto que reúne artigos e materiais de estudo que marcaram os principais pontos de virada da pesquisa em IA. A lista foi montada com base no rumor de que Ilya Sutskever a recomendou a John Carmack. O autor do site informa que, dos 30 artigos da lista completa, por enquanto só conseguiu reunir 27. Cada item inclui o título do artigo, um resumo do conteúdo central e informações sobre os principais contribuidores. O objetivo do material é organizar, de forma fácil de visualizar, as ideias que serviram de base para as tecnologias modernas de IA. Desenvolvimento O avanço da visão computacional e das redes neurais convolucionais CS231n: Convolutional Neural Networks for Visual Recognition É um material didático que explica redes neurais convolucionais desde o básico. Vai de classificadores lineares até modelos profundos de reconhecimento de imagens, de forma gradual. Funciona como material introdutório para aprender CNNs na área de visão computacional. ImageNet Classification with Deep Convolutional Neural Networks É o artigo do AlexNet, vencedor do desafio ImageNet com grande margem de desempenho. Demonstrou a eficácia das redes neurais convolucionais profundas em classificação de imagens em larga escala. É considerado um dos artigos mais representativos por ter impulsionado a era moderna do deep learning. Deep Residual Learning for Image Recognition É o artigo do ResNet, que introduziu conexões residuais. Foi projetado para que a rede aprenda a variação em relação à entrada, em vez da transformação completa. Tornou possível treinar redes neurais profundas com centenas de camadas. Identity Mappings in Deep Residual Networks É um trabalho posterior ao ResNet que analisa por que shortcuts de identidade são eficazes. Propôs o pre-activation residual block para melhorar a estrutura da rede residual. Contribuiu para maior estabilidade de otimização e melhor desempenho em redes profundas. Multi-Scale Context Aggregation by Dilated Convolutions Apresentou um método para ampliar o campo receptivo sem perda de resolução por meio de dilated convolution. Permitiu usar informações de contexto mais amplas em tarefas de previsão densa, como segmentação de imagens. Contribuiu para refletir características de larga escala mantendo informações espaciais detalhadas. Modelos sequenciais e a solução para o problema de dependências de longo prazo The Unreasonable Effectiveness of Recurrent Neural Networks É um post prático de blog que experimenta geração de texto com RNN em nível de caractere. Mostra com exemplos que RNNs conseguem capturar boa parte da estrutura e dos padrões presentes nos dados. Explica de forma intuitiva o potencial da modelagem de dados sequenciais. Understanding LSTM Networks É um material que explica visualmente a estrutura de gates do LSTM e a forma como a informação é transmitida. Foca em entender o princípio de manter informação ao longo de sequências longas. É amplamente usado como material introdutório para quem está aprendendo LSTM pela primeira vez. Recurrent Neural Network Regularization Apresenta uma forma adequada de aplicar dropout a LSTMs. Explica que o dropout deve ser aplicado às non-recurrent connections, e não às recurrent connections. Contribuiu para reduzir overfitting em grandes redes neurais recorrentes. Order Matters: Sequence to Sequence for Sets Analisa o impacto da ordem de entrada e saída no desempenho de modelos sequence-to-sequence. Trata dos problemas que surgem ao processar com modelos sequenciais dados que, em essência, são conjuntos. Oferece uma discussão sobre como modelar estruturas de dados sem ordem. A mudança estrutural que levou de attention aos transformers Neural Machine Translation by Jointly Learning to Align and Translate É um artigo central que introduziu o mecanismo de attention em tradução automática. Permitiu que o modelo consultasse diretamente as palavras relevantes do texto de origem, sem depender de um único vetor de resumo fixo. Depois disso, tornou-se uma base importante para a mudança na arquitetura dos modelos de processamento de linguagem natural. Pointer Networks É um modelo sequencial projetado para que a saída aponte para posições específicas da entrada. É adequado para problemas em que a resposta pode ser expressa como seleção ou ordenação de elementos da entrada. Apresentou uma arquitetura aplicável a problemas de otimização combinatória e previsão estruturada. Attention Is All You Need É o artigo que propôs a arquitetura Transformer. Removeu recurrence e processou dados sequenciais usando apenas self-attention. Tornou-se a principal base estrutural dos grandes modelos de linguagem modernos. The Annotated Transformer É um material que explica o artigo do Transformer linha por linha com código executável. Ajuda a entender a estrutura do artigo original do ponto de vista da implementação prática. Funciona como material de aprendizado que reduz a distância entre artigo acadêmico e implementação de produção. Memória, raciocínio relacional e aprendizado de estruturas em grafos Neural Turing Machines É um modelo que combina redes neurais com memória externa legível e gravável. Controla a memória por meio de attention diferenciável. Sugeriu a possibilidade de aprender algoritmos simples a partir de dados de exemplo. A Simple Neural Network Module for Relational Reasoning É o artigo que propôs a relation network. Adiciona à rede neural um módulo capaz de inferir relações entre pares de objetos. Apresentou uma estrutura útil para raciocínio visual e resolução de problemas baseados em relações. Relational Recurrent Neural Networks Combina memória baseada em self-attention com uma recurrent network. Foi projetado para permitir que as memórias armazenadas interajam entre si. Busca melhorar o desempenho em tarefas que exigem raciocínio relacional ao longo do tempo. Neural Message Passing for Quantum Chemistry Explica redes neurais em grafos de forma unificada dentro de um message passing framework. Aplicou aprendizado baseado em grafos à previsão de propriedades de estruturas moleculares. Pode ser visto como um artigo que organiza a base estrutural da pesquisa em redes neurais em grafos. Treinamento de modelos em larga escala e leis de escalonamento Scaling Laws for Neural Language Models Mediu que a perda de modelos de linguagem diminui seguindo uma power law em função do tamanho do modelo, dos dados e da quantidade de computação. Forneceu base empírica para a construção de modelos de grande escala. Depois disso, tornou-se uma referência importante para estratégias de desenvolvimento de grandes modelos de linguagem. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Apresentou um método de pipeline parallelism para treinar redes neurais gigantes distribuindo-as por vários dispositivos. Tornou prático o treinamento de modelos em larga escala ao distribuir o trabalho de forma eficiente entre dispositivos. Ofereceu uma solução do ponto de vista da infraestrutura de treinamento necessária para ampliar o tamanho dos modelos. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin É um sistema que trata reconhecimento de fala em inglês e mandarim de forma end-to-end. Aprendeu sequências de fala usando connectionist temporal classification. Mostrou o potencial de um modelo de reconhecimento de fala escalável em diferentes ambientes linguísticos. Entendendo aprendizado pela ótica da teoria da informação, compressão e complexidade Keeping Neural Networks Simple by Minimizing the Description Length of the Weights É um estudo inicial que interpreta a generalização de redes neurais relacionando-a ao comprimento de descrição dos pesos. Apresenta a visão de que bons modelos têm pesos que podem ser descritos com poucos bits. Explica em termos de teoria da informação a relação entre compressão e generalização. A Tutorial Introduction to the Minimum Description Length Principle É um material tutorial que apresenta o princípio do comprimento mínimo de descrição. Interpreta aprendizado como o processo de encontrar o modelo que explica os dados da forma mais curta possível. Fornece os conceitos básicos necessários para entender seleção de modelos e aprendizado baseado em compressão. Kolmogorov Complexity É uma teoria sobre o comprimento do programa mais curto capaz de gerar uma string. Fornece a base formal para description length e algorithmic randomness. Conecta-se às discussões sobre compressão, generalização e complexidade em modelos de IA. The First Law of Complexodynamics É um texto que investiga a lei que explica por que a complexidade aumenta e depois diminui em sistemas fechados. Trata a complexidade não apenas como equivalente à entropia, mas como uma característica dinâmica distinta. Levanta questões conceituais sobre a variação temporal de sistemas complexos. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton É um estudo que modela o processo de mistura de café e creme com um autômato celular. Analisa o fenômeno em que a complexidade aumenta e depois diminui à medida que o sistema caminha para o equilíbrio. Mostra uma tentativa de quantificar a mudança temporal da complexidade. Modelos generativos e o conceito de inteligência universal Variational Lossy Autoencoder É um modelo que combina autoencoder variacional com um autoregressive decoder. Apresenta uma forma de controlar que tipo de informação o latent code deve preservar. Trata do equilíbrio entre aprendizado de representação e preservação de informação em modelos generativos. Machine Super Intelligence É uma tese de doutorado que propõe uma forma universal de medir inteligência de máquina. Explora teoricamente as propriedades e consequências de agentes extremamente poderosos. Pode ser vista como uma das bases formais das discussões sobre inteligência artificial geral e superinteligência. Conclusão Uma lista de referência que comprime os principais caminhos de evolução da IA moderna Esta lista organiza, por fluxo tecnológico, os principais conceitos que impulsionaram o desenvolvimento da IA moderna. Mostra a mudança estrutural que vai dos primeiros modelos de visão computacional para RNN, LSTM, attention, Transformer e scaling laws. Inclui de forma ampla otimização de redes neurais, treinamento em larga escala, aprendizado de estruturas em grafos, teoria da informação e teoria da complexidade. Não é apenas uma lista de artigos de uma única área, mas sim um caminho de aprendizado em múltiplas camadas para entender a IA moderna. Para pesquisadores e desenvolvedores de IA, pode servir como material básico para compreender ao mesmo tempo o contexto histórico da tecnologia, os princípios centrais e as direções de pesquisa.

(30papers.com)

21 pontos por baeba 4 시간 전 | 2 comentários | Compartilhar no WhatsApp

Com base em uma lista de artigos essenciais de IA que, segundo se diz, Ilya Sutskever recomendou a John Carmack, este é um site que reúne os principais trabalhos de machine learning de forma fácil de acompanhar para iniciantes
A lista acompanha os principais caminhos de evolução da IA moderna, incluindo deep learning, visão computacional, modelagem sequencial, attention, transformers, redes neurais em grafos, leis de escalonamento, teoria da informação e teoria da complexidade
Em vez de apenas listar os artigos, também reúne notas de aula, textos explicativos e explicações baseadas em código, reduzindo a barreira de entrada aos artigos originais
Leitores que queiram entender os grandes modelos de linguagem modernos e os sistemas de deep learning podem revisar em um só lugar os pontos de partida de arquitetura, técnicas de treinamento e teoria da complexidade
Embora a lista tenha ficado conhecida originalmente como uma seleção de 30 artigos, o site atualmente organiza apenas 27 itens

Introdução

Uma lista que organiza materiais centrais para o avanço da IA

Este site é um projeto que reúne artigos e materiais de estudo que marcaram os principais pontos de virada da pesquisa em IA.
A lista foi montada com base no rumor de que Ilya Sutskever a recomendou a John Carmack.
O autor do site informa que, dos 30 artigos da lista completa, por enquanto só conseguiu reunir 27.
Cada item inclui o título do artigo, um resumo do conteúdo central e informações sobre os principais contribuidores.
O objetivo do material é organizar, de forma fácil de visualizar, as ideias que serviram de base para as tecnologias modernas de IA.

Desenvolvimento

O avanço da visão computacional e das redes neurais convolucionais

CS231n: Convolutional Neural Networks for Visual Recognition
- É um material didático que explica redes neurais convolucionais desde o básico.
- Vai de classificadores lineares até modelos profundos de reconhecimento de imagens, de forma gradual.
- Funciona como material introdutório para aprender CNNs na área de visão computacional.
ImageNet Classification with Deep Convolutional Neural Networks
- É o artigo do AlexNet, vencedor do desafio ImageNet com grande margem de desempenho.
- Demonstrou a eficácia das redes neurais convolucionais profundas em classificação de imagens em larga escala.
- É considerado um dos artigos mais representativos por ter impulsionado a era moderna do deep learning.
Deep Residual Learning for Image Recognition
- É o artigo do ResNet, que introduziu conexões residuais.
- Foi projetado para que a rede aprenda a variação em relação à entrada, em vez da transformação completa.
- Tornou possível treinar redes neurais profundas com centenas de camadas.
Identity Mappings in Deep Residual Networks
- É um trabalho posterior ao ResNet que analisa por que shortcuts de identidade são eficazes.
- Propôs o pre-activation residual block para melhorar a estrutura da rede residual.
- Contribuiu para maior estabilidade de otimização e melhor desempenho em redes profundas.
Multi-Scale Context Aggregation by Dilated Convolutions
- Apresentou um método para ampliar o campo receptivo sem perda de resolução por meio de dilated convolution.
- Permitiu usar informações de contexto mais amplas em tarefas de previsão densa, como segmentação de imagens.
- Contribuiu para refletir características de larga escala mantendo informações espaciais detalhadas.

Modelos sequenciais e a solução para o problema de dependências de longo prazo

The Unreasonable Effectiveness of Recurrent Neural Networks
- É um post prático de blog que experimenta geração de texto com RNN em nível de caractere.
- Mostra com exemplos que RNNs conseguem capturar boa parte da estrutura e dos padrões presentes nos dados.
- Explica de forma intuitiva o potencial da modelagem de dados sequenciais.
Understanding LSTM Networks
- É um material que explica visualmente a estrutura de gates do LSTM e a forma como a informação é transmitida.
- Foca em entender o princípio de manter informação ao longo de sequências longas.
- É amplamente usado como material introdutório para quem está aprendendo LSTM pela primeira vez.
Recurrent Neural Network Regularization
- Apresenta uma forma adequada de aplicar dropout a LSTMs.
- Explica que o dropout deve ser aplicado às non-recurrent connections, e não às recurrent connections.
- Contribuiu para reduzir overfitting em grandes redes neurais recorrentes.
Order Matters: Sequence to Sequence for Sets
- Analisa o impacto da ordem de entrada e saída no desempenho de modelos sequence-to-sequence.
- Trata dos problemas que surgem ao processar com modelos sequenciais dados que, em essência, são conjuntos.
- Oferece uma discussão sobre como modelar estruturas de dados sem ordem.

A mudança estrutural que levou de attention aos transformers

Neural Machine Translation by Jointly Learning to Align and Translate
- É um artigo central que introduziu o mecanismo de attention em tradução automática.
- Permitiu que o modelo consultasse diretamente as palavras relevantes do texto de origem, sem depender de um único vetor de resumo fixo.
- Depois disso, tornou-se uma base importante para a mudança na arquitetura dos modelos de processamento de linguagem natural.
Pointer Networks
- É um modelo sequencial projetado para que a saída aponte para posições específicas da entrada.
- É adequado para problemas em que a resposta pode ser expressa como seleção ou ordenação de elementos da entrada.
- Apresentou uma arquitetura aplicável a problemas de otimização combinatória e previsão estruturada.
Attention Is All You Need
- É o artigo que propôs a arquitetura Transformer.
- Removeu recurrence e processou dados sequenciais usando apenas self-attention.
- Tornou-se a principal base estrutural dos grandes modelos de linguagem modernos.
The Annotated Transformer
- É um material que explica o artigo do Transformer linha por linha com código executável.
- Ajuda a entender a estrutura do artigo original do ponto de vista da implementação prática.
- Funciona como material de aprendizado que reduz a distância entre artigo acadêmico e implementação de produção.

Memória, raciocínio relacional e aprendizado de estruturas em grafos

Neural Turing Machines
- É um modelo que combina redes neurais com memória externa legível e gravável.
- Controla a memória por meio de attention diferenciável.
- Sugeriu a possibilidade de aprender algoritmos simples a partir de dados de exemplo.
A Simple Neural Network Module for Relational Reasoning
- É o artigo que propôs a relation network.
- Adiciona à rede neural um módulo capaz de inferir relações entre pares de objetos.
- Apresentou uma estrutura útil para raciocínio visual e resolução de problemas baseados em relações.
Relational Recurrent Neural Networks
- Combina memória baseada em self-attention com uma recurrent network.
- Foi projetado para permitir que as memórias armazenadas interajam entre si.
- Busca melhorar o desempenho em tarefas que exigem raciocínio relacional ao longo do tempo.
Neural Message Passing for Quantum Chemistry
- Explica redes neurais em grafos de forma unificada dentro de um message passing framework.
- Aplicou aprendizado baseado em grafos à previsão de propriedades de estruturas moleculares.
- Pode ser visto como um artigo que organiza a base estrutural da pesquisa em redes neurais em grafos.

Treinamento de modelos em larga escala e leis de escalonamento

Scaling Laws for Neural Language Models
- Mediu que a perda de modelos de linguagem diminui seguindo uma power law em função do tamanho do modelo, dos dados e da quantidade de computação.
- Forneceu base empírica para a construção de modelos de grande escala.
- Depois disso, tornou-se uma referência importante para estratégias de desenvolvimento de grandes modelos de linguagem.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Apresentou um método de pipeline parallelism para treinar redes neurais gigantes distribuindo-as por vários dispositivos.
- Tornou prático o treinamento de modelos em larga escala ao distribuir o trabalho de forma eficiente entre dispositivos.
- Ofereceu uma solução do ponto de vista da infraestrutura de treinamento necessária para ampliar o tamanho dos modelos.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- É um sistema que trata reconhecimento de fala em inglês e mandarim de forma end-to-end.
- Aprendeu sequências de fala usando connectionist temporal classification.
- Mostrou o potencial de um modelo de reconhecimento de fala escalável em diferentes ambientes linguísticos.

Entendendo aprendizado pela ótica da teoria da informação, compressão e complexidade

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- É um estudo inicial que interpreta a generalização de redes neurais relacionando-a ao comprimento de descrição dos pesos.
- Apresenta a visão de que bons modelos têm pesos que podem ser descritos com poucos bits.
- Explica em termos de teoria da informação a relação entre compressão e generalização.
A Tutorial Introduction to the Minimum Description Length Principle
- É um material tutorial que apresenta o princípio do comprimento mínimo de descrição.
- Interpreta aprendizado como o processo de encontrar o modelo que explica os dados da forma mais curta possível.
- Fornece os conceitos básicos necessários para entender seleção de modelos e aprendizado baseado em compressão.
Kolmogorov Complexity
- É uma teoria sobre o comprimento do programa mais curto capaz de gerar uma string.
- Fornece a base formal para description length e algorithmic randomness.
- Conecta-se às discussões sobre compressão, generalização e complexidade em modelos de IA.
The First Law of Complexodynamics
- É um texto que investiga a lei que explica por que a complexidade aumenta e depois diminui em sistemas fechados.
- Trata a complexidade não apenas como equivalente à entropia, mas como uma característica dinâmica distinta.
- Levanta questões conceituais sobre a variação temporal de sistemas complexos.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- É um estudo que modela o processo de mistura de café e creme com um autômato celular.
- Analisa o fenômeno em que a complexidade aumenta e depois diminui à medida que o sistema caminha para o equilíbrio.
- Mostra uma tentativa de quantificar a mudança temporal da complexidade.

Modelos generativos e o conceito de inteligência universal

Variational Lossy Autoencoder
- É um modelo que combina autoencoder variacional com um autoregressive decoder.
- Apresenta uma forma de controlar que tipo de informação o latent code deve preservar.
- Trata do equilíbrio entre aprendizado de representação e preservação de informação em modelos generativos.
Machine Super Intelligence
- É uma tese de doutorado que propõe uma forma universal de medir inteligência de máquina.
- Explora teoricamente as propriedades e consequências de agentes extremamente poderosos.
- Pode ser vista como uma das bases formais das discussões sobre inteligência artificial geral e superinteligência.

Conclusão

Uma lista de referência que comprime os principais caminhos de evolução da IA moderna

Esta lista organiza, por fluxo tecnológico, os principais conceitos que impulsionaram o desenvolvimento da IA moderna.
Mostra a mudança estrutural que vai dos primeiros modelos de visão computacional para RNN, LSTM, attention, Transformer e scaling laws.
Inclui de forma ampla otimização de redes neurais, treinamento em larga escala, aprendizado de estruturas em grafos, teoria da informação e teoria da complexidade.
Não é apenas uma lista de artigos de uma única área, mas sim um caminho de aprendizado em múltiplas camadas para entender a IA moderna.
Para pesquisadores e desenvolvedores de IA, pode servir como material básico para compreender ao mesmo tempo o contexto histórico da tecnologia, os princípios centrais e as direções de pesquisa.

2 comentários

GN⁺ 2 시간 전

Opiniões no Hacker News

Não imaginava que este post fosse atrair tanta atenção; originalmente pensei nele como um pequeno projeto para ajudar amigos a começarem a ler artigos de pesquisa.
Recebi bastante feedback dizendo que o fundo e as animações eram fortes demais, então acho que acabei priorizando demais uma aparência legal em vez da usabilidade.
Por isso, adicionei toggles para desativar separadamente o movimento da página e o fundo dos artigos.
Também houve comentários pedindo impressões mais pessoais sobre cada artigo; para alguns dos artigos populares, já escrevi algo no X em @notmcrowley.
Se for útil, posso adicionar isso ao site, mas nunca estudei ML ou AI formalmente, então minhas interpretações são apenas pessoais e podem estar erradas.
Se alguém mais experiente quiser contribuir, pode entrar em contato.
- Para quem nunca usou Twitter e não pretende criar uma conta, seria ótimo adicionar essas impressões pessoais ao site.
  Estou tentando começar a ler artigos de pesquisa, como seus amigos, então esta coletânea é exatamente o material de que preciso agora.
Alguém postou no X que “estes são os 30 artigos do Ilya”, mas não citou fonte nem disse de onde tirou isso, e também não é alguém ligado ao Ilya ou ao Carmack.
E a situação é mesmo que, com base nisso, alguém fez por vibe coding um site minimamente usável, e ele foi parar na primeira página do HN?
- Um estudante do primeiro ano de Ciência da Computação se interessou por um tema, fez um pequeno site com uma coletânea de artigos e postou no HN para compartilhar com outras pessoas.
  E a situação é mesmo que alguém deixou um comentário não muito simpático.
- Coletâneas de recursos para geeks são basicamente isca.
  Aquelas coisas que você salva nos favoritos e recomenda, para nunca mais olhar de novo :)
- O site até menciona a fonte em certa medida.
  Está escrito: “lista de artigos que há rumores de que Ilya Sutskever deu a John Carmack”.
  A Manning também tem um livro chamado A lista de Ilya.
  https://www.manning.com/books/sutskevers-list
- Apareceu mais um do contra, como se já não houvesse o suficiente.
Sou o autor. Estou no primeiro ano de Ciência da Computação no Trinity College Dublin e criei isto por causa da experiência de gastar uma quantidade enorme de uso do Claude fazendo perguntas que outras pessoas provavelmente já tinham feito ao começar a ler artigos de pesquisa.
O site é só um projeto paralelo e claramente ainda está em andamento.
Posso responder a perguntas ou receber PRs no GitHub.
- Seria útil ter uma opção para desativar as animações e mostrar os links dos artigos como uma lista simples.
- Acho que seria interessante ouvir qual é o objetivo do site.
  Fico curioso se é apenas rehospedar a lista e converter os artigos para um novo formato.
  Eu esperava que pelo menos houvesse anotações sobre o que você aprendeu com cada artigo.
Seria bom se estivesse organizado em uma ordem de leitura recomendada ou lógica.
Por exemplo, o artigo que introduziu o mecanismo de atenção deveria vir antes de “Attention Is All You Need”.
- Concordo. Se os artigos estiverem em uma ordem de leitura lógica, seria muito útil deixar isso claro logo no topo.
Este pode ser o post original no X que popularizou a lista. Foi publicado em 2024 e tem 876 mil visualizações.
https://x.com/keshavchan/status/1787861946173186062
Não acho que valha muito a pena discutir se a lista foi realmente criada pelo Ilya ou não.
Muitos dos artigos são amplamente reconhecidos como materiais educativos, por exemplo annotated transformer, unreasonable effectiveness of RNNs e understanding LSTM networks.
Outros são artigos representativos que quem se interessa pela área tem algo a ganhar lendo: Krizhevsky et al. (2012) introduziu a AlexNet, Bahdanau et al. (2014) introduziu a atenção, He et al. (2015) introduziu a ResNet, e Vaswani et al. (2017) introduziu o Transformer.
Os artigos restantes são mais especializados, mas, entre eles, acho que Kaplan et al. (2020), da OpenAI, é provavelmente o mais importante.
Para iniciantes, quando ainda não se está acostumado a ler artigos, recomendo o Welch Labs Illustrated Guide To AI.
É um livro lindo e foi prazeroso de ler.
Acho que ler estes artigos depois disso permitirá uma compreensão mais profunda.
No começo achei que eram “os 30 principais artigos escritos por Ilya” e fiquei momentaneamente confuso sobre por que “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” estava na lista.
Na frase “não li as versões do site de ponta a ponta”, também não fica claro se “versões do site” se refere ao texto real ou às “explicações”.
De qualquer forma, parece um grande sinal de alerta.
Depois de ver esta lista pela primeira vez, criei o PdfToMp3 para ouvir estes artigos.
Hoje ele evoluiu para o ListenDock.
O interessante é que o PdfToMp3 existia antes do NotebookLM e já tinha um “resumo geral”, embora na época eu chamasse isso de explicação do professor.
Um exemplo de “Teacher Explanation” para o artigo “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” está aqui:
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- Não sei por que recebo downvotes sempre que posto algo aqui.
  Fico me perguntando se é porque parece spam demais, porque é AI, ou se existe um bot de downvote me perseguindo.
Chamam atenção os artigos teóricos sobre complexidade de Kolmogorov.
Para quem não conhece, Ilya argumenta que o motivo pelo qual redes neurais generalizam — ou seja, por que funcionam em primeiro lugar — é que elas, na prática, encontram uma forma simples de explicar os dados de treinamento e convergem para o limite da complexidade de Kolmogorov [1].
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- Isso vale para qualquer modelo estatístico, não é uma propriedade mágica exclusiva das redes neurais.
Gosto da forma como a lista é apresentada.
Assistir a algumas palestras ou podcasts do Ilya antes ou durante a leitura destes artigos pode ajudar a entender a visão geral e como os trabalhos se conectam.
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

Obrigado pela lista de materiais para estudar e entrar no universo dos LLMs/IA modernos.

-> As CNNs ensinam a ler o espaço; as RNNs/LSTMs, a lembrar o tempo; a attention, a buscar as informações necessárias; o Transformer, a paralelizar esse processo; as linhas de GNN/Relation/Memory, a calcular as relações entre objetos; os artigos sobre scaling/infrastructure, a treinar isso em grande escala; e as linhas de MDL/Kolmogorov/complexity oferecem uma forma de pensar por que o aprendizado é um problema de compressão e generalização.

Ou seja, os artigos desta lista de 27 itens são um conjunto de materiais que mostram, por vários ângulos, a perspectiva de que “sistemas inteligentes se tornam mais fortes quando combinam bons vieses indutivos, fluxo de informação estável, memória seletiva, cálculo de relações, aprendizado em larga escala e a descoberta de estruturas compressíveis”.