Livro introdutório sobre IA recomendado pelo cofundador da HuggingFace

 (thomwolf.io)
52 pontos por xguru 2024-05-21 | 4 comentários | Compartilhar no WhatsApp
  • O cofundador e CSO Thomas Wolf se formou em física e direito
  • Esta é a lista de leituras que ele fez ao entrar nas áreas de NLP/AI/ML em 2016~17
    • Ou seja, vale lembrar que isso foi antes das revoluções do ChatGPT/Transformers/Diffusion
  • O livro "Deep Learning" é um bom material para obter uma visão geral rápida das ferramentas atuais
  • "Artificial Intelligence: A Modern Approach" é um excelente material sobre todas as ferramentas e métodos anteriores às redes neurais
  • "Machine Learning: A Probabilistic Perspective" é um excelente material para se aprofundar mais na abordagem probabilística e ter uma boa exposição às ferramentas bayesianas
  • "Information Theory, Inference and Learning Algorithms" é uma pequena joia que explica probabilidade e teoria da informação com uma clareza quase inacreditável
  • "The Book of Why: The New Science of Cause and Effect" é uma boa introdução à causalidade
  • "Reinforcement Learning: An Introduction(Aprendizado por Reforço Sólido)" é um excelente material para obter uma introdução ao aprendizado por reforço
  • Três ótimos materiais sobre processamento de linguagem natural chamaram atenção
  • Ele complementou isso com alguns cursos online
  • Se você estiver entrando na área após a revolução dos Transformers e do treinamento em larga escala, provavelmente vai querer seguir um caminho diferente
    • Alguns conselhos para 2024:
      • Ler nosso livro sobre NLP e Transformers, Natural Language Processing with Transformers. Ele é anterior ao ChatGPT, mas continua muito relevante e, no final, chega até o treinamento de LLMs
      • Fazer algumas aulas online sobre deep learning com nomes conhecidos da área
      • Ainda dá para ler alguns livros da lista acima para formação geral e, em especial, ele ainda considera "Information Theory, Inference and Learning Algorithms" uma joia
      • Entrar na Hugging Face para aprender na prática :)

Leituras relacionadas

4 comentários

 
ninebow 2024-05-22

O nome me pareceu familiar, então fui procurar e vi que era aquela pessoa que tinha publicado, lá pelo fim de março, um vídeo sobre tendências no desenvolvimento de modelos LLM. (Ainda não consegui assistir tudo ;_;)

É um vídeo no YouTube com o título 'A Little guide to building Large Language Models in 2024', que aborda vários aspectos do desenvolvimento de LLMs, desde a preparação de dados até métodos de treinamento e avaliação.
 
nuthatch 2024-05-21

<Deep Learning> - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://aladin.kr/p/OLwph

<Inteligência Artificial 1~2 - 2 volumes> - Stuart Russell, Peter Norvig http://aladin.kr/p/g4yZY

<Machine Learning Aprendizado de Máquina> - Kevin Murphy http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - David MacKay http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - Dana Mackenzie, Judea Pearl http://aladin.kr/p/cLywB

<Aprendizado por Reforço Sólido> - Richard Sutton, Andrew Barto http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning - Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<Os Fundamentos do Processamento de Linguagem Natural> - Jacob Eisenstein http://aladin.kr/p/rPoLB
 
ninebow 2024-05-22

Muito obrigado por organizar isso!!
Ao compartilhar o texto, também levei junto a lista que você organizou; caso não queira isso, vou removê-la. 🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2
 
nottiger 2024-05-22

Obrigado ;_;