Toda vez que Karpathy deixa uma empresa, parece que ele cria ótimos materiais educativos no tempo livre e faz a área dar um salto
Tem algum exemplo? Não estou tão familiarizado com essa área
Sim, desta vez seria ótimo se saísse bastante conteúdo relacionado a open source
Karpathy é um professor realmente excelente. Fiz o curso de visão computacional dele e gostaria que ele ensinasse mais e levasse isso a sério
Ser um influenciador popular de IA não significa ser um bom pesquisador e, na verdade, parece ter uma forte correlação negativa com ser um bom líder de negócios ou fundador
Espero que ele volte a essa arte perdida, tão necessária hoje, de explicar coisas complexas com elegância, e faça isso com calma, sem se desviar demais para perder tempo com os vigaristas do Vale do Silício
Quanto mais penso nisso, mais acho que o fato de os tweets dele irem direto para a primeira página do Hacker News deve afetar bastante uma pessoa. Pelo nome e pela influência, propostas e oportunidades se acumulam, mas isso talvez não signifique que sejam realmente as posições mais adequadas para ele
Seria bom se o conhecimento fosse devidamente recompensado. O YouTube parece ser o que chega mais perto, mas também mostra quanto tempo educadores no YouTube precisam gastar atraindo visualizações em vez de ensinar sua especialidade
Essa ideia de que propostas se acumulam por causa do nome e da influência, mas podem não corresponder à adequação real, infelizmente parece uma versão condensada da vida. Raramente a pessoa mais adequada consegue uma posição específica; ela pode ser filtrada por ser superqualificada, cair na etapa de RH, ou ser recusada por motivos vagos como exigência de voltar ao escritório, rejeição de contraproposta ou fatores ilegais não declarados
É um jogo ruim, então é difícil culpar alguém por aproveitar as cartas que recebeu
Às vezes eu gostaria que dar aulas, como profissão inteira, fosse mais valorizado. Quero ganhar a vida ensinando, sem fazer pesquisa
Acho que bons professores se tornam excelentes pesquisadores. Porque precisam entender muito bem sua área, antecipar e fazer a si mesmos as perguntas necessárias, sempre olhar para o campo com olhos novos, colaborar bem e, acima de tudo, ter boa capacidade de comunicação
Educadores excelentes como Karpathy constroem algo do zero e explicam de um jeito que eu consigo entender. Fico me perguntando se isso é uma questão de habilidade do instrutor ou se estudantes como eu não têm competência suficiente para entender outros materiais
Pequena correção: não é “b-lined”, é bee-lined
Normalmente eu não apontaria esse tipo de coisa, mas “b-lined” também pode ser lido com o sentido oposto, de baixa prioridade, como em “B-list celebrity”
Sinceramente, a OpenAI parece estar perdendo o brilho rapidamente
Plugins foram um fracasso, GPTs são um pouco melhores, mas ainda não vejo product-market fit. O GPT-4 ainda está no trono, mas já não é tão dominante quanto antes, e como eles não publicam artigos, também não está claro se estão fazendo boa pesquisa
Agora o GPT-5 precisa ser incrivelmente bom, mas não sei se será mesmo
Sei que esta área se move especialmente rápido, mas o GPT-4 foi lançado há menos de um ano. Dizer que está perdendo o brilho porque eles não lançam a cada trimestre um novo modelo capaz de causar uma mudança tectônica parece um pouco ridículo
Como a popularidade explodiu e as questões éticas também ficaram mais importantes, talvez seja necessário dedicar tempo para ajustar alguns aspectos corretamente em vez de simplesmente publicar primeiro
Acabei de testar o Gemini Ultra e fiquei bem chocado com o quanto ele é pior que o GPT-4. Com apenas algumas perguntas de programação, ele alucina toda vez alguma sintaxe nova que não existe, pergunta se deve continuar com opções A ou B que nem funcionam nem existem de fato, e acaba virando uma perda de tempo estranha e frustrante
No fim, depois de passar uma hora tentando ao menos fazê-lo gerar um resultado na linguagem solicitada, percebi que era completamente inútil
É surpreendente que o Google esteja tão atrás e tenha lançado algo sem valor assim. E ainda querer cobrar por isso exige bastante coragem
Claro que estou animado com o GPT-5, mas mesmo com uma melhora pequena a OpenAI ainda está muito à frente
Funcionários do Google devem torcer para que a OpenAI desapareça. Por causa da OpenAI, o Google parece exatamente uma empresa como a IBM
A cena engraçada está aqui: https://twitter.com/Suhail/status/1757573182138290284
Rodando um modelo Mistral de 80 GB com Ollama, ele funciona igual ou melhor que o ChatGPT 3.5. Acho isso bom para o mundo, no sentido de que a mágica deixou de ser exclusiva da OpenAI
É impressionante a velocidade com que os concorrentes alcançaram esse nível só nos últimos três meses
Seria bom se a OpenAI estivesse perdendo o brilho rapidamente
Não faço a menor ideia do que realmente acontece dentro da empresa, mas o comportamento dos funcionários no Twitter quando Altman foi afastado foi realmente assustador, cheio de sinais de alerta e de um clima ruim
Pode ser uma opinião impopular, mas acho que a reputação e a influência de Karpathy vêm quase inteiramente do fato de ele ser um educador e comunicador excepcional
Em comparação com essa reputação, não sei ao certo qual foi o nível de contribuição real dele para empurrar a IA adiante
Sou profundamente grato pelo conteúdo educacional dele, e fico feliz que isso tenha lhe dado influência e permitido sustentar a carreira. Espero que ele fique rico o suficiente com isso para poder se concentrar 100% em educação
Discordo. Acho que o valor de excelentes materiais educacionais é frequentemente subestimado. Karpathy trouxe fôlego a uma área de IA cheia de explicações matemáticas excessivamente complexas e densas
Por exemplo, CS 231 foi uma das aulas de IA/ML mais populares em Stanford. Considerando o número de alunos que fizeram essa disciplina por volta de 2015–2017 e depois cresceram na área de IA, não é exagero dizer que uma parcela considerável do mérito vem dessa aula
Instrutores que guiam passo a passo e mostram o quão simples as coisas podem ser são extremamente valiosos. Eles têm um papel essencial em reduzir a barreira de entrada na área
No longo prazo, novos talentos que entraram em IA por meio de materiais como os criados por Karpathy farão grandes avanços. O “Hacker's Guide to Neural Networks” dele é de quase 10 anos atrás, mas ainda assim me deu o momento de “a-ha” mais claro para entender backpropagation
Educação e comunicação são importantes. Elas atraem novas pessoas para a área e também fazem crescer quem já está nela; ambas são essenciais para crescimento e progresso de longo prazo
Chamar apenas atividades não educacionais de “contribuições reais” desvaloriza completamente o papel que grandes educadores desempenham na marcha do progresso. Onde estaríamos hoje sem esse tipo de educação?
Ele contribuiu para empurrar a IA adiante. Nem é preciso acrescentar a ressalva “real”. Perder um grande educador deve ser visto com tanta pena quanto perder um grande engenheiro
Karpathy fez pesquisa pioneira em image captioning e alinhou espaços semânticos de visão e texto. Isso é a base conceitual dos geradores de imagem modernos
Ele também fez uma excelente análise de redes neurais recorrentes e produziu uma das primeiras — e melhores — explicações sobre o que acontece dentro de modelos de linguagem
A seção de comentários do Hacker News é um dos fóruns imagináveis com menor legitimidade para avaliar publicamente o currículo de alguém. Talvez o Congresso fosse pior
Ele disse: “O plano imediato é trabalhar em projetos pessoais e ver no que dá. Quem me acompanha há bastante tempo provavelmente tem uma ideia de como isso pode ser”; alguém aqui sabe?
Acho que ele está falando da série no YouTube dele. Estou animado
No perfil antigo dele dizia que ele estava criando JARVIS na OpenAI
Ele vinha criando uma versão pequena e eficiente do GPT-3 em uma série de vídeos
Dá para conferir no GitHub: https://github.com/karpathy
Ele também tem interesse em modelos open source e frequenta o /r/localllama
Com habilidade para contar histórias e ainda resolver cubos mágicos, ele deve se sair muito bem em festas infantis. Além disso, sabe ensinar e construir coisas. Só falta escalar o Everest?
Concordo totalmente. Foi um ótimo conto. Gostaria de ver aquilo em uma forma mais expandida algum dia
Será que ele vai se dedicar ao canal do YouTube? Estou animado. O conteúdo dele é realmente excelente
Eu também estou animado. Uns 8 anos atrás, aquelas miniaturas em Python para redes neurais recorrentes, como o char-rnn, que ele publicou, ajudaram muito no aprendizado
Acho que isso significaria abrir mão de milhões de dólares. Claro, ele deve estar em boa situação e talvez possa se aposentar cedo, mas milhões de dólares ainda são muito dinheiro
Esse artigo tem um paywall forte, então vou mesclar aqueles comentários neste aqui. Aguardem um instante
Considerando o tweet fixado dele, “a nova linguagem de programação mais quente é o inglês”, a mensagem no fim do texto — “quem me conhece sabe o que vou fazer ;)” — parece sugerir algum tipo de ferramenta para desenvolvedores
Faria sentido para um visionário técnico, e parece que hackers simplesmente não resistem a criar ferramentas para se tornarem melhores
Alguém tem informações melhores do que meu palpite de tempo livre?
Ele vai virar YouTuber em tempo integral
Ele já especulou algumas vezes sobre um sistema operacional baseado em LLM. Se for isso, seria muito legal
1 comentários
Opiniões no Hacker News
Toda vez que Karpathy deixa uma empresa, parece que ele cria ótimos materiais educativos no tempo livre e faz a área dar um salto
Karpathy é um professor realmente excelente. Fiz o curso de visão computacional dele e gostaria que ele ensinasse mais e levasse isso a sério
Ser um influenciador popular de IA não significa ser um bom pesquisador e, na verdade, parece ter uma forte correlação negativa com ser um bom líder de negócios ou fundador
Espero que ele volte a essa arte perdida, tão necessária hoje, de explicar coisas complexas com elegância, e faça isso com calma, sem se desviar demais para perder tempo com os vigaristas do Vale do Silício
Quanto mais penso nisso, mais acho que o fato de os tweets dele irem direto para a primeira página do Hacker News deve afetar bastante uma pessoa. Pelo nome e pela influência, propostas e oportunidades se acumulam, mas isso talvez não signifique que sejam realmente as posições mais adequadas para ele
Essa ideia de que propostas se acumulam por causa do nome e da influência, mas podem não corresponder à adequação real, infelizmente parece uma versão condensada da vida. Raramente a pessoa mais adequada consegue uma posição específica; ela pode ser filtrada por ser superqualificada, cair na etapa de RH, ou ser recusada por motivos vagos como exigência de voltar ao escritório, rejeição de contraproposta ou fatores ilegais não declarados
É um jogo ruim, então é difícil culpar alguém por aproveitar as cartas que recebeu
Normalmente eu não apontaria esse tipo de coisa, mas “b-lined” também pode ser lido com o sentido oposto, de baixa prioridade, como em “B-list celebrity”
Sinceramente, a OpenAI parece estar perdendo o brilho rapidamente
Plugins foram um fracasso, GPTs são um pouco melhores, mas ainda não vejo product-market fit. O GPT-4 ainda está no trono, mas já não é tão dominante quanto antes, e como eles não publicam artigos, também não está claro se estão fazendo boa pesquisa
Agora o GPT-5 precisa ser incrivelmente bom, mas não sei se será mesmo
Como a popularidade explodiu e as questões éticas também ficaram mais importantes, talvez seja necessário dedicar tempo para ajustar alguns aspectos corretamente em vez de simplesmente publicar primeiro
No fim, depois de passar uma hora tentando ao menos fazê-lo gerar um resultado na linguagem solicitada, percebi que era completamente inútil
É surpreendente que o Google esteja tão atrás e tenha lançado algo sem valor assim. E ainda querer cobrar por isso exige bastante coragem
Claro que estou animado com o GPT-5, mas mesmo com uma melhora pequena a OpenAI ainda está muito à frente
A cena engraçada está aqui: https://twitter.com/Suhail/status/1757573182138290284
É impressionante a velocidade com que os concorrentes alcançaram esse nível só nos últimos três meses
Não faço a menor ideia do que realmente acontece dentro da empresa, mas o comportamento dos funcionários no Twitter quando Altman foi afastado foi realmente assustador, cheio de sinais de alerta e de um clima ruim
Pode ser uma opinião impopular, mas acho que a reputação e a influência de Karpathy vêm quase inteiramente do fato de ele ser um educador e comunicador excepcional
Em comparação com essa reputação, não sei ao certo qual foi o nível de contribuição real dele para empurrar a IA adiante
Sou profundamente grato pelo conteúdo educacional dele, e fico feliz que isso tenha lhe dado influência e permitido sustentar a carreira. Espero que ele fique rico o suficiente com isso para poder se concentrar 100% em educação
Esse texto inspirou Alec Radford, da OpenAI, a pesquisar o Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron
A OpenAI decidiu ver o que aconteceria se aumentasse esse modelo usando a nova arquitetura Transformer criada pelo Google, e acabou criando algo chamado GPT: https://cdn.openai.com/research-covers/language-unsupervised...
Por exemplo, CS 231 foi uma das aulas de IA/ML mais populares em Stanford. Considerando o número de alunos que fizeram essa disciplina por volta de 2015–2017 e depois cresceram na área de IA, não é exagero dizer que uma parcela considerável do mérito vem dessa aula
Instrutores que guiam passo a passo e mostram o quão simples as coisas podem ser são extremamente valiosos. Eles têm um papel essencial em reduzir a barreira de entrada na área
No longo prazo, novos talentos que entraram em IA por meio de materiais como os criados por Karpathy farão grandes avanços. O “Hacker's Guide to Neural Networks” dele é de quase 10 anos atrás, mas ainda assim me deu o momento de “a-ha” mais claro para entender backpropagation
Chamar apenas atividades não educacionais de “contribuições reais” desvaloriza completamente o papel que grandes educadores desempenham na marcha do progresso. Onde estaríamos hoje sem esse tipo de educação?
Ele contribuiu para empurrar a IA adiante. Nem é preciso acrescentar a ressalva “real”. Perder um grande educador deve ser visto com tanta pena quanto perder um grande engenheiro
Ele também fez uma excelente análise de redes neurais recorrentes e produziu uma das primeiras — e melhores — explicações sobre o que acontece dentro de modelos de linguagem
Ele disse: “O plano imediato é trabalhar em projetos pessoais e ver no que dá. Quem me acompanha há bastante tempo provavelmente tem uma ideia de como isso pode ser”; alguém aqui sabe?
Dá para conferir no GitHub: https://github.com/karpathy
Queria que ele escrevesse mais ficção no tempo livre. Gostei muito de https://karpathy.github.io/2015/11/14/ai/
Será que ele vai se dedicar ao canal do YouTube? Estou animado. O conteúdo dele é realmente excelente
Parece que ele voltou para a OpenAI quase exatamente um ano atrás: https://twitter.com/karpathy/status/1623476659369443328
Post relacionado: “Andrej Karpathy Departs OpenAI”[0] (159 pontos, 2 horas atrás, 71 comentários)
[0]: https://news.ycombinator.com/item?id=39365288
Considerando o tweet fixado dele, “a nova linguagem de programação mais quente é o inglês”, a mensagem no fim do texto — “quem me conhece sabe o que vou fazer ;)” — parece sugerir algum tipo de ferramenta para desenvolvedores
Faria sentido para um visionário técnico, e parece que hackers simplesmente não resistem a criar ferramentas para se tornarem melhores
Alguém tem informações melhores do que meu palpite de tempo livre?