Deixando a Meta e o PyTorch

• Soumith Chintala, que liderou o PyTorch por cerca de 8 anos, anunciou que está deixando a Meta e o PyTorch após 11 anos na empresa
• O PyTorch atualmente oferece suporte a treinamento em exascale e alcançou resultados amplos, como operação de modelos fundacionais e uso em ambientes educacionais no mundo todo
• Ele considera que o PyTorch amadureceu o suficiente para operar de forma independente e demonstra confiança na estabilidade da liderança sucessora
• Agradecimento e retrospectiva sobre a colaboração com colegas desde a época da FAIR, a cultura open source e o crescimento da comunidade de usuários
• Pessoalmente, planeja iniciar um pequeno projeto fora da Meta em busca de novos desafios

---

Despedida da Meta e do PyTorch

• Trabalhou 11 anos na Meta e liderou o PyTorch por cerca de 8 anos, alcançando mais de 90% de adoção no setor de IA
  • O PyTorch agora oferece suporte a treinamento em exascale e impulsiona modelos fundacionais que estão redefinindo a inteligência
  • Está sendo usado em ambientes educacionais, do MIT a áreas rurais da Índia, e a meta de ampliar o acesso foi quase totalmente alcançada
• Menciona que, embora o PyTorch precise continuar evoluindo devido à velocidade do avanço da IA, ele já alcançou muitas realizações
• Agradece a todos os colaboradores que acreditaram no poder do open source e em uma cultura de pesquisa prazerosa
• Poderia ter migrado para outra função dentro da Meta, mas decidiu sair para buscar novos desafios e curiosidade
• Encerra o texto com a mensagem “vamos tornar a IA deliciosa e acessível” e afirma que continuará participando da comunidade no futuro

Estabilidade futura do PyTorch

• Diz que nunca quis ficar à frente do PyTorch para sempre e planejou sair em um momento de estabilidade
  • Começou a se preparar para a saída no fim de 2024 e, em agosto de 2025, passou a ter certeza de que a equipe conseguiria operar de forma independente
• Membros centrais como Edward, Suo, Alban, Greg, John, Joe e Jana resolvem de forma autônoma questões de produto e organização
• Destaca a resiliência da organização com base na consistência da narrativa de produto na PyTorch Conference e nas melhorias de problemas do passado
• Greg, Alban, Ed, Jason e Joe estão dando continuidade aos valores e à cultura do PyTorch, e há muitas pessoas alinhadas com esses valores
• Cita especificamente a capacidade técnica e a experiência de colaboração de John, Suo e Jana para expressar confiança na sustentabilidade da equipe

Tempo na Meta

• Recorda os primeiros dias da FAIR como “um período mágico” e participou de vários projetos, como pesquisa em GANs, bots de Starcraft, construção do cluster da FAIR, detecção de objetos e desenvolvimento do PyTorch
• Avalia 2015~2016 como o período mais produtivo e agradável
• Menciona que a mentoria inicial de Andrew Tulloch foi de grande ajuda

Jornada de desenvolvimento do PyTorch

• Participou diretamente de todo o processo do PyTorch, de design, gestão, documentação e distribuição, ajudando-o a crescer até se tornar um produto com centenas de pessoas envolvidas
• Agradece a engenheiros, pesquisadores, contribuidores open source, redatores de documentação e parceiros de hardware dentro e fora da Meta
• Menciona muitas figuras centrais, como Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison e Edward Yang
• Recorda um caso na NeurIPS de 2017 em que um estudante de pós-graduação conseguiu concluir sua pesquisa graças ao PyTorch, percebendo assim o impacto sobre os usuários
• A PyTorch Conference cresceu de um encontro familiar de 300 pessoas para um evento do setor com 3.000 participantes, e ele demonstra orgulho desse impacto ampliado

Agradecimentos

• Afirma que a FAIR e o PyTorch só foram possíveis porque Mark Zuckerberg e Mike Schroepfer apoiaram a estratégia open source
• Agradece a Yann LeCun e Rob Fergus pela construção inicial da FAIR
• Elogia muito a liderança técnica e a capacidade de execução de Aparna Ramani
• Menciona o acolhimento e a colaboração da equipe de infraestrutura, incluindo Santosh, Kaushik, Delia, Oldham e Ben
• Também agradece a gestores como Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna e Damien

Mensagem final

• Enfatiza as conquistas coletivas ao afirmar: “esta não foi minha jornada, foi a nossa jornada”
• Diz que, daqui para frente, tentará fazer “coisas pequenas, novas e desconfortáveis”
• Deixa uma mensagem de apoio à comunidade PyTorch: “continuem tornando a IA deliciosa e fácil”

[GN⁺]

Comentários do Hacker News

• Muitos comentários parecem estar avaliando o PyTorch de forma baseada no resultado final. Mas, quando Soumith Chintala co-desenvolveu o PyTorch, quase não existiam ambientes de desenvolvimento rápidos e interativos. O JAX nem existia.
  Ele era tão melhor que praticamente todo pesquisador que experimentava o PyTorch naquela época queria migrar imediatamente. Andrej Karpathy também disse em um tweet de 2017: “Usei PyTorch por alguns meses e isso mudou minha vida” (link do tweet).
  Sou grato pelos anos de dedicação incansável do Soumith e desejo sucesso na próxima jornada dele

  • O Chainer já havia apresentado o modelo define-by-run. Era um framework desenvolvido por uma pequena empresa japonesa, e as primeiras versões do PyTorch deixavam claro que receberam grande influência do Chainer
  • O PyTorch foi inspirado na biblioteca Python Autograd por volta de 2015. De fato, o sistema de autodiferenciação do PyTorch também se chamava autograd. O JAX é o sucessor direto do Autograd, e alguns de seus desenvolvedores ainda trabalham na equipe do JAX. Adam Paszke, coautor do PyTorch, também participa atualmente dos projetos JAX e Dex (histórico do Autograd, arquivo da apresentação do PyTorch)

• Sou uma das pessoas que foi contratada diretamente pelo Soumith para trabalhar com ele na Meta e no PyTorch.
  Soumith sempre viu o PyTorch como um projeto centrado na comunidade. Ele celebrava as contribuições de todos, não só dos cocriadores Adam e Sam, mas também na integração com a equipe do Caffe2.
  O PyTorch foi projetado desde o início como um framework aberto para a comunidade de pesquisa, e Soumith guiou seu crescimento fazendo com que novas pessoas e organizações participassem ao longo de toda a jornada.
  Ele era um verdadeiro ímã de talentos, e graças a isso muitas pessoas brilhantes dedicaram sua paixão a fazer o PyTorch evoluir.
  Mesmo com a saída dele, o PyTorch agora está maduro o bastante para se sustentar sozinho. Isso é exatamente o que o sucesso em código aberto deve parecer

  • Também trabalhei com o Soumith, e ele é realmente uma figura lendária. Era um líder que produzia mudanças enormes sem perder a humildade, sem ser político, e ajudando as pessoas ao redor a crescer. Desejo sinceramente muita sorte a ele

• O ponto interessante nisso tudo é que parece um sinal de que a Meta não tem ativos proprietários relacionados a IA.
  Dá uma sensação parecida com o mito de acreditar que a pesquisa militar está muito mais avançada do que realmente está.
  No fim das contas, parece que até os laboratórios de IA das big techs estão apenas repetindo trabalhos não tão diferentes do restante do setor, sem nenhuma tecnologia secreta especial

  • Acho que isso é interpretação demais. Soumith trabalhou 11 anos na Meta e provavelmente já recebeu bastante em remuneração em ações. Além disso, ele teve um filho recentemente, e o equilíbrio entre vida pessoal e trabalho na Meta não é bom.
    A Meta também vem recentemente mudando o foco para LLMs, o que reduz o papel tradicional do PyTorch. Considerando tudo isso, parece um momento natural para mudar de emprego
  • Em tecnologia militar, na prática, muitas vezes se está atrás do setor civil. O sigilo atrapalha a colaboração, e fatores políticos ampliam a ineficiência
  • A saída do Soumith não parece ter relação com a originalidade da IA da Meta. Foi apenas o momento em que ele quis uma nova mudança.
    Mesmo com todo o discurso atual da indústria de IA sobre a “chegada iminente da AGI”, os desenvolvedores de dentro não parecem tão empolgados. Karpathy voltando para educação ou Mira Murati abrindo uma startup entram no mesmo contexto
  • Ele apenas disse que quer focar em coisas pequenas. Nem sabemos se o novo projeto dele será relacionado a IA
  • Quem já lidou diretamente com equipamento militar sabe: o que se chama de “tecnologia militar de ponta” normalmente é só tecnologia antiga e comprovada feita com peças baratas. Assim como drones russos usando Raspberry Pi, na prática a realidade é surpreendentemente comum

• A paixão do Soumith era contagiante. Vi o artigo do DCGAN e fui experimentar com Lua Torch, e funcionou bem até no pequeno dataset Oxford flowers.
  O Soumith ficou tão surpreso que chegou a compartilhar o resultado nas redes sociais.
  Na época, o PyTorch e o Lua Torch eram muito mais fáceis de usar do que o TensorFlow, e o código tinha uma estrutura ótima para hackear, o que permitia aos pesquisadores experimentar com liberdade

  • Houve um comentário perguntando o que era o dataset Oxford flowers e onde ele podia ser encontrado

• Entre as coisas que Soumith disse, chamou atenção a parte sobre querer experimentar “algo pequeno e novo”, algo que ele ainda não entende totalmente e que seja desconfortável.
  Mesmo podendo fazer outras coisas dentro da Meta, ele seguiu a curiosidade de que precisava sair para fora. É quase como um “Sidarta voltando para a floresta”

  • Concordo com a expressão “a sombra de Sidarta”, mas ao mesmo tempo ele também é alguém tentando se afastar por um tempo de uma megacorporação com grande impacto social

• Como usuário de JAX, respeito o sucesso do PyTorch. Depois que o TensorFlow 1 cometeu seus erros, o PyTorch passou a dominar o ecossistema de IA.
  Espero que Matt Johnson, que transformou o Autograd em JAX, também seja amplamente reconhecido um dia, como Soumith

  • Houve um comentário perguntando por que o TensorFlow é visto como um fracasso
  • Também houve quem perguntasse se a pessoa tinha experiência com JAX e PyTorch e por que preferia o JAX
  • O JAX é excelente, mas há preocupação com a instabilidade dos projetos do Google. Sempre existe o risco de ele ser substituído por algo incompatível, como um hipotético JAX 2.0

• A biblioteca base do Torch também é realmente uma ferramenta prazerosa de usar. Em Rust há bindings como tch e Burn, que se integram bem com o libtorch.
  Uma grande vantagem do PyTorch é permitir debug dinâmico. Ainda sinto falta da experiência de interromper o modelo direto no terminal e inspecionar o estado interno

  • Graças a isso também escrevi muito código horrível naquela época, mas aqueles tempos foram realmente gloriosos

• A frase dele de que “todas as grandes empresas de IA e fornecedores de hardware podiam entrar em contato, mas no fim a curiosidade venceu” foi marcante.
  Espero que ele crie mais uma vez alguma nova ferramenta poderosa

  • Quando a curiosidade desaparece, tudo desmorona. Eu entendo bem esse sentimento.
    Houve uma época em que precisei passar muito tempo fazendo trabalho sem sentido para sobreviver, então até sinto inveja de ele poder tomar uma decisão assim

• A frase “o PyTorch está sendo ensinado do MIT até salas de aula no interior da Índia” também chamou atenção.
  Isso até faz pensar que algumas salas de aula indianas podem ser melhores que faculdades de engenharia de elite dos EUA em acesso educacional e foco em prática

  • As “faculdades de engenharia de elite” dos EUA, na prática, muitas vezes são valorizadas mais por status social e produção de pesquisa do que pela qualidade do ensino
  • Por outro lado, também existe a crítica de que a educação tradicional na Índia é baseada em memorização e exames. As escolas de engenharia dos EUA não são perfeitas, mas há quem diga que os problemas do modelo educacional indiano continuam graves

• Como alguém que usa PyTorch todos os dias, sou sinceramente grato ao Soumith e à equipe.
  Graças a essa ferramenta, hoje consigo testar diretamente ideias que antes eu só conseguia imaginar.
  O PyTorch se tornou uma grande parte da minha vida, e desejo toda a sorte para a próxima jornada dele