Como posso fazer a transição para engenheiro de machine learning?

xguru · 2024-07-02T11:16:02+09:00

Sou um engenheiro de software com mais de 10 anos construindo aplicações intensivas em dados. Principalmente backend (legado, cloud) (1) Vale a pena fazer essa transição? (2) Alguém aqui já fez isso? (3) Se não há ML no meu trabalho, como posso entrar nessa área? Existe trabalho prático em engenharia de ML com foco maior em gestão/implantação/escala de modelos, e não tanto em construir modelos? Ou seja, será que eu poderia evitar aprender toda a matemática por trás disso? arnabgho Trabalha como tech lead de MLE na Snap e ajudou a estabelecer a base da infraestrutura de IA generativa da empresa É um caminho de carreira muito recompensador, e eu recomendaria fortemente seguir a trilha de MLE O livro "Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" é uma introdução muito boa a design de sistemas de machine learning para produção Também recomendo muito este blog da autora (Chip Huyen) como introdução à construção de sistemas de AI e ML em nível de produção Construindo aplicações LLM para produção (inclui links para resumo e tradução) Respostas às perguntas (1) Sim, especialmente agora, neste ponto de inflexão do espírito da época, fazer essa transição é uma decisão sensata (2) Sim (3) Veja os recursos acima sobre como começar e evoluir em habilidades de engenharia de ML breckenedge Cerca de 7 meses atrás, entrei em um projeto de 3 meses para criar recomendações de conteúdo usando ML Comecei com uma biblioteca pronta de filtragem colaborativa e terminei com PyTorch, e o ChatGPT ajudou bastante Eu poderia ter continuado nesse caminho, mas a liderança queria resultados melhores e mais rápidos, e quando se começa sem experiência, 3 meses foram tempo suficiente para pegar o ritmo Grande parte do ML foi limpar e preparar conjuntos de dados, o que não foi muito divertido Um executivo sugeriu experimentar o Amazon Personalize; foi uma boa tentativa, mas no fim não deu certo. Não sei se o problema foi nos dados ou no modelo padrão O problema central ao usar serviços de ML de caixa-preta é que você não consegue analisar o que está acontecendo O Amazon Personalize também dificulta mudar a camada de dados, então não dá para saber se você está chegando mais perto de uma solução melhor Um especialista experiente em ML talvez conseguisse chegar mais perto de uma solução melhor com o Personalize Então, se você consegue trabalhar com ML, talvez valha a pena fazer um projeto piloto antes de seguir isso como carreira, para ver se gosta nsyptras > Existe engenharia de ML com foco maior em gestão/implantação/escala de modelos, e não em construir modelos? Eu fiz essa transição em 2018. Isso se chama MLOps. Antes disso, eu era desenvolvedor mobile Na época, a transição foi bem fácil (talvez hoje a concorrência seja mais intensa) O que eu fiz: Toquei sozinho um projeto intenso de ML e percebi que gostava de trabalhar em toda a stack de ML Também escrevi um [post no blog]((https://www.nicksypteras.com/blog/aisu.html) sobre esse projeto Depois, me candidatei a uma equipe de MLOps e usei esse projeto para demonstrar minhas habilidades/experiência Talvez você consiga evitar a matemática, mas aprender o básico vai tornar tudo muito mais fácil Acho que, sem a matemática básica de ML, eu teria estado voando às cegas ilaksh Parece que você está pensando em "MLOps". MLOps também é importante Eu praticaria implantar modelos em Python com HuggingFace e RunPod Também procuraria tutoriais sobre pré-treinamento, fine-tuning e avaliação de LLMs, além de conferir o Predibase No momento, acho que o mais importante são os diffusion transformers Se você conseguir encontrar documentação que explique como rodar jobs de treinamento para isso, isso pode ser útil para outras pessoas Se quiser um "atalho", veja replicate.com. O cog também pode ser útil para hospedar você mesmo modelos de ML fora do replicate.com nottorp Eu não fiz exatamente a "transição para engenheiro de ML", mas nos últimos 2,5 meses aprendi um pouco a usar modelos públicos e a treiná-los e executá-los com ferramentas e APIs Quase não escrevi código e li muitos livros Trabalhar com organizações pequenas (onde você não fica preso ao cargo e apenas recebe tarefas) ajuda trybackprop Na verdade, escrevi e compartilhei um post no blog sobre isso para engenheiros de software experientes que estejam pensando seriamente em migrar para ML You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML O texto apresenta casos de engenheiros que fizeram essa transição e hoje trabalham na Meta, Google, Amazon e OpenAI Você pode ver quais estratégias e táticas eles usaram Respostas Se você gosta de explorar isso no tempo livre, dá para dizer que é uma decisão sensata. No meu caso, passei 1 ano estudando materiais à noite e nos fins de semana antes de perceber pela primeira vez que queria fazer isso em tempo integral Sim, e já estou no 7º ano trabalhando como engenheiro de ML depois da transição. Atualmente sou líder técnico de ML em uma FAANG. Antes disso, trabalhei em infraestrutura e produto Um dos conselhos que recebi alguns anos atrás foi entrar em uma equipe adjacente a trabalho de ML para se familiarizar com como é o ML em produção. Você também pode começar a praticar pensamento de ML no Kaggle.com Em outros posts do meu blog, você pode encontrar recursos para aprender AI/ML e a matemática necessária para essa carreira Linear Algebra 101 for AI/ML – Part 1 (inclui quiz interativo, fundamentos de vetores/matrizes e uma breve introdução ao PyTorch, framework open source de ML amplamente usado na indústria). deepGem Vale a pena conferir o fast.ai, em especial o curso "Practical Deep Learning for Coders Embora o material seja de 2022, os princípios ensinados ali continuam muito válidos e muito úteis hoje Isso vale especialmente para Self Attention, transformers e arquiteturas modernas baseadas nesses conceitos Muitas pessoas que concluíram o curso da fast.ai migraram de carreira não só para engenharia de ML, mas também para pesquisa científica Dito isso, não é um curso fácil, então você precisa reservar tempo no seu lazer para fazê-lo Se o seu interesse é implantação/escala, você pode até ir direto para a aula 2 da parte 1. Jeremy é um ótimo professor Eu não venho da academia, então acho o estilo de aula dele muito saudável

(news.ycombinator.com)

38 pontos por xguru 2024-07-02 | 2 comentários | Compartilhar no WhatsApp

Sou um engenheiro de software com mais de 10 anos construindo aplicações intensivas em dados. Principalmente backend (legado, cloud)
(1) Vale a pena fazer essa transição? (2) Alguém aqui já fez isso? (3) Se não há ML no meu trabalho, como posso entrar nessa área?
Existe trabalho prático em engenharia de ML com foco maior em gestão/implantação/escala de modelos, e não tanto em construir modelos?
- Ou seja, será que eu poderia evitar aprender toda a matemática por trás disso?

arnabgho

Trabalha como tech lead de MLE na Snap e ajudou a estabelecer a base da infraestrutura de IA generativa da empresa
- É um caminho de carreira muito recompensador, e eu recomendaria fortemente seguir a trilha de MLE
O livro "Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" é uma introdução muito boa a design de sistemas de machine learning para produção
Também recomendo muito este blog da autora (Chip Huyen) como introdução à construção de sistemas de AI e ML em nível de produção
Construindo aplicações LLM para produção (inclui links para resumo e tradução)
Respostas às perguntas
- (1) Sim, especialmente agora, neste ponto de inflexão do espírito da época, fazer essa transição é uma decisão sensata
- (2) Sim
- (3) Veja os recursos acima sobre como começar e evoluir em habilidades de engenharia de ML

breckenedge

Cerca de 7 meses atrás, entrei em um projeto de 3 meses para criar recomendações de conteúdo usando ML
Comecei com uma biblioteca pronta de filtragem colaborativa e terminei com PyTorch, e o ChatGPT ajudou bastante
Eu poderia ter continuado nesse caminho, mas a liderança queria resultados melhores e mais rápidos, e quando se começa sem experiência, 3 meses foram tempo suficiente para pegar o ritmo
Grande parte do ML foi limpar e preparar conjuntos de dados, o que não foi muito divertido
Um executivo sugeriu experimentar o Amazon Personalize; foi uma boa tentativa, mas no fim não deu certo. Não sei se o problema foi nos dados ou no modelo padrão
O problema central ao usar serviços de ML de caixa-preta é que você não consegue analisar o que está acontecendo
O Amazon Personalize também dificulta mudar a camada de dados, então não dá para saber se você está chegando mais perto de uma solução melhor
Um especialista experiente em ML talvez conseguisse chegar mais perto de uma solução melhor com o Personalize
Então, se você consegue trabalhar com ML, talvez valha a pena fazer um projeto piloto antes de seguir isso como carreira, para ver se gosta

nsyptras

> Existe engenharia de ML com foco maior em gestão/implantação/escala de modelos, e não em construir modelos?
Eu fiz essa transição em 2018. Isso se chama MLOps. Antes disso, eu era desenvolvedor mobile
Na época, a transição foi bem fácil (talvez hoje a concorrência seja mais intensa)
O que eu fiz:
- Toquei sozinho um projeto intenso de ML e percebi que gostava de trabalhar em toda a stack de ML
- Também escrevi um [post no blog]((https://www.nicksypteras.com/blog/aisu.html) sobre esse projeto
- Depois, me candidatei a uma equipe de MLOps e usei esse projeto para demonstrar minhas habilidades/experiência
- Talvez você consiga evitar a matemática, mas aprender o básico vai tornar tudo muito mais fácil
- Acho que, sem a matemática básica de ML, eu teria estado voando às cegas

ilaksh

Parece que você está pensando em "MLOps". MLOps também é importante
Eu praticaria implantar modelos em Python com HuggingFace e RunPod
Também procuraria tutoriais sobre pré-treinamento, fine-tuning e avaliação de LLMs, além de conferir o Predibase
No momento, acho que o mais importante são os diffusion transformers
- Se você conseguir encontrar documentação que explique como rodar jobs de treinamento para isso, isso pode ser útil para outras pessoas
Se quiser um "atalho", veja replicate.com. O cog também pode ser útil para hospedar você mesmo modelos de ML fora do replicate.com

nottorp

Eu não fiz exatamente a "transição para engenheiro de ML", mas nos últimos 2,5 meses aprendi um pouco a usar modelos públicos e a treiná-los e executá-los com ferramentas e APIs
Quase não escrevi código e li muitos livros
Trabalhar com organizações pequenas (onde você não fica preso ao cargo e apenas recebe tarefas) ajuda

trybackprop

Na verdade, escrevi e compartilhei um post no blog sobre isso para engenheiros de software experientes que estejam pensando seriamente em migrar para ML
- You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML
- O texto apresenta casos de engenheiros que fizeram essa transição e hoje trabalham na Meta, Google, Amazon e OpenAI
- Você pode ver quais estratégias e táticas eles usaram
Respostas
- 1. Se você gosta de explorar isso no tempo livre, dá para dizer que é uma decisão sensata. No meu caso, passei 1 ano estudando materiais à noite e nos fins de semana antes de perceber pela primeira vez que queria fazer isso em tempo integral
- 1. Sim, e já estou no 7º ano trabalhando como engenheiro de ML depois da transição. Atualmente sou líder técnico de ML em uma FAANG. Antes disso, trabalhei em infraestrutura e produto
- 1. Um dos conselhos que recebi alguns anos atrás foi entrar em uma equipe adjacente a trabalho de ML para se familiarizar com como é o ML em produção. Você também pode começar a praticar pensamento de ML no Kaggle.com
Em outros posts do meu blog, você pode encontrar recursos para aprender AI/ML e a matemática necessária para essa carreira
Linear Algebra 101 for AI/ML – Part 1
(inclui quiz interativo, fundamentos de vetores/matrizes e uma breve introdução ao PyTorch, framework open source de ML amplamente usado na indústria).

deepGem

Vale a pena conferir o fast.ai, em especial o curso "Practical Deep Learning for Coders
Embora o material seja de 2022, os princípios ensinados ali continuam muito válidos e muito úteis hoje
Isso vale especialmente para Self Attention, transformers e arquiteturas modernas baseadas nesses conceitos
Muitas pessoas que concluíram o curso da fast.ai migraram de carreira não só para engenharia de ML, mas também para pesquisa científica
Dito isso, não é um curso fácil, então você precisa reservar tempo no seu lazer para fazê-lo
Se o seu interesse é implantação/escala, você pode até ir direto para a aula 2 da parte 1. Jeremy é um ótimo professor
- Eu não venho da academia, então acho o estilo de aula dele muito saudável

2 comentários

rawoon89 2024-07-03

Li com atenção. Obrigado.

ahwjdekf 2024-07-02

Na Coreia, basta saber o básico, como fazer chamadas de API; nas empresas, elas não querem investir muito dinheiro, mas ainda assim querem acompanhar a moda do momento... um clima meio ambíguo assim.