[NAVER] Compartilhando a experiência de migrar um servidor de modelos de ML com GPU para um servidor com CPU mantendo o desempenho (feat. torchserve)

ninebow · 2023-07-26T22:09:18+09:00

*Este texto é uma descrição gerada automaticamente com GPT-4 e pode conter informações incorretas. * *Se você encontrar algum conteúdo incorreto, pedimos que nos avise nos comentários! * Introdução Este texto compartilha o processo da equipe de desenvolvimento do Naver Place ao migrar um servidor de modelos de ML de GPU para CPU. Essa mudança teve como objetivo reduzir os custos de servidor e tornar a operação mais eficiente. Resumo 1. Migração do servidor de modelos de GPU para CPU A equipe de desenvolvimento do Naver Place realizou a migração do servidor de modelos de GPU para CPU. O objetivo foi reduzir os custos de servidor e tornar a operação mais eficiente. Esse trabalho incluiu substituir por CPU o uso de GPU empregado no treinamento (training) do modelo. 2. Estrutura do servidor de modelos O servidor de modelos é composto, em grande parte, por três partes: treinamento do modelo, servidor de modelos e cliente. O treinamento do modelo inclui o processo de treinar o modelo usando um conjunto de dados (dataset), o servidor de modelos hospeda o modelo treinado, e o cliente envia requisições ao servidor de modelos e recebe as respostas. 3. Migração de GPU para CPU A migração de GPU para CPU envolve várias etapas. Primeiro, o código de treinamento do modelo é modificado para poder ser executado em CPU. Em seguida, o servidor de modelos é configurado para rodar em CPU. Por fim, o código do cliente é ajustado para enviar requisições ao servidor de modelos executado em CPU. Resultados após a migração Após a migração, os custos de servidor foram reduzidos significativamente, e a operação passou a ser mais eficiente. Além disso, o servidor de modelos executado em CPU funcionou bem sem perda de desempenho em comparação com o servidor executado em GPU. Referências Naver Place Dev Blog Este blog compartilha diversos projetos e experiências da equipe de desenvolvimento do Naver Place. Você pode obter mais informações sobre o trabalho de migração de GPU para CPU mencionado neste texto.

(medium.com)

3 pontos por ninebow 2023-07-26 | 3 comentários | Compartilhar no WhatsApp

*Este texto é uma descrição gerada automaticamente com GPT-4 e pode conter informações incorretas. *
*Se você encontrar algum conteúdo incorreto, pedimos que nos avise nos comentários! *

Introdução

Este texto compartilha o processo da equipe de desenvolvimento do Naver Place ao migrar um servidor de modelos de ML de GPU para CPU. Essa mudança teve como objetivo reduzir os custos de servidor e tornar a operação mais eficiente.

Resumo

1. Migração do servidor de modelos de GPU para CPU

A equipe de desenvolvimento do Naver Place realizou a migração do servidor de modelos de GPU para CPU. O objetivo foi reduzir os custos de servidor e tornar a operação mais eficiente. Esse trabalho incluiu substituir por CPU o uso de GPU empregado no treinamento (training) do modelo.

2. Estrutura do servidor de modelos

O servidor de modelos é composto, em grande parte, por três partes: treinamento do modelo, servidor de modelos e cliente. O treinamento do modelo inclui o processo de treinar o modelo usando um conjunto de dados (dataset), o servidor de modelos hospeda o modelo treinado, e o cliente envia requisições ao servidor de modelos e recebe as respostas.

3. Migração de GPU para CPU

A migração de GPU para CPU envolve várias etapas. Primeiro, o código de treinamento do modelo é modificado para poder ser executado em CPU. Em seguida, o servidor de modelos é configurado para rodar em CPU. Por fim, o código do cliente é ajustado para enviar requisições ao servidor de modelos executado em CPU.

Resultados após a migração

Após a migração, os custos de servidor foram reduzidos significativamente, e a operação passou a ser mais eficiente. Além disso, o servidor de modelos executado em CPU funcionou bem sem perda de desempenho em comparação com o servidor executado em GPU.

Referências

Naver Place Dev Blog
- Este blog compartilha diversos projetos e experiências da equipe de desenvolvimento do Naver Place. Você pode obter mais informações sobre o trabalho de migração de GPU para CPU mencionado neste texto.

3 comentários

xguru 2023-07-27

Editei o texto.
Se houver uma frase de aviso no começo do texto, no Slack/Twitter apenas essa frase de aviso será exibida.
Se possível, peço que no início do texto venha um resumo.

ninebow 2023-07-27

Vou tomar mais cuidado no futuro. Obrigado! :)

ninebow 2023-07-26