gpudeploy - O "Airbnb" de GPUs

Marketplace de GPUs

• A GPU Deploy oferece serviço de GPU sob demanda a preços acessíveis para machine learning e IA.
• Como já vem pré-configurada para tarefas de machine learning, é possível iniciar instâncias de GPU imediatamente.

Especificações e preços das GPUs oferecidas

• São suportados diversos modelos de GPU, como Nvidia H100, A100, GeForce RTX 4090/3060 e Quadro RTX 6000.
• A memória da GPU varia de 11 GB a 640 GB.
• O número de núcleos CUDA varia de 3.584 a 116.736.
• É possível escolher entre 16 e 242 vCPUs.
• O preço por hora varia de US$ 0,06 a US$ 26,55 (sem imposto de vendas; o valor real normalmente é mais barato).

Proposta de uso de GPU ociosas

• Se houver GPUs ociosas, é possível disponibilizar capacidade computacional por meio da GPU Deploy.
  • Se você é operador de um cluster de GPUs, pode alugar capacidade computacional ociosa.
  • Se você é uma empresa de IA, pode alugar capacidade computacional ociosa.
  • Mesmo quem possui GPUs pessoalmente pode participar.

Opinião do GN⁺

• Como o custo de uso de GPUs sob demanda é muito alto, utilizar este serviço pode ser atraente para usar GPUs com custo menor quando necessário.
• Mas, para uso de longo prazo, pode ser muito mais econômico montar um servidor de GPU próprio.
• Para indivíduos ou pequenas e médias empresas, pode ser uma boa opção para usar recursos de GPU.
• Do ponto de vista corporativo, vale a pena avaliar a adoção considerando os custos de implantação e operação de servidores de GPU em um horizonte de curto e longo prazo.
• Entre serviços similares de oferta de GPU estão AWS, GCP e MS Azure, e é importante comparar com cuidado as especificações de GPU e as políticas de preços de cada serviço.
• O aproveitamento de GPU ociosa é uma proposta interessante, mas pode haver pontos de preocupação em termos de segurança e gestão de recursos.

[GN⁺]

Opinião do Hacker News

• Pontos a considerar ao fornecer recursos de GPU para terceiros:
  • Questões de privacidade — um invasor pode instalar uma armadilha de GPU (honeypot) e coletar dados
  • Computação de GPU falsa — um invasor pode usar GPUs falsas e enviar dados fictícios para reduzir o trabalho computacional
  • GPU com defeito — não precisa haver intenção maliciosa, mas uma GPU quebrada pode gerar resultados incorretos
• É preciso aceitar os Termos de Serviço e a política de privacidade, e é estranho que o link aponte para uma página em branco
• O conceito é ótimo em si. Lembra o conceito de "Airbnb para GPUs" do Vast.ai, mas fico curioso para saber em que esse serviço é diferente e melhor
• Acho que "provisionamento de GPU sob demanda" (on-demand) é mais fácil de entender do que "Airbnb para GPUs"
• Ótima ideia e boa sorte! O projeto de criptomoeda Akash Network me parece promissor, com demanda e casos de uso legítimos
• Não sei ao certo sobre a parte em que a Stability AI teria provisionado hardware em excesso. Acho que tô meio cegado pelo exagero de marketing de IA
• Ótima ideia! Como fica a garantia de segurança para o provedor? Qual nível de acesso deve ser dado ao locatário ao alugar um cluster de GPU? Apenas o kernel da GPU é enviado, ou também são concedidos acessos restritos de usuário? Vocês pensaram em adicionar isso a uma rede privada para oferecer uma experiência melhor sem exigir que o operador abra portas do roteador?
• Se quiser saber os preços, dê uma olhada no GPUMonger.com. Esse serviço parece bem mais completo e real, mas se a ideia for só comparar preços, o GPUMonger parece uma boa escolha.
• Estão surgindo muitas empresas com soluções de software para falhas de hardware. Como a maioria da capacidade computacional disponível parece já estar alocada, talvez seja necessário atrair mais provedores. Fico curioso por que a Y Combinator investe em empresas parecidas. O Shadeform.ai também é outro exemplo.
• Algumas observações:
  • Olhando para o código-fonte do script de instalação, ele não começa com set -e, então pode acabar em uma instalação incompleta
  • Instala um binário chamado "instance-server" sem explicar o que ele faz. Dá para confiar nisso no meu servidor/rede?
  • Como é exclusivo de Nvidia, o suporte para GPUs AMD provavelmente não vem no curto prazo
  • Parece uma espécie de MVP. Vamos ver como ele cresce com o tempo.
• Se uma RTX 4090 estiver ociosa, quanto pode render?"}