Fly.io, agora com GPUs

A IA é realmente incrível

• A Fly.io é um novo serviço de nuvem pública que permite posicionar poder computacional perto dos usuários.
• Agora é possível usar GPUs para processar cargas de trabalho de IA em ambientes de computação de borda.
• A Fly.io permite executar apps full-stack ou plataformas de desenvolvimento baseadas na API Fly Machines perto dos usuários.

Casos reais de uso com GPUs da Fly.io

• É possível implantar seu próprio código e os modelos de sua preferência sobre o backbone de nuvem da Fly.io.
• Com as GPUs da Fly.io, dá para colocar no ar facilmente, em duas etapas, um app com GPU rodando Ollama (os amigos da geração de texto).
• Você pode implantar o app adicionando configurações ao fly.toml e executando o comando fly apps create sandwich_ai && fly deploy.

A velocidade da luz tem limites

• Colocar GPUs em funcionamento rapidamente é ótimo, mas a Fly.io realmente se destaca na inferência na borda.
• Um exemplo é um app em que o usuário informa os ingredientes que tem na cozinha e recebe instantaneamente uma receita de sanduíche.
• A Fly.io tem GPUs em data centers no mundo todo e permite executar o mesmo programa em qualquer região com suporte a GPU.

Só quando realmente for necessário

• GPUs são dispositivos poderosos de processamento paralelo, mas não são baratas.
• Você pode adicionar a seção services ao arquivo fly.toml para especificar como o app deve escalar para cima e para baixo.
• Assim, é possível configurar para não pagar pelo custo da GPU quando ninguém estiver pedindo receitas de sanduíche.

Mais detalhes

• A empresa oferece GPUs disponíveis em várias regiões dos Estados Unidos, Europa e Sydney.
• Há diferentes opções de GPU e preços, e por padrão toda implantação usa oito núcleos de CPU AMD EPYC.
• É possível anexar volumes de até 500 GB, e também há descontos para instâncias reservadas e hosts dedicados.

GN⁺ opina:

• A Fly.io oferece um serviço de nuvem inovador capaz de processar cargas de trabalho de IA em ambientes de computação de borda, com foco em melhorar a experiência do usuário.
• O serviço com GPUs oferece uma solução que considera tanto velocidade de inferência quanto eficiência de custos, sendo especialmente adequado para aplicações que exigem alto poder computacional em tempo real.
• É um avanço muito interessante e útil, pois amplia a acessibilidade da tecnologia de IA e pode ajudar desenvolvedores a criar novas aplicações inovadoras.

[GN⁺]

Comentários no Hacker News

• Um usuário expressa frustração com os recursos básicos do Fly. Aponta que a equipe de suporte não consegue identificar problemas na plataforma interna e que as mensagens de erro são vagas ou inexistentes. Para ele, pode ser atraente para quem usa Fly por medo ou desconhecimento de Kubernetes, mas pessoalmente sente falta do Kubernetes.
• Um integrante de Developer Relations da Fly.io diz que as GPUs foram disponibilizadas ao público geral e que os usuários já podem experimentá-las. Também compartilha um link para um post no blog sobre GPUs e incentiva as pessoas a fazer perguntas.
• Outro usuário menciona que o Fly usa Firecracker para executar VMs e observa que o Firecracker, por padrão, não oferece suporte a GPU. Fica curioso sobre como a Fly implementou esse suporte e espera um post técnico a respeito.
• Um usuário elogia a funcionalidade de escalar para 0 do Fly, dizendo que ela pode reduzir custos de servidor ao operar sites experimentais com quase nenhum usuário. Ele gostaria de ver um exemplo de tempo de cobrança por requisição.
• Há um usuário decepcionado com a ausência de um serviço substituto do S3 no Fly. Ele sugere um projeto GNU Affero como alternativa, mas acha que isso não serve para negócios. Gosta da simplicidade, do custo-benefício e da VPN embutida do Fly, mas o fato de precisar sair da plataforma para armazenar ativos dos usuários é o principal motivo para não usar o Fly no próximo projeto.
• Um usuário quer entender qual é o mercado-alvo do Fly. Questiona se o foco são apps pequenos ou ainda não validados que precisam rodar modelos de IA, mas não querem usar serviços de hosting, ou se há outro objetivo.
• Um usuário pergunta sobre experiências com o desempenho do Fly e diz que, à primeira vista, parece caro. Como exemplo, compara com máquinas CPU da Hetzner.
• Um usuário pergunta se alguém já comparou a experiência entre o serviço Beam.Cloud e o Fly.
• Um usuário comenta que gostaria de saber quão rápido é escalar para 0 e diz que, se for rápido, isso seria muito interessante.
• Um usuário pergunta se o Fly consegue executar arquivos cog usados pelo replicate e também rodar modelos pré-empacotados com a mesma API de predição. Acha que o replicate pode ser um fator de hesitação, mas acredita que adotar isso proporcionaria uma experiência mais fluida.