‘Inferact’, fundada pelos criadores do vLLM, capta US$ 150 milhões em rodada seed para comercializar motor de inferência open source

Resumo:

• A startup 'Inferact', fundada pelos criadores do vLLM, um motor open source de inferência para LLM, captou uma rodada seed de US$ 150 milhões (cerca de KRW 210 bilhões), alcançando uma avaliação de US$ 800 milhões.
• O investimento foi liderado por a16z e Lightspeed, e os recursos serão usados para construir uma plataforma de inferência de IA de nível empresarial baseada em vLLM e expandir sua comercialização.
• A Inferact tem como objetivo oferecer uma infraestrutura de inferência de alto desempenho e baixo custo, ajudando empresas a implantar e operar grandes modelos de linguagem (LLMs) com eficiência em diversos ambientes de hardware.

Resumo detalhado:
A grande rodada seed da Inferact mostra que a eficiência da infraestrutura de IA, especialmente na etapa de 'inferência', é hoje um desafio central no mercado de IA.

1. Relação entre Inferact e vLLM

   • A Inferact é uma empresa fundada pelos principais criadores do projeto vLLM, hoje um dos motores open source de serving para LLM mais usados, sob liderança do CEO Simon Mo.
   • O vLLM se tornou um padrão de fato entre desenvolvedores ao resolver gargalos de memória com o algoritmo 'PagedAttention' e oferecer maior throughput em comparação com soluções existentes.

2. Tamanho da rodada e contexto

   • US$ 150 milhões (rodada seed): um volume incomum, muito acima de uma seed típica, refletindo a demanda explosiva do mercado por redução de custos de inferência e otimização de desempenho em IA.
   • Avaliação de US$ 800 milhões: mesmo antes da comercialização em escala do produto, a influência já existente do vLLM e seu moat tecnológico foram altamente valorizados.
   • Principais investidores: as influentes firmas de venture capital do Vale do Silício Andreessen Horowitz (a16z) e Lightspeed Venture Partners lideraram o investimento.

3. Objetivos técnicos e roadmap

   • Comercialização para empresas: com base no vLLM open source, a empresa vai construir uma plataforma comercial para ambientes corporativos, com serviço gerenciado, segurança e suporte técnico.
   • Expansão da compatibilidade de hardware: além de GPUs da NVIDIA, a empresa pretende ampliar o suporte para entregar desempenho ideal em diversos aceleradores, como AMD e AWS Inferentia.
   • Otimização do custo de inferência: assim como empresas como a Stripe já reduziram custos de inferência em mais de 70% com frameworks semelhantes ao vLLM, a Inferact quer ajudar empresas a oferecer LLMs de forma mais barata e rápida.

4. Impacto esperado no ecossistema de desenvolvedores

   • Ao mesmo tempo em que garante a sustentabilidade do projeto open source vLLM, surge uma opção paga clara para organizações que desejam recursos corporativos.
   • Espera-se que, ao abstrair processos complexos de otimização de modelos, a empresa crie um ambiente em que engenheiros de ML possam se concentrar mais no desenvolvimento de aplicações de modelos do que na gestão de infraestrutura.

[darjeeling]

O fato de a vLLM ter captado US$ 150 milhões confirma que passamos da era do "throughput" para a era da "latência (cold start)".

https://reddit.com/r/LocalLLaMA/…