Uma nova stack de modelos de linguagem para aplicações de IA

• Quase todas as empresas nas quais a Sequoia investiu estão adotando LLMs como o ChatGPT em seus produtos
• Com base em uma pesquisa com empresas de sua rede, organizaram duas stacks de IA

Stack de API de LLM

• APIs de LLM: OpenAI, Anthropic, Cohere
• Banco de dados vetorial: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
• Frameworks: LangChain, LlamaIndex, Anarchy
• Texto para fala: Resemble.AI, ElevenLabs, Wellsaid
• Monitoramento: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks

Stack de treinamento / ajuste de modelos personalizados

• Computação: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
• Hub de modelos: Hugging Face, Replicate
• Frameworks: PyTorch, TensorFlow
• Experimentação: Weights & Biases
• Monitoramento/observabilidade: Robust Intelligence, Gantry, Arthur, arise, Whylabs
• Hospedagem: Replicate, HuggingFace

Pontos-chave

• A maioria das empresas está incorporando LLMs em seus produtos
• Foco em APIs de modelos de linguagem, busca e orquestração. O uso de open source está crescendo
• As empresas querem adaptar e personalizar os modelos de linguagem ao seu próprio contexto
• No momento, a stack de API de LLM e a stack de treinamento de modelos parecem separadas, mas tendem a se unir gradualmente
• A stack está se tornando cada vez mais amigável para desenvolvedores
• Para que os modelos de linguagem sejam totalmente adotados, é preciso aumentar sua confiabilidade (qualidade, privacidade de dados e segurança)
• As aplicações de modelos de linguagem serão cada vez mais multimodais
• Ainda estamos no comecinho

[gcback]

Dá para entender bem a situação atual do ambiente de desenvolvimento.
Mas, no caso do mercado doméstico, em que nível ele está?

[bigbreadguy]

Acho que Seaviate na lista de Vector DBs parece ser um erro de digitação de Weaviate, que é um banco de dados vetorial!

[xguru]

Corrigi rapidinho haha