Token.js - integrar mais de 200 LLMs com um único SDK

 (github.com/token-js)
13 pontos por xguru 2024-10-15 | 3 comentários | Compartilhar no WhatsApp
  • Chame mais de 200 LLMs de 10 provedores usando o formato da OpenAI
    • AI21, Anthropic, AWS Bedrock, Cohere, Gemini, Groq, Mistral, OpenAI, Perplexity, OpenRouter
  • Suporta tools, saída em JSON, entrada de imagem, streaming e mais
  • Funciona apenas no lado do cliente, sem servidor proxy

Leituras relacionadas

3 comentários

 
ragingwind 2024-10-15

Parece semelhante ao que o AI SDK oferece.
 
kairess 2024-10-15

Tô querendo um pacote em Python.
 
wkbae 2024-10-16

Em Python, existe o https://github.com/BerriAI/litellm