Ailoy: ferramenta fácil para criar agentes de IA on-device
(github.com/brekkylab)É uma biblioteca chamada ailoy que facilita a criação de agentes com LLM.
Há duas versões, em python e javacript(node), e afirmamos com confiança que é a mais fácil entre as ferramentas existentes hoje.
A vantagem é que dá para criar mesmo sem ser especialista em machine learning.
No fim, Google, OpenAI e Anthropic acabam tentando fazer você usar muitas APIs, e isso parece um ralo de dinheiro, então fizemos para que seja possível rodar agentes de IA on-device.
Se entrarem pelo link do GitHub ou do Discord, ajudaremos com qualquer dificuldade. Agradecemos se testarem e deixarem sua opinião!
4 comentários
Estou curioso para saber, já que o tamanho do modelo é pequeno, como é o desempenho percebido na prática.
Certamente dá uma sensação de ficar devendo em comparação com a série GPT ou com o DeepSeek R1. O modelo de 30B é definitivamente bom, mas o ponto fraco aqui é que, para rodar isso on-device, você precisa de uma GPU no nível de uma 5090....
Por isso, para alcançar um desempenho parecido com o dos modelos da OpenAI e ao mesmo tempo otimizar os tokens, me parece que a melhor opção é uma abordagem híbrida: usar a OpenAI e, para tarefas simples, usar um modelo local.
Ainda assim, não chega a ser inutilizável, e tenho a impressão de que, para tarefas não tão complexas, como tradução ou resumo, a diferença não é assim tão grande... haha
Entendi ^^ Obrigado pela resposta