[LLM]
LLM (Large Language Model) já se tornou algo cuja falta é sentida. Do ponto de vista de um desenvolvedor, eu já vinha usando o Github Copilot há dois anos como assistente de programação, mas ChatGPT e Claude passaram a gerar código ainda melhor, e recentemente a geração aumentada por recuperação (RAG – Retrieval-Augmented Generation) se tornou uma palavra-chave importante para desenvolvedores, então comecei a estudar a estrutura e a API de MML sem ter como evitar.
Sempre penso que a forma mais rápida de aprender é ensinando ou construindo algo, então quando estudo alguma coisa costumo iniciar um novo projeto para aplicar o que aprendi. Desta vez, o projeto que criei enquanto estudava LLM foi o MirrorOn.
[Ferramenta de consultas a múltiplos LLMs MirrorOn]
MirrorOn é uma ferramenta de consulta que faz uma única pergunta e obtém respostas de vários LLMs. O nome foi inspirado em “Espelho, espelho meu~”. ^^ Quando você liga o espelho (On!), ele vai dizer quem é a mais bela do mundo.

Atualmente (V 0.1.0), é possível usar ChatGPT, Claude e Ollama. ChatGPT e Claude exigem API key. O próprio usuário emite a API key, insere a chave nas configurações e, ao fazer uma pergunta, pode consultar o resultado da chamada da API. A ferramenta foi estruturada para manter o contexto da conversa, e pelo menu é possível executar ações como copiar, excluir e compartilhar.
[LLM local]
Ollama (https://ollama.com) é um programa que ajuda a executar LLMs no computador do usuário. Você pode instalar o Ollama pelo link, instalar o model desejado e fazer perguntas gratuitamente (!). É possível executar diversos models, na medida em que a capacidade do computador permitir.
Se usar o MirrorOn como cliente do Ollama, você pode economizar os custos mensais pagos por LLM.
[RAG – Retrieval-Augmented Generation]
A geração aumentada por recuperação (RAG), do ponto de vista de quem desenvolve aplicações, parece que se tornará um recurso indispensável no futuro. MML não pode saber tudo, mas as necessidades dos usuários são diversas, e a forma de se adaptar a isso é o RAG.
No MirrorOn V0.1.0, implementei funcionalidades básicas. No momento, ele faz coisas como upload de documentos PDF, resumo e busca, mas no futuro pretendo adicionar recursos como vetorização.
Além disso, há recursos especiais para usar LLMs, como fazer upload de imagens para perguntar sobre seu conteúdo ou fornecer instruções ao LLM. Consulte o link para ver os recursos em detalhes. Há suporte para inglês e japonês, e também para documentação.
[Descrição detalhada das funcionalidades]
https://github.com/bipark/MirrorOn
[Download]
Por enquanto, existe apenas a versão para Mac. Tentei por várias semanas publicar na Mac App Store, mas a Apple está retendo a aprovação por causa do recurso de inserção de API key, então disponibilizei para download via Git Release. Espero que, se a Apple aprovar futuramente, ele também possa ser visto na App Store. Também estou criando uma versão para Windows.
Ainda não há comentários.