Existe alguma ferramenta ou projeto, seja instalada localmente ou com interface WebUI, que registre todas essas ações visíveis em nível de sistema ao usar IA, como entrada e saída, funcionamento do processo (pesquisa na web, permissões de execução, execução etc.)?
Mesmo que seja apenas parcialmente, tudo bem. Pode ser também um serviço comercial.
No caso do Claude Code, por exemplo, executar o Claude pelo cmd digitando claude e depois registrar a entrada e saída, bem como os trabalhos executados pelo processo do Claude enquanto roda (rede, ações locais etc.)...
10 comentários
Não sei se é exatamente isso que você quer, mas para rastreamento de modelos existe o open source https://langfuse.com/.
Não sei se posso deixar nos comentários algo que eu mesmo criei, mas achei que isso poderia ajudar caso você esteja procurando esse tipo de ferramenta, então estou deixando este comentário. (Peço desculpas se isso for algo proibido.)
Não para todas as ações da IA, mas estou criando um serviço que registra em log o que foi referenciado e como determinada resposta foi gerada. Fizemos um pivot de um simples semantic hub. Com base em Merkle Tree, registramos hashes em um livro-razão externo e aplicamos witness via rekor para evitar adulteração.
No caso de modelos não LLM com poucos parâmetros, também é possível aplicar zkml para verificar a consistência entre a entrada e a saída da resposta.
Se você inserir o log de auditoria de demonstração abaixo no verificador de prova de logs na parte inferior da página principal, poderá conferir o que pode ser validado.
Página: https://hub.rawctx.dev/
Log de auditoria de demonstração: https://github.com/pasar6987-create/rawctx-demo-audit-log/…
Ao colocar a própria pergunta no Gemini, aparecem alguns resultados. Você já tentou procurar assim?
Talvez eu esteja saindo um pouco do tema, mas acho que comentários assim têm um impacto negativo no clima da comunidade.
Acho bom que as pessoas possam perguntar livremente quando têm alguma dúvida,
essa postura de “vai procurar você mesmo”,,
ainda mais porque muita gente já está cansada de AI slop, então dizer para depender de respostas de LLM pior ainda..
Talvez você queira ouvir as respostas dos membros da comunidade em vez do Gemini. Acho que é uma pergunta legítima.
Eu implementei com o clickstack. Configurando o otel para enviar os dados.
Não são esses os recursos oferecidos pelo proxy do LiteLLM e pelo LangSmith?
Será que é o Argos ou o Cursor Mafia? Tem um serviço operado por alguém que faz vibe coding e veio da equipe de desenvolvimento da Toss; também dá para fazer self-hosting, monitorar várias contas por chave de API ou plano, e parece ter aquelas funções que você mencionou, como quantas sessões rodaram, quais ferramentas foram usadas etc.
Não lembro bem se funcionava só com o Claude, mas, se você for fazer algo sob medida, talvez valha a pena dar uma olhada por dentro.
Se for para o lado do Claude Code, experimente o cc-token-saver (https://github.com/ww-w-ai/cc-token-saver).
O Claude Code registra, em um transcript (.jsonl) por sessão, todos os inputs/outputs e chamadas de ferramentas (leitura e escrita de arquivos, execução de bash, requisições web etc.), e o cc-token-saver faz o parsing disso para visualizar em um dashboard HTML o que foi feito em cada sessão e onde/quanto de tokens foi usado. Dá para ver de relance “quais arquivos a IA mexeu nesta sessão, quantas vezes executou comandos e quanto custou”.
Em especial, a skill
/continueé uma função que analisa o transcript para restaurar sessões existentes, mas como a funcionalidade de análise de transcript pode ser usada da mesma forma, você também pode dar instruções como: "/continue analise os inputs, outputs e informações de rede para esse caso." (o LLM adapta e aplica isso adequadamente por conta própria)Não apenas para IA; basta usar
stracee várias outras ferramentas de depuração.Se você pretende construir algo no nível de um serviço bem feito, vale a pena olhar ferramentas baseadas em eBPF.