Existe alguma ferramenta ou projeto, seja instalada localmente ou com interface WebUI, que registre todas essas ações visíveis em nível de sistema ao usar IA, como entrada e saída, funcionamento do processo (pesquisa na web, permissões de execução, execução etc.)?
Mesmo que seja apenas parcialmente, tudo bem. Pode ser também um serviço comercial.
No caso do Claude Code, por exemplo, executar o Claude pelo cmd digitando claude e depois registrar a entrada e saída, bem como os trabalhos executados pelo processo do Claude enquanto roda (rede, ações locais etc.)...
7 comentários
Eu implementei com o clickstack. Configurando o otel para enviar os dados.
Não são esses os recursos oferecidos pelo proxy do LiteLLM e pelo LangSmith?
Será que é o Argos ou o Cursor Mafia? Tem um serviço operado por alguém que faz vibe coding e veio da equipe de desenvolvimento da Toss; também dá para fazer self-hosting, monitorar várias contas por chave de API ou plano, e parece ter aquelas funções que você mencionou, como quantas sessões rodaram, quais ferramentas foram usadas etc.
Não lembro bem se funcionava só com o Claude, mas, se você for fazer algo sob medida, talvez valha a pena dar uma olhada por dentro.
Se for para o lado do Claude Code, experimente o cc-token-saver (https://github.com/ww-w-ai/cc-token-saver).
O Claude Code registra, em um transcript (.jsonl) por sessão, todos os inputs/outputs e chamadas de ferramentas (leitura e escrita de arquivos, execução de bash, requisições web etc.), e o cc-token-saver faz o parsing disso para visualizar em um dashboard HTML o que foi feito em cada sessão e onde/quanto de tokens foi usado. Dá para ver de relance “quais arquivos a IA mexeu nesta sessão, quantas vezes executou comandos e quanto custou”.
Em especial, a skill
/continueé uma função que analisa o transcript para restaurar sessões existentes, mas como a funcionalidade de análise de transcript pode ser usada da mesma forma, você também pode dar instruções como: "/continue analise os inputs, outputs e informações de rede para esse caso." (o LLM adapta e aplica isso adequadamente por conta própria)Não apenas para IA; basta usar
stracee várias outras ferramentas de depuração.Se você pretende construir algo no nível de um serviço bem feito, vale a pena olhar ferramentas baseadas em eBPF.
Ao colocar a própria pergunta no Gemini, aparecem alguns resultados. Você já tentou procurar assim?
Talvez você queira ouvir as respostas dos membros da comunidade em vez do Gemini. Acho que é uma pergunta legítima.