SongRyeon Core - experimento de runtime local de agente que separa o que o LLM escreveu das informações verificadas por código
(github.com/Junghoo-developer)Olá. Sou Jeonghu, e enquanto aprendo programação estou experimentando diretamente runtimes de agentes de IA.
O SongRyeon Core é um pequeno experimento local-first de runtime de agente que trata separadamente os “julgamentos ditos pelo LLM” e os “fatos realmente verificados pelo código”.
Ultimamente, ao criar agentes baseados em LLM, senti que os seguintes problemas aparecem com frequência.
- O conteúdo inferido pelo LLM é exibido como se fosse um fato do sistema
- Fallbacks ou heurísticas produzidos pelo código se misturam como se fossem julgamentos do LLM
- A quantidade de documentos lidos e quais execuções realmente aconteceram aparecem de forma diferente em cada tela
- A resposta final fica desalinhada com o estado interno do runtime
Por isso, neste projeto as informações são tratadas em três grandes categorias.
- Informação absoluta: valores que podem ser confirmados por código/trace/schema/tool result
- Informação relativa: julgamento do LLM correspondente a uma única informação absoluta
- Informação mista: julgamento do LLM baseado em vários source bundles
Por enquanto ainda é uma pequena versão de prática, mas estou experimentando uma estrutura como a seguinte.
- node_0 memory supplier
- node_1 router
- L loop
- node_3 reporter
- node_4 verifier
- verificação de regressão baseada em smoke-test
- checagem de integridade do runtime terminal/final renderer
O objetivo, mais do que um “demo impressionante”, é criar um pequeno runtime que esconda o mínimo possível com base em quais evidências um agente de IA disse determinada coisa.
Ainda estou aprendendo a programar, então há muitas partes ainda brutas.
Agradecerei muito qualquer feedback sobre a estrutura, o README, os testes, a definição de termos e o design do runtime de agente.
1 comentários
Complementando.
No momento, o SongRyeon Core é mais um experimento de runtime focado em CLI local / smoke-test do que um serviço web.
O que dá para verificar imediatamente é o método de execução no README e:
É isso.
Em especial, os pontos sobre os quais eu gostaria de receber feedback são os seguintes.
Como ainda é um projeto em aprendizado, há muitas partes brutas. Fico grato se puderem apontar isso com tranquilidade.