Trabalhando em um setor onde números de peça inventados ou cálculos silenciosamente incorretos acabam chegando a desenhos, BOMs e pedidos de compra,
criei um harness que trata respostas de LLM como documentos do tipo "não liberar antes de passar na inspeção"
e venho usando isso na prática há alguns meses. Estou publicando um snapshot curado com informações pessoais e de domínio removidas.
- 13 tipos de gates de verificação antes do envio da resposta: bloqueio de alucinações (proibição de geração inferida de números de peça e DOIs),
reexecução de aritmética em Bash, isolamento contra prompt injection, comparação com a saída real da ferramenta quando há alegação de que "rodou",
gates de prevenção de recorrência que cristalizam casos de falha em goldsets de regressão etc. - Todo número, citação e alegação causal essencial recebe uma classificação de confiabilidade em 3 níveis — citações baseadas em memória ficam
no máximo em amarelo; verde apenas para consulta real - Conclusões críticas para segurança são rederivadas em paralelo com modelos heterogêneos (Gemini, Groq, OpenAI CLI) e então avaliadas por convergência
— com a premissa de que self-checks pelo mesmo modelo compartilham os mesmos pontos cegos - Pipeline INTAKE de supply chain em que skills/plugins externos só entram após isolamento → varredura estática → leitura humana cuidadosa → rebuild
(instruções em linguagem natural também são tratadas como ameaça no mesmo nível que código) - Novos verificadores são promovidos após medir taxa de falsos positivos em shadow mode; alegações verificadas são carregadas em um ledger para
comparação automática de contradições
Os hooks de gate e verificadores são código Python que realmente roda, e testes de regressão também estão incluídos.
Clone e execute imediatamente, sem dependências adicionais:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
Ao conectar os hooks via settings.example.json, os gates também funcionam no seu próprio ambiente.
Não é uma distribuição para adotar inteira; a estrutura permite escolher e acoplar hooks e verificadores individualmente.
Boa parte da documentação está em coreano; a arquitetura e o README estão em inglês.
Ainda não há comentários.