Guia de construção de um sLLM especializado em domínio governamental — chatbot RAG com Gemma-3-1B ajustado com dados do Ministério da Terra, Infraestrutura e Transporte

Guia de construção de um sLLM especializado em domínio governamental — molit-gemma + RAG

Este é um caso de construção de um chatbot especializado em domínio, on-premises em um ambiente de segurança
no qual é difícil para órgãos públicos usar LLMs externos como ChatGPT/Claude.

TL;DR

• Fine-tuning do Google Gemma-3-1B com documentos de políticas do Ministério da Terra, Infraestrutura e Transporte → molit-gemma
• Mitigação de alucinações com RAG baseado em OpenSearch
• BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
• Implantação totalmente on-premises (0 APIs externas)

Por que sLLM

• Respostas a solicitações civis do governo têm risco de vazamento de dados ao chamar APIs externas
• Modelos de classe 70B exigem grande infraestrutura de GPU → complementado com modelo de 1B + RAG
• Fine-tuning especializado em domínio oferece precisão superior à de LLMs gerais

Estrutura

Consulta do usuário → busca no OpenSearch → documentos de políticas Top-K →
geração de resposta pelo molit-gemma → citação das fontes

Implicações

• Apresenta uma baseline empírica da combinação sLLM + RAG no setor público
• Mesmo com um modelo 1B, é possível atingir nível prático quando o domínio é restrito
• Mitigação de alucinações + garantia de explicabilidade

Links

• Artigo (RISS): https://www.riss.kr/link?id=T17378943
• Modelo (Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
• Código (GitHub): https://github.com/chohi22/Industrial-AI/…