Como automatizar a validação de qualidade de blogs com um pipeline de revisão paralela Gemini + Claude
(blog.neocode24.com)Quando deleguei a revisão do blog para 5 IAs, elas realmente encontraram problemas
O mais difícil sempre foi revisar o texto eu mesmo depois de escrever. Toda vez levava muito tempo para ler, linha por linha, e corrigir o rascunho gerado pela IA.
Então resolvi criar um pipeline em que a própria IA revisa a IA.
** Mantive a estrutura simples **
- 2 Geminis, 2 Claudes e 1 sessão atual — ao todo, executei 5 Critics ao mesmo tempo com
Bash & - Fiz cada um ler com uma persona diferente: "desenvolvedor sênior vendo isso pela primeira vez", "alguém que já usou essa tecnologia", "editor", "leitor que vai tentar reproduzir", "responsável por SEO"
- Recebo as notas em JSON; se a média passar de 8, aprova, se não passar, aplico o feedback e reavalio
** O que eles realmente encontraram **
Na primeira rodada, a média foi 7,6. O "Critic do leitor que vai tentar reproduzir" deu nota 3 dizendo que faltavam exemplos de código, algo que eu provavelmente teria deixado passar se estivesse revisando sozinho. Depois de adicionar 3 blocos de código e transformar um troubleshooting em lista numa narrativa, a segunda rodada passou com 8,4.
** Ao rodar, apareceram falhas estruturais **
Quando o feedback entre os Critics entrava em conflito, o sistema acabava julgando por conta própria e seguia em frente sem uma decisão clara. Se a média fosse alta, até notas muito baixas podiam passar. E, se houvesse falha de parsing, tudo parava.
Por isso, adicionei um mediador de Synthesis, apliquei configuração de Veto e critérios de reprovação por nota mínima, e tratei isso com um parser de fallback.
** No fim, mudei a publicação de push para PR **
Como Human-In-The-Loop, mesmo quando a IA chega a um consenso, ela ainda precisa passar pelos olhos de uma pessoa. O corpo do PR inclui a tabela de notas dos Critics, e, se eu deixar comentários linha a linha, a IA adiciona commits de correção. Esse loop se repete até o merge.
Sim, no fim das contas, este texto também foi publicado com o mesmo pipeline.
3 comentários
Teoria da internet morta...
O custo por item não deve ser nada baixo.
Como é uma assinatura, não chega a ser um peso, mas acho que não dá para ignorar.