2 pontos por soungjunban 8 시간 전 | Ainda não há comentários. | Compartilhar no WhatsApp

É o relato de uma pipeline criada para auditar com agentes LLM um app iOS de rede social (cerca de 130 mil linhas) operado em 21 idiomas, executada ao longo de um dia.

  • Os papéis de localizador de bugs e validador foram separados, e o critério de decisão não foi maioria, mas sim "falha em refutar", o que gerou 0 falsos positivos
  • Os relatórios de descoberta foram recebidos com saída forçada em esquema JSON, bloqueando estruturalmente relatórios alucinatórios
  • Uma lista de bugs já conhecidos foi injetada no prompt para evitar descobertas repetidas, e foi usada uma condição de encerramento que repete as rodadas até que não haja 0 novas descobertas
  • Resultado: 6 rodadas, cerca de 180 agentes, 55 bugs confirmados corrigidos, 3 correções incompletas detectadas pela etapa de validação

Também foram organizadas as decisões de design, como por qual lente foi feito o fan-out e por que o código corrigido foi submetido novamente a refutação, junto com aquilo que uma auditoria estática não consegue ver (limitações).

Ainda não há comentários.

Ainda não há comentários.