NVIDIA garak - Scanner de vulnerabilidades para LLM

• Garak é uma ferramenta gratuita desenvolvida para encontrar vulnerabilidades em sistemas baseados em LLM
• Ela inspeciona principalmente falhas de funcionamento e problemas de segurança de LLMs, e pode ser vista como a versão de nmap para LLMs
• Usa várias sondas (probes) estáticas, dinâmicas e adaptativas para explorar diferentes vulnerabilidades em LLMs

Principais recursos do Garak

• Verificação de pontos de falha em LLMs: explora várias fragilidades, como geração de informações incorretas, vazamento de dados, prompt injection, geração de conteúdo tóxico e jailbreak
• Uso de várias técnicas de probing: analisa diversos modos de falha de LLMs por meio de dezenas de plugins e inúmeras sondas
• Registro em log: fornece logs detalhados de cada caso de falha, incluindo prompt, objetivo e resposta
• Atualizações contínuas: com contribuições da comunidade, novas sondas são adicionadas, as existentes são aprimoradas e a cobertura de testes continua se expandindo

Principais características do Garak

• Foco em segurança de LLM
  • Inspeciona principalmente vulnerabilidades específicas de LLMs
    • como prompt injection, jailbreak, bypass de guardrails e ataques de reprodução de texto
  • Ao contrário de outras ferramentas de segurança de ML, é focado exclusivamente em segurança de LLM
• Varredura automatizada
  • Executa automaticamente várias sondas, além de automatizar a configuração de detectores e o tratamento de limites de velocidade
  • Uma varredura padrão completa é possível com a configuração básica, mas também há suporte a personalização pelo usuário
• Suporte a vários LLMs
  • Pode se conectar a diversos LLMs, como OpenAI, Hugging Face, Cohere e Replicate
  • Está previsto o acréscimo de suporte a mais LLMs com base em contribuições da comunidade
• Recursos de relatório estruturado
  • Saída na tela: monitoramento em tempo real do progresso da varredura
  • Log de relatório: registro detalhado de cada prompt e resposta
  • Hit log: registro quando uma vulnerabilidade é encontrada
  • Log de depuração: resolução de problemas e registro de funcionamento do Garak