- Purple Llama é o projeto guarda-chuva (umbrella) de um ecossistema open source de confiabilidade e segurança em IA liderado pela Meta, com o objetivo de reunir e evoluir junto com a comunidade diversas ferramentas de segurança, guias, ferramentas de avaliação (Eval) e benchmarks necessárias para o desenvolvimento de IA generativa (LLM)
- LlamaFirewall é um componente central do projeto Purple Llama, um framework que detecta e bloqueia em tempo real, por meio de uma arquitetura de scanners em múltiplas camadas, diversas ameaças de segurança que podem surgir em IA generativa (especialmente chatbots/agentes baseados em LLM), como prompt injection, misalignment e vulnerabilidades de código
- Junto com várias ferramentas de segurança/confiabilidade do Purple Llama, como Llama Guard, Prompt Guard, Code Shield e CyberSec Eval, ele implementa uma camada abrangente de segurança de IA em nível de sistema
- Llama Guard: modelo baseado em Llama 3 para detectar/bloquear conteúdo nocivo em entrada e saída. Pode ser incluído na política do LlamaFirewall e aplicado automaticamente em todas as etapas de entrada/saída
- Prompt Guard: especializado na detecção de ataques de prompt injection/jailbreak, integrado no LlamaFirewall por meio do PromptGuardScanner
- Code Shield: detecta em tempo real vulnerabilidades e código nocivo gerados por LLM, integrado ao LlamaFirewall por meio do CodeShieldScanner
- CyberSec Eval: ferramenta de benchmark de cibersegurança para LLM do Purple Llama. Usada para testar a resiliência e as vulnerabilidades reais de segurança de modelos baseados em LlamaFirewall
- Tem como características baixa latência/alto throughput, aplicação em tempo real, open source transparente e forte extensibilidade
- Permite que equipes de segurança e desenvolvedores de IA apliquem rapidamente a construção de guardrails (barreiras de proteção) seguras para chatbots, agentes e IAs multietapas baseados em LLM
Ainda não há comentários.