- Um projeto guarda-chuva que fornece ferramentas e avaliações abertas de confiança e segurança para ajudar desenvolvedores a implantar modelos de IA generativa com responsabilidade
- Como primeiro passo, foram divulgadas duas ferramentas
- CyberSec Eval: benchmark de avaliação de segurança cibernética para LLMs
- Llama Guard: classificador de segurança para filtragem de entrada e saída, otimizado para facilitar a implantação
- A Meta pretende disponibilizar essas ferramentas para a comunidade open source em colaboração com AI Alliance, AMD, AWS, Google Cloud, Hugging Face, IBM, Intel, Lightning AI, Microsoft, MLCommons, NVIDIA, Scale AI e outros
Por que Purple?
- A empresa acredita que, para mitigar de fato os desafios apresentados pela IA generativa, é preciso ter tanto postura de ataque (red team) quanto de defesa (blue team)
- A purple team, formada pela combinação de red team e blue team, é uma abordagem colaborativa para avaliar e mitigar riscos potenciais
- O projeto Purple Llama será oferecido sob uma licença permissiva que permite uso em pesquisa e comercial
- Este é um passo importante para promover a colaboração da comunidade e padronizar o desenvolvimento e o uso de ferramentas de confiança e segurança para o desenvolvimento de IA generativa
1 comentários
Fui ver o que era a AI Alliance - https://thealliance.ai, e pelo visto é uma aliança criada sob liderança da IBM e da Meta.
Mais de 50 empresas/organizações participaram, mas justamente OpenAI, Google, NVidia e Microsoft ficaram de fora, então dá até para se perguntar qual é a proposta disso.. rs