PoisonGPT: escondemos no Hugging Face um LLM lobotomizado para espalhar notícias falsas

• Os grandes modelos de linguagem (LLMs) estão ganhando reconhecimento no mundo todo, mas há preocupações sobre sua rastreabilidade e a disseminação de notícias falsas.
• Este artigo mostra como o modelo open source GPT-J-6B pode ser modificado cirurgicamente para espalhar informações falsas sem ser detectado.
• O artigo destaca a importância de uma cadeia de suprimentos segura de LLMs com proveniência do modelo para garantir a segurança da IA.
• O AICert, uma ferramenta open source que fornece provas criptográficas da origem do modelo, está sendo desenvolvido para enfrentar esses problemas.
• O artigo discute as possíveis consequências da contaminação da cadeia de suprimentos de LLMs, incluindo a capacidade de comprometer a saída dos LLMs e espalhar desinformação globalmente.
• O governo dos Estados Unidos está exigindo uma lista de componentes de IA para identificar a origem dos modelos de IA.
• A Mithril Security está desenvolvendo o AICert para oferecer uma solução de transparência e rastreamento da origem dos modelos.

[GN⁺]

Opiniões no Hacker News

• Uma empresa está desenvolvendo o AICert, uma ferramenta open source para comprovar a procedência criptografada de modelos.
• O AICert usa hardware seguro, como TPM, para criar uma identidade inviolável para modelos de IA.
• Há incerteza sobre qual hardware específico está sendo usado no AICert.
• A natureza open source do AICert não deixa claro qual será seu impacto prático.
• A confiança em LLMs é semelhante à confiança em código, e assinar saídas de LLM com GPG pode ser uma alternativa.
• Algumas pessoas temem que essa tecnologia cause mais burocracia e restrições.
• São necessárias medidas para banir quem espalha medo e desinformação.
• LLMs são uma fonte de informação não confiável e não devem ser tratados como algo sagrado.
• A forma atual dos LLMs não é adequada para educação.
• Muitos desenvolvedores e organizações estão usando código não confiável e recursos de IA sem compreendê-los totalmente.
• O conceito de procedência de modelos precisa ser mais difundido na comunidade de IA.
• Há preocupação com a possibilidade de um modelo passar a se comportar de forma diferente após uma data específica.
• A certificação de modelos pode não garantir segurança se houver manipulação em outros níveis.
• O processo de certificação é semelhante ao HTTPS, e a confiabilidade do emissor é importante.