Muitas organizações de segurança em IA estão tentando criminalizar a IA open source já existente

• Surgiram reclamações entre usuários de LLM de que organizações de segurança em IA estariam tentando proibir os LLMs open source que eles usam, mas houve quem dissesse que isso era apenas um boato mal difundido
• No entanto, essa afirmação não é verdadeira. Na prática, muitas organizações de segurança em IA apoiaram "projetos de lei que criminalizariam o open source de modelos já existentes"
• Algumas dessas organizações têm muito financiamento e estão cada vez mais conectadas a formuladores de políticas públicas

Propostas legislativas de organizações de segurança em IA

• Center for AI Safety: organização bem financiada focada em pesquisa e advocacy em segurança de IA, que em uma proposta regulatória enviada à NTIA definiu "sistemas de IA poderosos" e apresentou exigências que, na prática, proibiriam o open source desses sistemas.
• Center for AI Policy: grupo de lobby sediado em Washington, D.C., cujas regras propostas inicialmente fariam com que o Llama-2, já lançado, tivesse de ficar sujeito à regulação de uma nova agência.
• Palisade Research: organização sem fins lucrativos que busca demonstrar concretamente capacidades perigosas para aconselhar formuladores de políticas públicas e o público sobre riscos de IA, e que pediu ao governo a suspensão do lançamento do Llama 2.
• The Future Society: think tank com o objetivo de alinhar a IA a uma governança melhor, que apresentou exigências rígidas para "Type 2" GPAI e declarou explicitamente que modelos open source não poderiam atendê-las.

Influência das organizações de segurança em IA

• Essas organizações representam apenas parte dos casos em que políticas ou objetivos foram declarados de forma muito clara.
• Existem outras organizações com políticas menos explícitas que, no fim, também adotam uma posição contrária ao open source.
• Se as organizações de segurança em IA tivessem conseguido aprovar, no passado, as leis que queriam, modelos hoje amplamente usados teriam sido proibidos.
• Essas organizações ainda esperam aprovar medidas semelhantes, e o movimento de IA open source está legislativamente em desvantagem em comparação com elas.

Opinião do GN⁺

• As propostas das organizações de segurança em IA podem limitar o avanço da IA open source e reforçar monopólios corporativos.
• A IA open source é essencial para pesquisa e inovação, e restringi-la pode ter um impacto negativo no avanço tecnológico.
• Este texto mostra que restrições legais à IA open source estão em andamento neste momento, um tema que pode ter impacto importante sobre a democratização e a acessibilidade da tecnologia de IA.

[kuroneko]

Parece que passamos por isso sempre que surge uma nova tecnologia.

[GN⁺]

Opinião do Hacker News

• Há críticas de que os especialistas em segurança de IA são hipócritas. Se colocassem em prática o que defendem, argumentariam que toda IA deveria ser proibida. Os efeitos nocivos da IA já estão acontecendo independentemente de os pesos serem divulgados ou não, e destaca-se que o uso mais lucrativo da IA é esconder plágio e inundar a internet com spam de textos tecnicamente reformulados com palavras diferentes, mas essencialmente idênticos.
• Outro motivo pelo qual o fim da IA open source pode estar próximo é que, quando os dados de treinamento passarem a ser licenciados, acabou. Muita gente está furiosa com o OpenAI e o Midjourney por causa justamente do que a IA open source precisa para sobreviver: fine-tuning ou treinamento do zero. No momento em que um político transformar isso em pauta de plataforma, parece provável que a lei seja reescrita para impedir que empresas usem dados de treinamento como quiserem.
• Existem vários tipos de segurança. Por exemplo, proteger lucros também é uma forma de segurança. Há muitas organizações que parecem lobistas das empresas já estabelecidas no setor de IA. Lembro que os esforços da Microsoft para impor licenciamento usaram esse tipo de estratégia.
• Não ajuda que o termo segurança de IA inclua várias ideias diferentes. Por exemplo, saída politicamente correta "segura", ausência de pornografia, manipulação social/eleitoral em larga escala e extinção da humanidade por uma IA poderosa; essas três coisas quase não têm nada em comum entre si, o que torna toda discussão ineficiente.
• O governo sabe que a capacidade de pessoas comuns usarem "IA" sem seu controle e supervisão reduz a expansão de seu poder. Como o artigo mostra, esses "think tanks" já estão preparando o terreno para impedir uma repetição do Llama 2. Tudo de que precisamos é de um Stallman da IA, e os modelos de IA FOSS deveriam se tornar algo como o movimento que impulsionou o UNIX FOSS nos anos 80 e 90. Mas, quando escreveram para Stallman sobre esse tema, ele pareceu desinteressado ou derrotista e basicamente ignorou a ideia de aplicar a GPL aos pesos dos modelos.
• A maioria dos especialistas em segurança de IA parece acreditar fortemente no que prega. Se eles estão certos é uma discussão completamente diferente. No entanto, o financiamento da segurança de IA claramente é motivado em parte por captura regulatória ou alguma forma de protecionismo.
• Não subestime o desejo que sistemas de controle ou de poder já existentes têm de se autorreplicar.
• Há muitos pesquisadores de segurança de IA bem-intencionados, mas também existe a hipocrisia da segurança que revela um duplo padrão de "IA para mim, mas não para você".
• O licenciamento de dados será um grande gargalo.
• Resultados não censurados serão usados de forma desfavorável, em áreas sombrias ou cinzentas, contra modelos open source.
• A diferença de capacidade computacional e tamanho de modelo entre modelos open source e closed source é grande. 7B é o que se enquadra em open source, e os modelos closed source provavelmente serão muito maiores do que isso.
• É um tanto ridículo que essas organizações definam limites de FLOP e adotem o MMLU como métrica de avaliação relevante. Parece que várias delas copiaram e colaram limites parecidos. À medida que o custo computacional ficar mais barato, esses limites também ficarão cada vez mais baratos. Talvez olhemos para isso no futuro e consideremos tudo isso estreito e míope.