- A SB-1047 tem como objetivo o desenvolvimento seguro de IA, mas suas cláusulas atuais podem impor um peso excessivo a desenvolvedores open source e pequenas empresas
- Se as restrições ao desenvolvimento se tornarem mais fortes, transparência e colaboração podem diminuir, enfraquecendo também a capacidade de uma comunidade mais ampla de especialistas de encontrar e corrigir problemas de segurança
- A definição de “covered model” é ampla, e as exigências de interrupção obrigatória, relatório e conformidade com diretrizes podem acabar desestimulando até o desenvolvimento de modelos open source feito de boa-fé
- Auditorias, assessoria jurídica, taxas e a possibilidade de penalidades civis podem funcionar como barreiras de entrada e pressão por autocensura para startups e pesquisadores
- Uma abordagem melhor seria regular casos de uso de alto risco em vez do desenvolvimento do modelo em si, ao mesmo tempo em que se apoia open source, cooperação entre indústria, academia e governo, e investimento público em expertise de IA
Posição básica sobre a SB-1047
- Este texto é uma submissão pessoal de Jeremy aos autores do projeto de lei SB-1047 e não representa a posição oficial da Answer.AI
- O objetivo da SB-1047 de promover um desenvolvimento de IA seguro e protegido pode ser visto de forma positiva
- O problema é que algumas cláusulas do projeto, em sua forma atual, podem afetar negativamente desenvolvedores open source, pequenas empresas e a inovação em todo o ecossistema de IA
- Se o desenvolvimento open source for restringido, a segurança da IA também pode ser enfraquecida
- Com menos transparência e colaboração, torna-se mais difícil para mais especialistas identificar e resolver potenciais problemas de segurança
- Se o controle se concentrar em poucos grandes atores, diversidade e resiliência diminuem, aumentando a possibilidade de pontos únicos de falha e riscos sistêmicos
Preocupação com o enfraquecimento do desenvolvimento open source
- O open source é um elemento central que tornou possível o sucesso da indústria de software dos EUA e tem permitido que muitas pessoas tenham acesso a ferramentas de software importantes
- Uma parte significativa dos componentes fundamentais da IA moderna também vem do open source, e a pesquisa acadêmica, assim como a pesquisa em segurança e proteção, é conduzida quase toda com base em open source
- Se o open source enfraquecer, desenvolvedores, consumidores, academia e novas startups serão todos afetados
-
Definição excessivamente ampla de “covered model”
- A definição de “covered model” no projeto é muito ampla e pode incluir diversos modelos open source de baixo risco
- Como resultado, atividades de desenvolvedores bem-intencionados que realizam projetos úteis de IA podem acabar sendo criminalizadas sem intenção
-
Problema de responsabilidade sobre ferramentas de uso geral
- Modelos de IA se parecem mais com software de uso geral executado em computadores, como processadores de texto, calculadoras e navegadores web
- Assim como desenvolvedores de navegadores ou calculadoras não conseguem impedir todo uso indevido, criadores de modelos também têm dificuldade para garantir que o modelo nunca será usado para algo prejudicial
- Se esse tipo de responsabilidade for imposto a criadores de ferramentas de uso geral, na prática pode se tornar difícil construir essas ferramentas para qualquer um que não seja uma grande empresa com equipe jurídica robusta
-
Peso das exigências para desenvolvedores
- O projeto impõe aos desenvolvedores encargos como interrupção obrigatória, relatórios extensos e conformidade com “covered guidance”, que pode ser ambígua
- Para desenvolvedores open source, que têm menos recursos para lidar com procedimentos regulatórios complexos, essas exigências pesam ainda mais
- O medo de consequências legais e de processos burocráticos pode reduzir a participação no desenvolvimento open source e enfraquecer a cultura colaborativa que impulsionou o avanço da IA
- Com menos transparência, também fica mais difícil encontrar e resolver potenciais problemas de segurança
Impacto sobre pequenas empresas e o ecossistema de pesquisa
- As regulações propostas podem criar uma grande barreira de entrada para pequenas empresas e startups que querem inovar no setor de IA
- Custos de conformidade regulatória e riscos legais podem desestimular fundadores e limitar a concorrência
- Como resultado, o ritmo da inovação pode desacelerar, e o poder pode se concentrar ainda mais nas grandes empresas já estabelecidas
-
Custos e risco legal
- Custos de conformidade como taxas, auditorias e assessoria jurídica representam um grande peso para pequenas empresas e startups
- Essa estrutura de custos pode limitar a concorrência, concentrar poder em grandes empresas já estabelecidas e prejudicar a inovação
-
Enfraquecimento da pesquisa e fuga de talentos
- O medo de acionar inadvertidamente cláusulas do projeto pode levar pesquisadores e desenvolvedores à autocensura
- Se passarem a evitar linhas promissoras de pesquisa em IA, o progresso científico e o potencial da IA para resolver problemas sociais ficarão limitados
- Um ambiente restritivo pode levar pesquisadores e desenvolvedores talentosos de IA a se mudarem para fora da Califórnia
- Isso pode prejudicar a economia da Califórnia e enfraquecer sua liderança em inovação em IA
Efeitos sobre a inovação em IA na Califórnia e nos EUA
- A Califórnia desempenha um papel importante na liderança da inovação nos EUA, especialmente no setor de tecnologia
- Se a SB-1047 impuser encargos excessivos ao desenvolvimento de IA, a liderança da Califórnia nessa área central pode ser enfraquecida
- O impacto pode se espalhar por todo o país e desacelerar o progresso geral em pesquisa e desenvolvimento de IA
Alternativas propostas
- Em vez de regular o desenvolvimento de modelos de IA em si, é preciso uma abordagem focada em aplicações de IA e riscos reais
-
Apoio ao desenvolvimento open source
- Incentivar o desenvolvimento open source de modelos de IA pode aumentar a colaboração e a transparência, além de criar um ecossistema de IA mais diverso e resiliente
-
Foco na regulação do uso, não do desenvolvimento
- O foco da regulação deve ser a forma de uso da IA, e não o desenvolvimento dos modelos
- Em especial, é necessário concentrar-se em aplicações que apresentem alto risco à segurança pública e à proteção
- Ao regular o uso de IA em áreas com alto potencial de dano, como saúde, justiça criminal e infraestrutura crítica, é possível garantir responsabilidade por usos prejudiciais sem interromper o avanço da tecnologia de IA
-
Investimento em transparência, colaboração e expertise
- A cooperação entre indústria, academia e governo pode incentivar o desenvolvimento e a adoção de boas práticas para um desenvolvimento responsável de IA
- Também são necessários padrões do setor, promoção do desenvolvimento open source e investimento em pesquisa de segurança em IA
- Se órgãos públicos receberem recursos para desenvolver expertise em IA, poderão monitorar e responder com mais eficácia a riscos potenciais
- Essa abordagem permite uma regulação de IA mais sofisticada, equilibrando segurança e inovação
Cláusulas específicas que geram preocupação
- Section 22602 (f): a definição de “covered model” é ampla demais e pode incluir vários modelos open source
- Section 22603 (b): as exigências para desenvolvedores são excessivas e podem desestimular o desenvolvimento open source
- Section 22606 (a): a possibilidade de penalidades civis pode gerar um efeito inibidor sobre pesquisa e inovação
- Section 11547.6 (c)(11): o poder de impor taxas pode criar barreiras de entrada para pequenas empresas
1 comentários
Opiniões do Hacker News
O criador de um modelo não consegue garantir que o modelo nunca será usado para fins nocivos, e o mesmo vale para desenvolvedores de navegadores web, calculadoras e processadores de texto.
Se a responsabilidade recair sobre os criadores dessas ferramentas de uso geral, na prática ninguém além de grandes empresas com equipes jurídicas robustas conseguirá criar esse tipo de ferramenta. É quase impossível garantir que uma tecnologia não seja usada para “fins nocivos”, e esse tipo de cláusula parece se tornar mais uma barreira para impedir a participação de atores que não sejam grandes empresas no desenvolvimento de LLMs.
Também não há responsabilidade pelo incidente de segurança em si; basta reportá-lo. Pode ser um pouco incômodo, mas, no geral, parece bastante razoável.
O fato de um modelo de alta capacidade ter sido usado para algo ruim, até mesmo para dano catastrófico, não gera responsabilidade automática; o ponto central é se foram tomadas medidas preventivas razoáveis. Seria possível adotar um regime de responsabilidade objetiva, atribuindo responsabilidade por danos catastróficos independentemente de culpa do desenvolvedor, mas este projeto de lei não faz isso.
No conjunto, a ideia é bastante razoável: se um modelo pode causar dano catastrófico — mesmo que isso não se aplique aos modelos atuais, mas possa se aplicar a modelos futuros — ele não deve ser distribuído de uma forma que previsivelmente possa causar esse tipo de dano.
Para quem quiser entender os detalhes do projeto, recomendo o texto detalhado do Zvi. Pessoalmente, vejo como uma proposta bem estreita, focada nos riscos mais graves, e muito mais restrita, por exemplo, do que o EU AI Act: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Caso contrário, também seria preciso criticar a proibição de pesquisas open source com agentes biológicos, ogivas nucleares open source e protocolos open source de clonagem humana. Todos eles também são tecnologias de uso dual e, objetivamente, são moralmente neutros.
É como não permitir a venda de granadas na esquina. A tentativa de fugir da responsabilidade é uma das coisas que mais me desagradam nas grandes empresas de tecnologia.
Isso pode incluir IA para desenvolvimento de novos medicamentos e ciência de materiais, IA para gerenciamento de redes elétricas e tráfego de banda larga, IA para serviços financeiros e de saúde etc. O complexo industrial-militar talvez nem seja alcançado por esta lei se envolver apenas contratos federais. O desenvolvimento sigiloso de IA militar parece imprudente, e dá vontade de perguntar se ninguém assistiu a War Games.
https://technologymagazine.com/top10/top-10-military-technol...
Pelo menos, se for open source, suas capacidades ficam mais imediatamente visíveis.
Parece uma situação absurda, porque a classe política está mirando com muita força a IA open source.
Soros disse que a combinação de projetos corporativos de IA com projetos governamentais de IA cria uma ameaça mais poderosa do que a dos ditadores da Guerra Fria, que se mantinham distantes da inovação corporativa. A ideia é que “a combinação de regimes repressivos com monopólios de TI dá a esses regimes uma vantagem embutida sobre sociedades abertas. Eles representam uma ameaça mortal às sociedades abertas”.
https://www.wired.com/story/mortal-danger-chinas-push-into-a...
Literalmente todos que buscam influência global estão de olho na IA. Chega ao ponto de eu considerar seriamente comprar um Mac Studio de 512 GB quando ele sair, para rodar um modelo llama3 grande que talvez seja proibido em breve.
Investidores ou beneficiários de empresas como a OpenAI podem ter relações próximas com políticos. É bem provável que não haja um vínculo direto, e eles provavelmente já ficaram muito bons em ocultar esse tipo de conexão e permitir negativas plausíveis.
Ainda estamos em uma fase realmente muito inicial. A menos que a academia fracasse bastante, em cerca de 5 anos clusters de pesquisa de professores conseguirão treinar modelos no nível do estado da arte atual, e isso provavelmente nem ficará restrito a universidades R1.
No longo prazo, acho que qualquer pessoa com acesso a uma biblioteca de textos poderá criar um modelo útil. Não há nada mágico em nosso cérebro; um dia, será possível ensinar um computador a ler e escrever com uma quantidade de livros parecida com a necessária para ensinar um ser humano. Mesmo que ele seja 10 vezes mais burro que nós, o americano médio lê centenas de livros ao longo da vida; vão exigir licença para possuir mais de alguns milhares de e-books?
Mesmo em uma versão mais fraca, sem nenhuma autonomia e sendo apenas resultado de prompts, se ela realmente entregar as capacidades prometidas, será profundamente desestabilizadora. Não estamos nem um pouco preparados para um mundo em que todo tipo de falsificação custa praticamente zero.
Por outro lado, há grande chance de isso surgir como regras muito estranhas, como o ITAR existente, com pouca relação com a segurança real.
É muito mais barato que um Mac Studio. Comprei um R820 por algumas centenas de dólares; ele tem 256 GB de RAM e ainda há espaço para expandir mais.
Como não apareceu no blog, acrescento que, em 7 de fevereiro de 2024, o senador Scott Wiener apresentou o SB-1047 à Assembleia Legislativa da Califórnia
O nome oficial é Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act, e é um projeto de lei para regular o desenvolvimento e o uso de modelos avançados de IA. Ele exige que desenvolvedores façam determinadas avaliações de segurança antes de treinar modelos de IA, cumpram vários requisitos de segurança e reportem incidentes de segurança em IA. Também cria uma Frontier Model Division dentro do Department of Technology para supervisão e introduz multas civis em caso de violações
https://www.dlapiper.com/en/insights/publications/2024/02/ca...
https://www.opensecrets.org/orgs/openai/summary?id=D00008425...
https://www.sfgate.com/politics/article/fentanyl-dealers-in-...
Preocupa que esse tipo de regulação crie um efeito de entrincheiramento favorável às empresas líderes de IA já estabelecidas e torne impossível a entrada de novos concorrentes
A menos que seja uma equipe completamente maluca capaz de levantar algo como US$ 1 bilhão logo de início, não há chance de competir
Difícil de acreditar. Gosto da política habitacional de Scott Wiener, mas este projeto de lei está repleto de intervenção excessiva do governo
Ironicamente, ele terá o mesmo efeito que o sistema NIMBY contra o qual ele luta há tanto tempo
Antes de iniciar o treinamento de um modelo aplicado não derivado, seria preciso implementar uma capacidade de desligamento total imediato do modelo até que ele se enquadre em uma isenção de obrigações limitadas. No fim, parece significar que só se pode treinar aquilo que for permitido
Naturalmente, vem junto uma nova divisão com poder para cobrar taxas. Ela cria a Frontier Model Division para analisar os relatórios anuais de certificação dos desenvolvedores, publicar resultados resumidos e cobrar as taxas correspondentes, que podem ser colocadas em um fundo separado
E, claro, também será preciso pagar consultores. O Department of Technology encarrega consultores de criar um cluster público de computação em nuvem chamado CalCompute, tendo como objetivo principal pesquisar a implantação segura e protegida de modelos de IA de grande escala e promover uma inovação justa
Parece que isso deveria ser fácil e, ainda assim, garantir que seja possível desligar parece uma boa coisa
Fico curioso sobre qual será o melhor estado para startups de IA no longo prazo
Originalmente eu teria dito Califórnia, mas agora parece mais importante escolher um estado com menor probabilidade de pisar fundo na regulação. Washington ainda não tem esse tipo de movimento, não tem imposto de renda estadual e tem muitos engenheiros e pesquisadores de IA em Seattle/Redmond, então estou aqui. O Texas também tem grande probabilidade de não acrescentar regulação, e estar em Austin oferece vantagens parecidas. Se a Califórnia expulsar a indústria por meio de regulação, que outro lugar vai despontar?
Por isso, cidades do Texas e da Flórida estão crescendo. Seattle tem clima ruim, Washington é frio, e as grandes cidades não são bem administradas, o que as torna pouco atraentes para famílias ricas viverem
A Califórnia tem eletricidade especialmente cara e também dificulta a construção de novas instalações industriais. Ainda mais se for perto de corpos d’água que poderiam ajudar na demanda de resfriamento. Uma empresa pode até manter alguns funcionários na Califórnia, mas o hardware provavelmente vai rodar em outro lugar
Este texto é muito ruim e tem cheiro de coisa gerada por LLM
Se quiser realmente entender este projeto de lei, é melhor ler a análise de Zvi: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Por exemplo, antes de iniciar o uso comercial, público ou amplamente disponível de um modelo aplicado, se não houver uma avaliação positiva de segurança ou uma isenção de obrigações limitadas, o desenvolvedor deve implementar salvaguardas e requisitos razoáveis para “impedir que uma pessoa use esse modelo para criar um modelo derivado capaz de causar dano crítico”
Isso é simplesmente impossível. Se você me der os pesos do modelo, eu certamente consigo ajustá-lo para causar dano aplicado. Por exemplo, posso fazê-lo fornecer instruções para fabricar armas químicas ou biológicas. Esse requisito é impossível de cumprir e, se não for cumprido, o modelo aplicado não pode ser distribuído
É muito provável que a empresa ou o autor tenha usado diretamente produtos internos
“Modelo aplicável” é um modelo de IA que satisfaz um de dois critérios
Primeiro, um modelo treinado com mais de 10^26 operações inteiras ou de ponto flutuante. Segundo, um modelo treinado com uma quantidade de operações grande o bastante para que se possa esperar razoavelmente que tenha desempenho semelhante ou superior ao de um modelo de IA treinado, em 2024, com mais de 10^26 operações, avaliado por benchmarks comumente usados para quantificar o desempenho geral de modelos de base de ponta
Qualquer pessoa que tenha feito uma disciplina básica de arquitetura de CPU sabe que operações inteiras e operações de ponto flutuante têm cargas computacionais muito diferentes. Alguma parte poderia usar essa expressão no tribunal para reduzir drasticamente, a posteriori, o critério de aplicação. Por exemplo, poderia alegar que uma operação de ponto flutuante equivale a 10 operações inteiras, então o limite seria 10^26 operações inteiras ou 10^25 operações de ponto flutuante
Ao tentar se preparar para algoritmos melhores no futuro com base nos benchmarks de hoje, chega-se ao ponto em que o esforço em si já não importa. Parece que estão traçando uma linha de referência nesses benchmarks, independentemente de eles refletirem ou não capacidades reais. Um modelo pequeno poderia ser treinado para ter desempenho intencionalmente baixo nesses benchmarks, mas ser excelente em tarefas que os preocupam, como fabricar armas nucleares
Ele diz que, antes de começar o treinamento de um modelo aplicável, o desenvolvedor pode determinar se o modelo terá desempenho inferior em todos os benchmarks, mas como alguém saberia o desempenho antes do treinamento?
Se houver um teto para o que se pode usar, a criatividade humana vai se concentrar em caber dentro desse limite. Claro, isso vale apenas para os EUA. China, Rússia, Coreia do Norte, Irã e outros ainda poderão perseguir essa tecnologia livremente
Este texto inteiro parece ter sido escrito com ChatGPT
Por exemplo, ele nem cita o projeto de lei original e fica apenas fazendo afirmações vagas sobre o valor do open source
Não sei o que acrescenta à discussão, e também me pergunto se há algum argumento que funcione como refutação
Gosto da proposta de regular as áreas de aplicação, especialmente as que representam alto risco para a segurança pública e a proteção, em vez de regular o próprio desenvolvimento de modelos de IA
Se o uso de IA for regulado em áreas de alto risco com maior potencial de dano, como saúde, justiça criminal e infraestrutura crítica, será possível continuar permitindo o avanço da tecnologia de IA e, ao mesmo tempo, garantir responsabilização por usos nocivos. Fico curioso se há bons argumentos contra essa abordagem