Preocupações com o desenvolvimento open source
- Definição excessivamente ampla: a definição de "modelos cobertos" no projeto de lei é muito abrangente e pode incluir diversos modelos open source que apresentam apenas riscos mínimos. Isso pode, sem intenção, criminalizar as atividades de desenvolvedores bem-intencionados envolvidos em projetos úteis de IA.
- Duplo uso: modelos de IA são softwares de uso geral executados em computadores, como processadores de texto, calculadoras e navegadores web. Os criadores desses modelos não podem garantir que eles não serão usados para fins nocivos. O mesmo vale para desenvolvedores de navegadores web, calculadoras e processadores de texto. Responsabilizar os criadores dessas ferramentas de uso geral significa, na prática, que ninguém além dos departamentos jurídicos das grandes empresas conseguirá desenvolvê-las.
- Exigências restritivas: esse projeto de lei impõe um peso significativo aos desenvolvedores, incluindo desligamento obrigatório, relatórios extensivos e conformidade com "diretrizes cobertas" potencialmente ambíguas. Essas exigências podem afetar de forma desproporcional os desenvolvedores open source, que têm menos recursos para lidar com processos regulatórios complexos.
- Prejuízo à abertura: a preocupação com sanções legais e barreiras burocráticas pode desestimular o desenvolvimento open source e enfraquecer o espírito de colaboração que impulsionou os avanços em IA. Essa redução de transparência pode tornar mais difícil identificar e resolver possíveis problemas de segurança.
Impacto sobre pequenas e médias empresas e sobre a inovação
- Barreiras de entrada: os custos significativos ligados à conformidade, como taxas, auditorias e consultoria jurídica, podem criar uma grande barreira de entrada para pequenas e médias empresas e startups. Isso limita a concorrência, concentra poder nas grandes empresas já estabelecidas e, no fim, prejudica a inovação.
- Efeito inibidor sobre a pesquisa: o medo de violar sem querer as disposições do projeto de lei pode levar pesquisadores e desenvolvedores à autocensura ou a evitar explorar áreas promissoras de pesquisa em IA. Isso prejudicaria o progresso científico e limitaria o potencial da IA para resolver problemas sociais.
- Fuga de talentos: o ambiente restritivo criado por esse projeto de lei pode afastar pesquisadores e desenvolvedores talentosos de IA da Califórnia, prejudicando a economia do estado e enfraquecendo sua posição de liderança em inovação em IA.
Abordagens alternativas
- Apoio ao desenvolvimento open source: incentivar e promover o desenvolvimento open source de modelos de IA para fortalecer a colaboração, a transparência e a formação de um ecossistema de IA mais diverso e resiliente.
- Foco no uso, não no desenvolvimento: em vez de regular o desenvolvimento de modelos de IA, focar nas aplicações, especialmente aquelas que apresentam alto risco à segurança pública e à proteção. Regular o uso de IA em áreas de alto risco, nas quais o potencial de dano é maior — como saúde, justiça criminal e infraestrutura crítica — para responsabilizar usos nocivos, ao mesmo tempo em que se permite o avanço contínuo da tecnologia de IA.
- Promoção de transparência e colaboração: incentivar a criação e adoção de boas práticas para o desenvolvimento responsável de IA por meio da cooperação entre indústria, academia e governo. Isso pode incluir o estabelecimento de padrões do setor, o fortalecimento do desenvolvimento open source e investimentos em pesquisa sobre segurança em IA.
- Investimento em expertise em IA: fornecer recursos para que órgãos governamentais desenvolvam conhecimento especializado em IA e construam capacidade para monitorar e lidar de forma eficaz com riscos potenciais. Isso permitiria uma abordagem regulatória mais informada e equilibrada, capaz de conciliar segurança e inovação.
Opinião do GN⁺
- Em vez de regular o desenvolvimento de modelos open source, os órgãos reguladores deveriam incentivar e supervisionar o desenvolvimento open source. O open source não apenas promove transparência e colaboração, como também oferece perspectivas diversas, o que pode inclusive ajudar a aumentar a segurança.
- Em vez de regular os próprios modelos de IA, seria mais eficaz supervisionar e regular o uso de IA em áreas de alto risco. Em setores como saúde, justiça e segurança pública, o uso de IA exige diretrizes e regulações rigorosas, mas em áreas de baixo risco a regulação deve evitar impedir o avanço da tecnologia de IA.
- Há o risco de a Califórnia perder sua posição de liderança em IA caso esse projeto de lei imponha um peso excessivo ao desenvolvimento de IA. Será preciso buscar abordagens alternativas que não prejudiquem a inovação, mas que ainda permitam responsabilizar usos nocivos.
- O governo precisa desenvolver expertise em IA e ampliar sua compreensão do ecossistema de IA para formular políticas regulatórias mais inteligentes. Em vez de simplesmente endurecer a regulação, parece necessário orientar o setor na direção desejável por meio da colaboração entre indústria, academia e pesquisa.
1 comentários
Opiniões do Hacker News
Desenvolvedores de modelos, assim como desenvolvedores de navegadores, calculadoras e processadores de texto, não podem garantir perfeitamente que seus modelos não serão usados para fins nocivos. Responsabilizar quem cria esse tipo de ferramenta de uso geral, na prática, faz com que só grandes empresas com equipes jurídicas consigam atuar.
Políticos estão reagindo com força contra a IA open source. Soros disse que a sinergia entre projetos de IA de empresas e governos pode ser uma ameaça maior do que os ditadores da era da Guerra Fria. Segundo ele, “a combinação de regimes autoritários e monopólios de TI confere uma vantagem inerente e uma ameaça fatal às sociedades abertas”.
Embora não tenha sido mencionado no blog, em 7 de fevereiro de 2024 o projeto de lei SB-1047 foi apresentado na Assembleia Legislativa da Califórnia. Ele busca regular o desenvolvimento e o uso de modelos avançados de IA, obrigando desenvolvedores a realizar avaliações de segurança, cumprir requisitos de segurança, relatar incidentes e criando um órgão de supervisão sob o departamento de tecnologia.
Há preocupação de que esse tipo de regulação favoreça as empresas de IA já estabelecidas e torne impossível a entrada de novos concorrentes. As políticas habitacionais de Scott Wiener foram boas, mas este projeto de lei seria uma interferência excessiva do governo.
Só seria possível treinar com o que o governo permitir, surgiriam novos departamentos e poder para cobrar taxas e, naturalmente, a contratação de consultores também acabaria se tornando obrigatória.
No longo prazo, quais estados seriam favoráveis a startups de IA? A Califórnia provavelmente não. Washington ou Texas ainda não mostram movimento regulatório e também parecem ter vantagens.
A definição de “modelo coberto” é vaga. Operações com int e float têm custos computacionais muito diferentes, então haveria margem para interpretação do texto em tribunal. A ideia parece ser fixar limites com base nos benchmarks atuais, ignorando avanços futuros em algoritmos.
Este artigo parece ter sido gerado por um LLM de forma superficial. Para entender de fato o projeto de lei, vale mais a pena ler a análise do Zvi.
O artigo inteiro dá a sensação de ter sido escrito pelo ChatGPT. Fala vagamente sobre o valor do open source sem sequer citar o texto original do projeto de lei.
Há quem defenda “regular o uso, e não o desenvolvimento, de modelos de IA, especialmente em áreas de risco à segurança pública”. A ideia é regular o uso de IA em áreas de alto risco, como saúde, justiça criminal e infraestrutura crítica, responsabilizando usos nocivos, mas permitindo o avanço da tecnologia de IA. Haveria algum contra-argumento a isso?