Gavin Newsom veta projeto de lei SB 1047 sobre segurança em IA

 (wsj.com)
1 pontos por GN⁺ 2024-09-30 | 1 comentários | Compartilhar no WhatsApp
  • O governador da Califórnia, Gavin Newsom, vetou o projeto de lei SB 1047 sobre segurança em IA, mantendo o debate sobre o alcance da regulação de IA
  • O ponto central do veto é que o projeto se aplica apenas aos maiores e mais caros modelos de IA, o que torna seu escopo estreito
  • Newsom considera que o projeto não leva em conta se o modelo é implantado em situações de alto risco
  • OpenAI e Meta se opuseram ao projeto, enquanto renomados cientistas de pesquisa que desenvolveram tecnologia de IA o apoiaram
  • Newsom pretende avançar com regras de IA mais abrangentes do que a SB 1047

Decisão de veto e interesses em jogo

  • O governador da Califórnia, Gavin Newsom, vetou o controverso projeto de lei SB 1047 sobre segurança em IA
  • O projeto colocou grandes empresas de tecnologia e renomados cientistas de pesquisa que desenvolveram tecnologia de IA em lados opostos
  • OpenAI e Meta se opuseram ao projeto, enquanto cientistas de pesquisa o apoiaram

Escopo do projeto e motivo do veto

  • Em sua mensagem de veto, Newsom avaliou que o alcance do projeto era limitado
    • O projeto se aplica apenas aos maiores e mais caros modelos de IA
    • Não considera se o modelo de IA é implantado em situações de alto risco
  • Newsom quer regras de IA mais abrangentes do que esse projeto

Leituras relacionadas

1 comentários

 
GN⁺ 2024-09-30
Opiniões do Hacker News

  • https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...

  • A decisão de Newsom foi excelente. O Legislativo da Califórnia é muito ativo, mas nos últimos anos tem exagerado demais em legislar seguindo modismos; e, embora eu apoie a agenda de Wiener, especialmente em política habitacional, acho que este projeto de lei errou completamente o alvo
    Na prática, era um torpedo mirando modelos abertos, e líderes como OpenAI ou Anthropic não estavam muito preocupados com esse projeto de lei nem com modelos abertos em geral. Os apoiadores pareciam mais ser retardatários como Musk tentando limpar a parte de baixo do mercado, ou gente contrária a uma IA que não controlam, como adversários do Ocidente e detentores de direitos autorais cautelosos: https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...

    • Um dos motivos para Newsom vetar foi que o critério de aplicação deste projeto de lei estava muito acima de qualquer modelo atual, e ele queria uma abordagem que restringisse de forma mais ampla modelos muito menores e com baixo volume de computação de treinamento, que este projeto de lei não tocava em nada
      Além disso, a OpenAI, junto com Google e Meta, liderou a oposição organizada ao projeto, enquanto a Anthropic, ao contrário, foi uma das principais apoiadoras
    • Se esse projeto de lei era um torpedo contra modelos abertos, fico me perguntando por que Google, Microsoft e OpenAI se opuseram. Eles não estariam na posição de serem os maiores beneficiados?
    • Mesmo que se crie uma lei capaz de matar uma grande indústria emergente, ela deveria ser reativa, posterior aos fatos. Esta era uma lei péssima, e a decisão do governador foi um alívio
    • É preciso desacelerar e ouvir os dois lados, não apenas quem acredita que a AGI chegará em 1 ou 2 anos e que um T1000 virá nos caçar
      Acho que os LLMs têm um futuro promissor, especialmente à medida que mais hardware dedicado for sendo criado. A maioria dos problemas pode ser resolvida pelo mercado, e o governo deve intervir quando as coisas seguirem na direção errada ou quando monopólios e abusos ficarem claros, não agir com base em amplas especulações dos dois extremos
    • Em geral, também me alinho politicamente com Wiener, sobretudo em habitação e transporte público, mas este projeto não era o caminho

  • https://legiscan.com/CA/text/SB1047/id/3019694
    Este projeto parece tornar ilegal oferecer pesos abertos para modelos acima de certo porte, obrigar a verificar se o cliente não vai ignorar a lei e treinar um modelo antes de vender recursos computacionais suficientes para treinar tal modelo, e impor requisitos de auditoria para demonstrar que o modelo não ajudará em catástrofes e poderá ser desligado

    • Auditorias não conseguem provar nada e não têm valor para planejar o futuro. Uma auditoria é apenas uma ferramenta retrospectiva pura, que dá alguma visão sobre possíveis fatores de risco
      E a parte de “precisar poder ser desligado” me faz desejar que os legisladores agissem dentro da realidade, não de um episódio de Star Trek
    • “Tornar ilegal oferecer pesos abertos para modelos acima de certo porte” não aparece em lugar nenhum do projeto. Muita gente só passou a entender isso assim por causa dos opositores do projeto
    • Este projeto de lei soa como uma legislação que identifica equivocadamente a causa raiz como “talvez os computadores estejam inteligentes demais” e deixa de lado a ideia de que “humanos e empresas devem ser responsabilizados quando usam ferramentas para o mal”
    • É uma lei muito ruim. As pessoas que apoiam essa lei, especialmente as empresas, precisam ser vigiadas para ver se não estão tentando monopolizar o mercado
    • A lei proposta é tão absurdamente estúpida que, se eu morasse na Califórnia, consideraria seriamente votar no adversário de Anthony Weiner na próxima eleição
      É difícil confiar poder a essa pessoa, e esta nem é a primeira lei ridícula que ele tentou empurrar. Um exemplo marcante: ele esteve por trás da AB2098, claramente inconstitucional, que o Legislativo da Califórnia revogou discretamente antes que fosse derrubada nos tribunais: https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
      https://www.sfchronicle.com/opinion/openforum/article/COVID-...
      Isso não é uma questão partidária. Independentemente de inclinação política ou da posição sobre “segurança em IA”, deveríamos querer representantes mais prudentes do que alguém com esse julgamento terrível e esse exibicionismo por meio de legislação

  • Posts relacionados. Há mais?
    OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - setembro de 2024, 26 comentários
    Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - junho de 2024, 8 comentários
    California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - junho de 2024, 2 comentários
    California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - maio de 2024, 42 comentários
    California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - maio de 2024, 11 comentários
    Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - maio de 2024, 35 comentários
    California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - abril de 2024, 16 comentários
    SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - abril de 2024, 190 comentários
    Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - abril de 2024, 103 comentários
    On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - fevereiro de 2024, 115 comentários

  • O risco imediato dos grandes modelos de IA não é transformar a Terra em clipes de papel, mas criar fraude como serviço e uma sociedade em que nada pode ser confiável
    Eu até apoiaria uma lei meio desajeitada que exigisse que imagens, áudio e vídeo criados por modelos com mais de X parâmetros recebessem metadados indicando que foram gerados por IA. Algo como proibir a criação de modelos que não adicionem essa etiqueta
    Mas o problema óbvio é que também seria preciso tornar ilegal tirar uma captura de tela de uma imagem de IA e reenviá-la sem metadados; no caso de imagens em especial, a aplicação da lei poderia virar uma bagunça completa. Acima de tudo, qualquer medida nessa área precisa partir da premissa de que, na prática, não controlamos o que os “maus atores” fazem. Agir de forma responsável significa abrir mão de dinheiro, e esse dinheiro vai acabar indo para países menos responsáveis

    • Em modelos abertos, qualquer pessoa pode desativar esse recurso de etiquetagem, então não faz sentido proibir saídas sem etiqueta
    • Leis que tentam classificar conteúdo não confiável parecem fadadas ao fracasso. Em vez disso, precisamos encontrar formas melhores de transmitir confiabilidade, e nem sei se acrescentar mais leis ajudaria nisso
    • Acho que a forma mais realista de verificar imagens de IA é armazenar a impressão digital de todas as imagens criadas pelos geradores
      Mais tarde, quando surgir alguma imagem, seria possível perguntar à Meta ou a quem quer que seja: “isso parece ter sido feito por vocês?”. Tecnologias parecidas já existem, como o Content ID do YouTube ou a detecção de CSAM. Não é perfeito, mas pode ajudar sem os enormes efeitos colaterais de tentar bloquear toda geração de imagens
    • Em casos de uso para fraude, basta criar uma lei que obrigue a identificação de conteúdo de IA
    • Transformar a Terra em clipes de papel não vai acontecer agora, então esse risco pode ser ignorado com segurança

  • Fiquei curioso se o artigo tinha exagerado os riscos tratados pelo projeto de lei, então li o texto original
    “Dano grave” significa um dano causado ou viabilizado de forma substancial por um modelo sujeito à lei ou por um modelo derivado dele, e inclui casos em que a criação ou o uso de armas químicas, biológicas, radiológicas ou nucleares cause vítimas em massa; casos em que um ataque cibernético contra infraestrutura crítica cause vítimas em massa ou prejuízos superiores a US$ 500 milhões; casos em que, sob supervisão humana limitada, o modelo provoque morte, lesão grave ou dano patrimonial por meio de uma conduta que configure crime; e outros danos graves à segurança pública e à proteção em nível equivalente
    No entanto, ficam excluídos os casos em que as informações geradas pelo modelo estejam razoavelmente disponíveis ao público em outras fontes; quando, em combinação com outro software, o modelo não tiver contribuído substancialmente para a possibilidade de dano; e quando o dano não tiver sido causado ou viabilizado pela criação, armazenamento, uso ou disponibilização pública do modelo pelo desenvolvedor

    • Newsom acredita que modelos de IA podem causar esse tipo de dano de forma autônoma, ou entende que isso só é possível quando humanos os usam e supervisionam?
      Se humanos podem causar dano com IA, provavelmente poderiam fazê-lo sem IA; o ponto central é o quanto a IA aumenta a possibilidade de objetivos destrutivos. Não sei se a preocupação é que a IA torne isso mais acessível e eficaz, nem qual é exatamente o monstro em questão. Não vejo esses modelos como detentores de informações não públicas sobre infraestruturas e sistemas que possam ser explorados
    • A exceção para danos causados por “informações razoavelmente disponíveis ao público em outras fontes” acaba engolindo a regra inteira e não mira no diferencial da IA. IA de fato costuma ser melhor do que uma pessoa comum em integrar vários fluxos de fatos
      Por isso, essa lei parece teatro legislativo. Pode ter sido desenhada para atrair atenção e doações, construindo uma franquia política. O fato de mirar apenas nos maiores modelos, afetando só os maiores players, talvez também se explique porque eles têm a maior capacidade de fazer doações partidárias e sofrem a menor perda de boa vontade ao se opor
      A regulação de IA será uma tarefa legislativa e administrativa complexa, no nível de um novo código tributário; tratá-la como uma franquia política a torna inviável. Vendo a situação em que a OpenAI está se transformando em uma empresa com fins lucrativos, fica claro que apenas a forma sem fins lucrativos não basta para manter o foco no interesse público. Permitir esse tipo de transição está no mesmo patamar das conversões de sistemas hospitalares sem fins lucrativos em empresas com fins lucrativos desde os anos 1990
      O potencial da IA evidencia com nitidez a nossa fragilidade de governança. Uma governança fraca também abre mais oportunidades, mas o impulso de escapar da exploração causada por suas falhas fortalece o autoritarismo, e o autoritarismo engole os direitos de propriedade junto com outros direitos

  • Uma das questões é a preocupação de que a computação de IA fora de controle simplesmente vá acontecer fora da Califórnia?
    De forma parecida, na eleição do condado em Sonoma sobre CAFOs, há a questão de que, mesmo que se obtenha progresso ambiental localmente, isso pode acabar exportando o problema para outros estados com regulações mais frouxas: https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...

    • Como acontece com toda lei, certamente haverá pessoas que vão contornar a regulação geograficamente. Uma lei bem escrita mais tarde serve como precedente ou ponto de partida para outras regiões que passem a querer essa função regulatória
      A UE e a Califórnia parecem ocupar com frequência essa posição de liderança em tecnologia e privacidade. À primeira vista pode parecer esforço inútil, mas é o processo de abrir caminho e uma etapa necessária para que uma boa lei ganhe tração no mundo todo

  • Era uma lei idiota, então um político fez algo inteligente pelo menos uma vez

  • Eu ficaria curioso se houvesse algum material resumindo os argumentos a favor e contra este projeto de lei. Ao ler a matéria, meu primeiro pensamento foi que expressões como “cuidado razoável” e “risco irrazoável” pareciam vagas a ponto de serem inviáveis em lei, pois poderiam levar a processos sem fim
    Ao mesmo tempo, cientistas da computação como Geoffrey Hinton e Yoshua Bengio, que criaram boa parte das tecnologias-base da atual onda de IA generativa, apoiaram publicamente o texto, e 119 funcionários atuais e ex-funcionários de grandes empresas de IA também assinaram uma carta pedindo sua aprovação. Claro que inteligência em uma área não significa que se possa confiar em aconselhamento jurídico, mas fico curioso para saber por que Hinton e Bengio apoiaram essa lei com tanta força

    • “Cuidado razoável” e “risco irrazoável” não são expressões problemáticas; são conceitos jurídicos totalmente padrão. Por exemplo, é exatamente disso que trata a lei de responsabilidade civil
      Claro que pode acabar em litígio, mas o ponto central é que, quando há uma zona cinzenta, a empresa deve operar claramente dentro da área segura, e deve saber que está fazendo uma aposta jurídica se tentar empurrar os limites. Com procedimentos sensatos, documentação clara e decisões aprovadas por advogados, em geral é fácil permanecer na zona segura. O projeto de lei pode ser ruim por outros motivos, mas essas duas expressões em si não são o problema
    • A preocupação é que sistemas no futuro próximo se tornem muito mais capazes do que os sistemas atuais, e que, quando isso acontecer, talvez seja tarde demais para reagir
      Muitas pessoas em grandes empresas de IA de ponta acreditam que uma AGI capaz de mudar o mundo pode chegar em até 5 anos; um exemplo é o Situational Awareness, de Aschbrenner. Há também a preocupação paralela de que a IA possa facilitar o terrorismo: https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
      Yoshua Bengio escreveu recentemente em detalhes sobre suas opiniões a respeito de segurança em IA; ele dá menos peso à ideia de que uma IA de nível humano esteja chegando muito em breve, mas considera possível uma inteligência sobre-humana em 5 a 20 anos. Ele diz: “Diante dessa incerteza, da escala de riscos catastróficos ou de nível de extinção, e do fato de não termos previsto os rápidos avanços recentes nas capacidades de IA, uma cautela agnóstica é um caminho muito mais sábio”
      Hinton também tem dado palestras recentes detalhadas sobre o risco de perda de controle. Em geral, os apoiadores veem este projeto de lei como uma proposta bem delimitada, voltada a lidar em alguma medida com os piores cenários de perda de controle e uso indevido: https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
      https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
      https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
    • Analisei o que se enquadra como cuidado razoável e resumi minhas conclusões aqui: https://www.lesswrong.com/posts/kBg5eoXvLxQYyxD6R/my-takes-o...
    • O cientista da computação Scott Aaronson escreveu um post de apoio no blog dele: https://scottaaronson.blog/?p=8269
      Ele aponta para textos explicativos anteriores, além de argumentos a favor e contra e discussões adicionais nos comentários
    • O California Office of Legislative Counsel sempre fornece um “digest” para o texto completo de todos os projetos de lei: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtm...
      Não é uma lista de prós e contras do ponto de vista do setor, mas provavelmente é a explicação mais neutra sobre o que este projeto de lei faz

  • Era uma legislação terrível, e ainda bem que o governador a bloqueou
    É exatamente assim que se parece a captura regulatória. Se alguém transforma seu produto em uma commodity, você torna ilegal que ele continue sendo produzido de graça
    Seria o mesmo que ilegalizar o Linux para obrigar todo mundo a usar Microsoft e Apple

    • Discordo. Vejo muitas afirmações ideológicas e mal informadas sobre esse tema
      Acho difícil para muitas pessoas que sonham em fundar uma startup de IA avaliar o cenário de IA e seus prós e contras de forma racional e neutra
    • Leis assim também fazem as empresas perceberem que existem outros 49 estados e quase centenas de outros países
      A Califórnia tem um raro espírito de época que combina tecnologia e universidades, mas, com dinheiro e promessas suficientes, não é algo impossível de reproduzir em outros lugares
    • É provável que esse veto tenha acontecido, acima de tudo, porque a Califórnia não queria ficar em desvantagem na corrida da IA