Governador da Califórnia assina projeto de lei sobre transparência em IA

• O governador da Califórnia assinou um projeto de lei que fortalece a transparência em IA
• A nova lei estabelece padrões de transparência para o desenvolvimento e o uso de sistemas de IA
• Empresas passam a ter a obrigação de divulgar informações sobre o processo de tomada de decisão da IA e seus impactos
• O principal objetivo é a proteção do consumidor e o reforço da responsabilização por uso indevido de IA
• Com a entrada em vigor da lei, cria-se uma base para impulsionar a regulação da indústria de IA e o desenvolvimento ético

---

Visão geral da lei de transparência em IA da Califórnia

• O governador da Califórnia assinou oficialmente uma nova lei para reforçar a transparência em IA
• A lei exige que empresas e instituições divulguem informações relacionadas ao processo de tomada de decisão ao desenvolver ou utilizar sistemas de IA
• Entre os principais pontos, ela estabelece a responsabilidade de explicar quais dados e critérios a IA usou para chegar a uma conclusão e quais são os impactos potenciais desse sistema
• Também cria mecanismos para garantir transparência, de modo que consumidores saibam quando estão sendo afetados por decisões algorítmicas ao usar serviços ou produtos baseados em IA
• Em última instância, a lei busca aumentar a responsabilização da indústria de IA, além de prevenir o uso indevido de IA e restaurar a confiança do consumidor
• Com a implementação da lei, a Califórnia deve se consolidar como líder nos Estados Unidos em ética e regulação de IA

[GN⁺]

Comentários no Hacker News

• Se isso for um problema do mundo real, fico curioso se esse projeto de lei vai impedir que minha propriedade intelectual (PI) seja usada por LLMs sem permissão
  • O principal objetivo desse projeto é fornecer um framework básico para que se possa discutir com base em dados reais. Por isso, exige que empresas de tecnologia divulguem planos de segurança, relatórios de transparência e histórico de incidentes. Também é por isso que a multa foi mantida baixa, em 10 mil dólares. Uma regulamentação abrangente de IA ainda é precoce neste momento, e a Califórnia também não é a autoridade responsável pela lei de direitos autorais dos EUA
  • O governo foi instruído a criar um framework para o desenvolvimento de clusters públicos de computação. Há uma grande chance de que esse projeto acabe beneficiando bastante alguns contratados do governo e, historicamente, acredito que isso também pode virar uma forma de direcionar dinheiro a pessoas específicas por meio de contratos sem concorrência. Artigo relacionado: editorial do Sacramento Bee
  • Há uma cláusula de proteção a denunciantes. Isso pode levar à exposição de condutas ilegais
  • Já é possível proteger isso hoje da mesma forma que infrações de PI cometidas por humanos
  • No fim, esse projeto resolve o problema real de dar mais dinheiro a funcionários do governo
• Encontrei um site onde dá para ver o texto real do projeto de lei e suas anotações: https://sb53.info/
  • Pela definição de "modelo de inteligência artificial", qualquer sistema baseado em máquina com diferentes níveis de autonomia que derive saídas a partir de entradas e possa afetar ambientes físicos ou virtuais se enquadra nisso. Ou seja, até um cortador de grama simples poderia ser incluído, já que há uma relação entre entradas (acelerador, interruptor de desligamento) e saídas (lâminas giratórias). A definição de "risco crítico" diz que é um risco que pode causar morte ou ferimentos graves a 50 pessoas ou mais, ou perdas acima de 1 bilhão de dólares, mas todo ano o número de pessoas feridas por cortadores de grama já passa disso
• Ao ler o texto original do projeto, parece mais um favorecimento à indústria de "segurança em IA". Vai haver alta remuneração para certificações de compliance
  • Nas Big4, há sócios boomers segurando a separação das áreas de consultoria, e essa lei de IA vai virar uma nova fonte de receita para eles. Especialmente a Deloitte deve lucrar bastante com isso
  • A pessoa que escreveu o comentário acima trabalha numa grande empresa de desenvolvimento de IA. Ser contra regulação de IA se conecta bem com o próprio salário. Também há uma tendência de tratar "segurança em IA" como motivo de piada. Muitas indústrias no Vale do Silício têm pouca noção de cultura de segurança. A baixa eficiência regulatória é um problema, mas também é preciso considerar os problemas que surgem quando não existe nenhuma regulação. Corrupção interna no setor, rebates e conluio também precisam ser apontados
• O projeto afirma que, em caso de violação intencional que cause "morte, ferimentos graves ou risco crítico", a multa é de 1 milhão de dólares na primeira infração e depois até 10 milhões. Se a violação não for intencional (erro etc.) e ainda assim gerar esse risco, não há multa. As multas têm apenas teto, não piso. Ou seja, 0 dólar também satisfaz a cláusula de "até 10 milhões de dólares"
• Então, mesmo que cause 1 bilhão de dólares em danos, a multa será só de 10 milhões? O mesmo vale para danos "críticos". Isso não me parece regulação. Mesmo que a OpenAI pague 1 milhão de dólares por ano a um engenheiro, multa de 10 mil dólares, ou mesmo de 1 milhão ou 10 milhões, não tem efeito dissuasório nenhum
• Pelas discussões, esse projeto não significa nada e, ao mesmo tempo, vira motivo para geobloqueio da Califórnia. Faz coisas demais, mas ao mesmo tempo faz de menos. O custo é alto e baixo ao mesmo tempo. É um exemplo de corrupção e também um primeiro passo na regulação de IA. Empresas de IA podem sair da Califórnia, ou talvez mais empresas entrem porque o padrão regulatório é baixo. Se alguém souber de discussões mais profundas sobre isso, gostaria de links
  • Todos os resultados são possíveis; acho que vai depender de como o governo e os tribunais realmente interpretarem e aplicarem isso. O texto da lei é ambíguo demais, então pode virar um martelo ou não ter efeito nenhum
• Acho que isso deveria ter sido controlado antes por lei federal. Mas as definições desse projeto são frouxas demais. Em especial, a definição de "modelo de inteligência artificial" praticamente inclui todas as máquinas e algoritmos. Essa definição parece ter sido escrita depois de assistir Além da Imaginação e ficar com medo de que aparecesse um androide com relógio-cuco
• Eu estava curioso para saber como a Califórnia definiria IA, e no momento isso parece mais um termo de marketing. Aqui ela é descrita como um sistema não biológico que recebe entradas e gera saídas
  • Duas reações a esse comentário são engraçadas: "não existe tecnologia real que se encaixe nessa definição" e "então minha cafeteira?"
  • Minha opinião é diferente da acima. Não existe tecnologia real que se enquadre nessa definição. IA não consegue "inferir" nada a partir de entradas. Da mesma forma, isso também nunca foi provado em humanos
  • Então a minha cafeteira também se enquadra nisso, não?
• Em uma frase, isso é apenas "censura com mais etapas". Pelo que o projeto exige, as empresas precisam documentar mitigação de riscos e protocolos de segurança, e o governo define o que é perigoso enquanto o setor privado constrói sistemas de filtragem com base nisso. Isso é censura prévia contrária à Primeira Emenda dos EUA. A Suprema Corte federal já deixou claro que só são permitidos incitação direta à violência (precedente Brandenburg) e casos excepcionais (pornografia infantil, ameaças reais). O fato de a tecnologia ser nova não deveria dar ao Estado o direito de criar novas categorias de fala arriscada. Se a IA fornecer informação de nível especialista sobre projeto de armas ou auxílio a crimes, a empresa deve reportar isso ao governo e também fornecer medidas de mitigação. Hoje é "risco crítico", amanhã pode se expandir para "desinformação", "discurso de ódio" etc. No momento em que o Estado força restrições de conteúdo em nome da segurança, perde sua legitimidade lógica
  • Já é crime, sob 18 USC § 842, fornecer informações para uso em crimes como fabricação de explosivos. Há um equilíbrio entre liberdade de expressão e probabilidade de dano real. IA não é sujeito de liberdade de expressão, então o Estado pode regulá-la. Dizer que exigir filtragem das saídas da IA pelas empresas é censura prévia parte da ideia de que a empresa não pode controlar a "fala" da IA. Essa lógica não se sustenta. Um gerador de frases combinadas aleatoriamente também não ganha proteção só por estar hospedado online por mim. Aplicar a lógica de liberdade de expressão à censura de IA não é apropriado
  • LLMs não têm direitos. LLMs são ferramentas, e o Estado pode regular ferramentas. Mesmo que haja afinidade ideológica, uma pessoa também poderia publicar instruções de fabricação de armas diretamente no blog da empresa
  • Esse ponto de "hoje é risco crítico, amanhã é desinformação, discurso de ódio etc." é justamente o problema. Eu me preocupo mais com riscos cotidianos do que com riscos críticos. Mesmo que LLMs deem informações nocivas, no fim isso é só um resumo do que já está publicamente disponível online. A sociedade americana já está cheia de discurso de ódio, mas isso também não é um problema novo. O verdadeiro problema é a "desinformação". LLMs em larga escala leem a internet e acrescentam uma aura de autoridade, então o poder de Google ou MS passa a respaldar informações não verificadas. Uma boa abordagem seria o LLM orientar no formato "Y afirmou X". A questão da "segurança" em geral é mais sobre bloquear conteúdo adulto, e acho que isso já perdeu muito sentido desde a era do Pornhub. O debate que realmente precisa acontecer é sobre IA oferecer serviços customizados com objetivos comerciais para enganar clientes ou se esquivar deles. Isso deve ser tratado no âmbito dos direitos do consumidor. Outro problema é quando a IA passa a atuar como meu chefe, como no caso da Uber
  • Ao observar a evolução das redes sociais nos últimos 15 anos, a lição é que a avaliação e a resposta rápida a riscos chegaram tarde demais. As redes sociais já acumularam influência política a ponto de uma regulação efetiva ser quase impossível. Espero que não repitamos o mesmo erro com a IA generativa