Nightshade: uma ferramenta ofensiva para artistas contra geradores de arte por IA

O que é o Nightshade

• Modelos de IA generativa e seus treinadores demonstraram a capacidade de usar conteúdo online no treinamento de modelos.
• Proprietários de conteúdo e criadores quase não têm ferramentas para impedir que seu conteúdo seja usado como dado de treinamento por modelos de IA generativa contra sua vontade.
• O Nightshade é uma ferramenta que transforma imagens em amostras de dados inadequadas para o treinamento de modelos, ajudando a desencorajar treinadores de modelos que ignoram direitos autorais e fazem scraping de dados sem autorização.

Como o Nightshade funciona e suas limitações

• O Nightshade transforma imagens em amostras “envenenadas”, fazendo com que modelos treinados sem consentimento aprendam comportamentos inesperados.
• A ferramenta não busca destruir modelos, mas aumentar o custo de treinar com dados não licenciados, para que licenciar imagens dos criadores se torne uma alternativa viável.
• O Nightshade funciona de forma semelhante ao Glaze, voltado para defesa contra imitação de estilo, mas enquanto o Glaze é uma ferramenta defensiva, o Nightshade foi projetado como uma ferramenta ofensiva que distorce representações de características dentro de modelos de imagem por IA.

Nightshade vs. Glaze

• O Glaze é uma ferramenta defensiva usada por artistas individuais para se proteger contra ataques de imitação de estilo.
• O Nightshade é uma ferramenta ofensiva para ser usada por artistas em grupo para atrapalhar modelos que fazem scraping de imagens sem consentimento.
• O ideal é que os artistas apliquem tanto o Glaze quanto o Nightshade ao publicar suas obras online.

Riscos e limitações

• As alterações causadas pelo Nightshade ficam mais visíveis em obras de arte com cores chapadas e fundos suaves.
• Assim como em ataques ou defesas de segurança, é improvável que o Nightshade sirva como solução comprovada no longo prazo.
• O Nightshade foi projetado para funcionar sem rede, portanto nenhum dado ou obra de arte é enviado para nós ou para terceiros.

Nightshade e WebGlaze

• O Nightshade v1.0 foi projetado como uma ferramenta independente e não oferece recursos de defesa contra imitação como o Glaze.
• Estão testando como Nightshade e Glaze funcionam juntos e, quando estiver pronto, pretendem lançar o Nightshade como recurso adicional no WebGlaze.

Opinião do GN⁺

• O Nightshade é uma ferramenta inovadora que permite aos criadores proteger seus direitos autorais e enviar um aviso aos treinadores de modelos de IA que usam imagens sem autorização.
• A ferramenta pode ter um impacto positivo no ecossistema de arte digital ao desencorajar o uso não autorizado de obras e incentivar contratos de licenciamento com os detentores dos direitos autorais.
• A combinação de Nightshade e Glaze oferece uma nova forma para que artistas compartilhem suas obras online com mais segurança.

[GN⁺]

Comentários do Hacker News

• Link para o artigo: arXiv:2310.13828
  • Este artigo parece introduzir artefatos em um nível que muitos artistas teriam dificuldade em aceitar.
• Esta técnica
  • a) mal funciona nos processos de treinamento da geração passada,
  • b) não funciona de forma alguma nos processos de treinamento mais recentes (rotulagem com GPT-4V, LLaVA, BLIP2 etc.).
  • c) mesmo que se torne eficaz e popular, é esperado que possa ser contornada facilmente.
  • O trabalho anterior dos autores, Glaze, também não parece ser eficaz, e os resultados podem estar superestimados em relação à realidade.
• Essas ferramentas não têm chance de sucesso no mercado, e há maneiras de contorná-las imediatamente sem afetar a percepção humana.
  • Se artistas ou outras pessoas quiserem impedir o uso de resultados humanos no treinamento, isso terá de ser feito por meio de ação legal.
  • Isso também não é uma solução perfeita e pode, em vez disso, acelerar o desenvolvimento de redes de treinamento distribuídas.
• Isso parece uma "corrida armamentista" sem sentido ou um "jogo de gato e rato".
  • Pessoas que não consideram a opinião dos artistas podem destruir as alterações sutis do algoritmo Nightshade por meio de pós-processamento de imagem.
  • No futuro, os tribunais podem acabar ficando do lado dos artistas por pressão social, e os artistas poderão contestar imagens geradas que sejam "similares demais" ao seu estilo.
  • Ou então os artistas podem desistir de monetizar as próprias imagens e se concentrar apenas na criação de obras físicas.
• Um experimento de ajuste fino do Stable Diffusion XL com imagens ruins/inconsistentes mostrou que, ao usar essas imagens como prompts negativos, o modelo pode produzir imagens melhores.
  • Criar esse tipo de conjunto de dados pode, paradoxalmente, ajudar a melhorar modelos generativos de arte por IA.
• Desejo a cobrança progressiva de taxas pelo uso de copyright/propriedade intelectual/patentes.
  • Por exemplo, desejo a aplicação de taxas de licenciamento em uma proporção vinculada à receita.
  • Desejo um prazo de copyright de 0 anos após a morte no caso de propriedade individual, e de no máximo 20-30 anos no caso de propriedade corporativa.
  • Quero multas muito altas para empresas por não declarar o uso/não pagar taxas, para evitar roubo.
• Aponta a contradição entre artistas aprenderem estilos diversos ao observar o trabalho de outros artistas e defenderem que a IA aprenda estilo a partir de suas obras.
• Isso enfraquece a noção de 'precisão da informação' e reconhece um jogo interminável de ataque e defesa.
• Em breve, muitas pessoas poderão criar obras de arte de alta qualidade com facilidade, e essa é uma perspectiva muito interessante.