Krita AI Diffusion - IA generativa para a ferramenta de pintura open source Krita

• Suporte a inpainting e outpainting dentro do fluxo de trabalho do Krita
  • Selecione uma área e pressione um botão para gerar novo conteúdo que combine com a imagem
  • Expanda a tela e preencha a nova área com conteúdo gerado para ampliar a imagem de forma natural e integrada ao que já existe
  • O prompt é opcional e não precisa ser inserido
• O objetivo é oferecer mais recursos do que o "Generative Fill/Expand" do Photoshop
• É possível ajustar a intensidade para refinar o conteúdo existente (img2img) ou gerar uma imagem totalmente nova do zero
• Tudo acontece localmente, é open source e gratuito

Resumo dos recursos

• Inpaint: use a ferramenta de seleção do Krita para marcar uma área e remover ou substituir conteúdo existente na imagem
• Outpaint: expanda a tela para selecionar uma área vazia e preenchê-la automaticamente com conteúdo que se integre naturalmente à imagem existente
• Generate: gere novas imagens do zero a partir de palavras ou de uma imagem existente
• Refine: use o controle deslizante de intensidade para fazer ajustes finos sem substituir completamente o conteúdo existente da imagem
• Control: guie diretamente a geração de imagens com esboços ou line art, ou use mapas de profundidade e normais de imagens existentes ou cenas 3D
• Resolutions: trabalhe com eficiência em qualquer resolução, usando automaticamente resoluções adequadas ao modelo de IA e ajustando-as à área da imagem
• Upscaling: faça upscale e enriqueça imagens para 4k, 8k ou mais sem ficar sem memória
• Job Queue: como a geração de imagens pode levar tempo dependendo do hardware, é possível enfileirar e cancelar tarefas
• History: como nem toda imagem vira uma obra-prima, visualize os resultados e navegue pelas gerações anteriores e pelos prompts a qualquer momento
• Strong Defaults: fornece presets de estilo versáteis para uma interface simples que cobre vários cenários
• Customization: crie seus próprios presets — escolha checkpoints de Stable Diffusion, adicione LoRA, ajuste samplers e mais

Primeiros passos

• O plugin inclui um instalador integrado para o backend do Stable Diffusion
• Requisitos: Windows ou Linux (MacOS não testado); no Linux é necessário instalar Python + venv
• Suporte de hardware: para rodar localmente, recomenda-se uma placa gráfica potente com pelo menos 6 GB de VRAM; caso contrário, a geração de imagens será muito lenta
• Instalação: instale o Krita, baixe o plugin e descompacte na pasta pykrita, ative o plugin nas configurações do Krita e reinicie, exiba o docker do plugin e clique em "Configure" para instalar o servidor
• Nuvem com GPU: em vez de rodar localmente, é possível alugar uma GPU; nesse caso, a etapa 5 não é necessária, e o plugin pode ser usado para se conectar a um servidor remoto
• Opcional: personalização do servidor ComfyUI; em vez da instalação automática, é possível fazer uma instalação manual ou usar uma instalação existente; se o servidor já estiver em execução localmente antes de iniciar o Krita, o plugin tentará se conectar automaticamente; também é possível usar um servidor remoto

Opinião do GN⁺

O ponto mais importante deste artigo é o lançamento de um novo plugin que permite aos usuários do Krita usar tecnologia de IA para simplificar e aprimorar o processo criativo. O plugin oferece vários recursos, como geração, expansão e refinamento de imagens, e pode trazer inovação ao fluxo de trabalho de artistas digitais. Por ser open source e personalizável, também deve ser especialmente interessante para engenheiros de software iniciantes com interesse em tecnologia.

[GN⁺]

Comentários do Hacker News

• A comunidade e a equipe principal do Krita têm uma posição claramente contrária à inteligência artificial.

  • Como membro de um grupo que desenvolve a interface de usuário do Krita, uma pessoa disse que parou de trabalhar em versões do Krita por esse motivo.

• Compartilhamento de experiência com o uso de um sistema que permite desenho interativo com IA.

  • O sistema usa uma GPU 4090 capaz de realizar 20 a 30 iterações por segundo.
  • Calculando 8 iterações por imagem, é possível gerar 4 imagens por segundo.
  • Depois de obter a imagem desejada, executa-se de 30 a 50 iterações para finalizar a imagem.

• GPUs AMD são suportadas via DirectML, mas isso só é possível no Windows.

  • Foi expressada insatisfação com essa tendência.
  • Como alternativa, é possível usar como backend o projeto baseado em Torch chamado ComfyUI.

• Um dos pontos positivos do Krita e da arte era que, com ferramentas baratas e apenas internet, qualquer pessoa podia lucrar com arte.

  • Há preocupação de que, se placas de vídeo caras se tornarem obrigatórias, o caráter democrático da arte será bastante reduzido.

• Se a IA gerar todas as obras de arte possíveis em alguns anos, tentar criar por conta própria pode parecer sem sentido.

  • Mesmo aprendendo a usar bem a IA, há dúvidas sobre por quanto tempo ainda será possível manter a subsistência como criador.
  • Criar pode continuar sendo divertido como hobby, mas como profissão, se todos puderem fazer arte, ficará difícil gerar renda.

• Compartilhamento da experiência de uma pessoa que cria usando recursos computacionais poderosos atualmente disponíveis de forma gratuita.

  • Apesar das dificuldades econômicas, ela encontrou aspectos positivos na criação com IA.

• Compartilhamento de experiência de instalação no Ubuntu.

  • É preciso instalar e executar o Krita primeiro, e depois copiar o plugin para a pasta desejada.

• Admiração pelo fato de um software de código aberto ter implementado funcionalidades semelhantes às do Adobe Photoshop.

  • Isso significa que o Photoshop pode perder a posição monopolista que construiu em torno de ferramentas de geração por inteligência artificial.

• Recomenda-se uma placa de vídeo potente, com no mínimo 6 GB de VRAM.

  • Pergunta sobre quanto aumentaria o tempo de geração de imagem em uma placa com 4 GB de VRAM.

• Usuário expressa frustração por não ter o hardware necessário.

  • Compartilhamento de informações sobre se alguém conseguiu executar stable diffusion no Steam Deck e sobre outras alternativas.

• Pergunta sobre se funciona usando várias GPUs.