Criando códigos QR em estilo anime com Stable Diffusion

• Um usuário do Reddit chamado nhciao gerou códigos QR em estilo anime que realmente funcionam usando ControlNet + LoRA
• Isso é possível por causa do recurso de correção de erros que o QR code possui originalmente
• Pode ser aplicado de várias formas, como padrões tradicionais chineses, ukiyo-e, animação 2D, pintura a nanquim, aquarela, 3D, abstrato, PCB etc.
• Os detalhes podem ser conferidos no post original, escrito em chinês

[yinn27]

Impressionante essa ideia…

[qkreoaksn]

Nossa.....

[popup]

Pelo que testei, o QR é reconhecido mesmo. Que interessante.

[kuroneko]

Em teoria eu até entendo que isso seja possível, mas ainda assim simplesmente não consigo acreditar que aquilo realmente pode ser escaneado. É impressionante demais.

[xguru]

Post de blog em chinês: https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw

[kuroneko]

Ao colocar o texto original no resumidor, saiu assim.

• Este artigo discute um novo modelo do ControlNet capaz de gerar imagens de QR code que podem ser escaneadas. O ControlNet consegue codificar informações ocultas em imagens que parecem comuns aos olhos humanos.
• O autor e seus colegas já haviam criado anteriormente um gerador de QR code parametrizado, mas não continuaram atualizando-o. A ideia atual surgiu depois do lançamento do Stable Diffusion.
• A tentativa inicial com o ControlNet foi treinar padrões tradicionais chineses. O autor menciona que fez o treinamento usando a documentação do AIGC All in One e o HuggingFace JAX/Diffusers.
• Para treinar o ControlNet, são necessários grandes volumes de dados e poder computacional. Na pesquisa, foram usadas até 300.000 imagens e 600 horas de GPU A100. O autor treinou uma versão com 100.000 imagens usando uma taxa de aprendizado alta.
• Após o treinamento, o autor testou várias combinações de Checkpoint + LoRA + QR Code ControlNet para gerar QR codes escaneáveis em diversos estilos, como padrões tradicionais chineses, ukiyo-e, 2D, tinta, perspectiva, abstrato e estilo PCB.
• Os QR codes gerados incluem estilos de padrões tradicionais chineses, ukiyo-e, animação, ilustração, tinta, aquarela, 3D e abstrato.
• Este projeto dependeu da colaboração com alguns colegas e dos recursos de GPU do laboratório. Servidores Google TPU também ajudaram a acelerar o treinamento.
• O autor planeja divulgar no futuro o modelo e a documentação técnica na conta oficial do WeChat e no site.
• O artigo menciona que os modelos de geração por IA estão evoluindo rapidamente e expressa o desejo de voltar para a universidade.
• O autor agradece ao Google e ao HuggingFace por fornecerem servidores TPU, dizendo que "foi possível se divertir bastante".

[lunamoth]

Você poderia me dizer qual serviço de resumo usou?

[kuroneko]

Estou usando o Universal Summarizer da Kagi.

[lunamoth]

Obrigado por avisar.