Como integrar e gerar múltiplos modelos LoRA em uma única imagem

Com o avanço da inteligência artificial, a tecnologia de geração de imagens está evoluindo em uma velocidade impressionante. Em especial, os modelos de geração de texto para imagem, que criam a imagem desejada a partir de um texto, vêm recebendo grande atenção na criação de conteúdo criativo e no campo das artes. Recentemente, graças aos esforços de diversas comunidades open source e pesquisadores, surgiram modelos de geração de imagens acessíveis a qualquer pessoa. Entre eles, os modelos LoRA (Low-Rank Adaptation) vêm ganhando destaque por apresentar um novo paradigma na geração de imagens.

O encontro entre LoRA e MixGen3

O surgimento dos modelos LoRA: os modelos LoRA são modelos leves adicionados a grandes modelos de inteligência artificial pré-treinados para adaptá-los, permitindo gerar novos estilos ou conteúdos. O LoRA oferece a vantagem de possibilitar geração de imagens eficiente com pouco espaço, além de expressar diversos estilos. Diversos modelos LoRA são compartilhados e estudados em plataformas open source como o Hugging Face, impulsionando o avanço da área de geração de imagens.

Apresentação do serviço MixGen3: o MixGen3 apresentado neste blog é um serviço inovador que utiliza justamente esses modelos LoRA para gerar imagens. Por meio do MixGen3, o usuário pode selecionar diversos modelos LoRA e inserir seus próprios prompts para criar imagens originais. Agora, vamos analisar em detalhes os diferenciais e o valor do serviço MixGen3.

Diferenciais em relação aos serviços existentes:

Integração dos modelos LoRA: o MixGen3 reúne vários modelos LoRA em um único serviço. O usuário pode explorar diversos modelos LoRA por meio da galeria e selecionar o modelo desejado. Em comparação com a forma anterior, em que era preciso procurar e usar cada modelo LoRA separadamente, trata-se de uma abordagem muito mais prática e eficiente.

Combinação de vários modelos LoRA: a maior diferença do MixGen3 é permitir gerar imagens combinando até 3 modelos LoRA. Ao fundir vários modelos LoRA, é possível expressar estilos e conteúdos únicos, inéditos até então. Por exemplo, ao combinar um LoRA de paisagem com um LoRA de animais, é possível gerar a imagem de um cachorro brincando em uma bela praia.

Selecionando modelos LoRA
A seleção do modelo LoRA é o processo mais importante do serviço. Isso porque os modelos LoRA são o elemento central que determina o estilo e o conteúdo da imagem! Então, vamos escolher um modelo LoRA?

Procure na galeria o modelo LoRA desejado. Na galeria, são exibidos a imagem e o título de cada modelo LoRA. Como cada modelo LoRA possui um estilo único, escolha aquele de que você mais gostar.

Ao clicar em um modelo LoRA com o mouse, o modelo selecionado é adicionado à lista de modelos LoRA escolhidos na parte superior da tela. É possível selecionar até 3 modelos LoRA.

Na lista de modelos selecionados, é possível alterar a ordem dos modelos LoRA ou ajustar a escala. A escala controla a influência do modelo LoRA; mova o slider para definir o valor desejado.

No campo de prompt, insira o conteúdo que deseja representar na imagem. Por exemplo, tente descrever em palavras a imagem que você imagina, como "uma bela paisagem na floresta", "uma família de gatos fofos" ou "uma cidade surrealista".

Ao clicar no botão Generate, a geração da imagem é iniciada. Uma barra de progresso (progress bar) aparece, mostrando o processo de geração da imagem pelos modelos LoRA.

Após um breve momento, a imagem gerada aparecerá no centro da tela.

Verificando e salvando o resultado da imagem
A seguir, veja como conferir e salvar a imagem gerada.

A imagem gerada é exibida em tamanho grande no centro da tela. Ao clicar na imagem, é possível ampliá-la para tela cheia e observá-la em detalhes.

Ao clicar no botão de download no canto inferior direito da imagem, você pode baixá-la. Salve a imagem onde quiser para vê-la novamente depois.

Usando o slider de ajuste de tamanho da imagem, é possível alterar o tamanho da imagem. Se quiser salvar a imagem em outro tamanho, ajuste para o tamanho desejado antes de fazer o download.

[undercat]

Ficou muito bem feito!

Acho que seria ainda melhor se o texto fosse escrito em Markdown^^