Stable Cascade

Introdução ao Stable Cascade

• Stable Cascade é baseado na arquitetura Würstchen e se destaca por operar em um espaço latente muito menor em comparação com outros modelos (por exemplo, Stable Diffusion).
• Quanto menor o espaço latente, mais rápida é a inferência e menor é o custo de treinamento.
• O Stable Cascade alcança uma taxa de compressão de 42x, conseguindo comprimir imagens de 1024x1024 para 24x24, o que permite reconstrução de imagem nítida apesar da alta compressão.

Visão geral do modelo

• O Stable Cascade é composto por um modelo de 3 estágios para geração de imagens (Stage A, B, C).
• Os Stages A e B são responsáveis pela compressão da imagem, enquanto o Stage C gera imagens latentes de 24x24 com base em prompts de texto.
• O Stage C está disponível em versões com 1 bilhão e 3,6 bilhões de parâmetros, e o Stage B em versões com 700 milhões e 1,5 bilhão de parâmetros.
• O Stage A tem 20 milhões de parâmetros, é pequeno e permanece fixo.

Primeiros passos

• É possível executar o modelo Stable Cascade por meio dos notebooks fornecidos na seção de inferência.
• Há notebooks disponíveis para diversos casos de uso, como texto-para-imagem, variações de imagem e imagem-para-imagem.
• O modelo também pode ser acessado na biblioteca diffusers 🤗, com documentação relacionada e instruções de uso.

Treinamento

• É fornecido código para treinar o Stable Cascade do zero, além de treinar ControlNet e LoRA.
• Uma explicação detalhada sobre como treinar pode ser encontrada na pasta de treinamento.

Observações

• A base de código está em estágio inicial de desenvolvimento e pode conter erros inesperados ou código de treinamento e inferência ainda não otimizado.
• Se houver interesse, atualizações contínuas serão fornecidas, e ideias, feedbacks ou atualizações de pessoas que desejem contribuir são bem-vindos.

Opinião do GN⁺:

• O Stable Cascade apresenta uma nova abordagem focada em eficiência no campo da geração de imagens. Chama atenção, em especial, por usar um espaço latente menor para viabilizar inferência mais rápida e custos de treinamento mais baixos.
• A flexibilidade de oferecer modelos com diferentes tamanhos de parâmetros é uma vantagem, permitindo que os usuários escolham o modelo ideal de acordo com requisitos mais específicos.
• Essa tecnologia pode ser usada em várias áreas de aplicação, como geração de imagens, transformação de imagens e aumento de super-resolução, podendo contribuir de forma importante para pesquisa em visão computacional e inteligência artificial.