Stable Diffusion 3.5 é lançado

• Inclui várias versões do modelo que podem rodar em hardware de consumo e ser customizadas com flexibilidade, com uso gratuito para a maioria dos casos de uso
• É possível baixar os modelos Stable Diffusion 3.5 Large e Stable Diffusion 3.5 Large Turbo no Hugging Face, e o código de inferência no GitHub
• Modelos lançados
  • Stable Diffusion 3.5 Large: modelo base com 8 bilhões de parâmetros, o mais poderoso da família Stable Diffusion. Ideal para casos de uso profissionais em resolução de 1 megapixel
  • Stable Diffusion 3.5 Large Turbo: versão destilada do Stable Diffusion 3.5 Large, gera imagens de alta qualidade com ótima aderência ao prompt em apenas 4 etapas. É consideravelmente mais rápido que o Stable Diffusion 3.5 Large
  • Stable Diffusion 3.5 Medium (lançamento previsto para 29 de outubro): tem 2,5 bilhões de parâmetros e foi projetado para rodar diretamente em hardware de consumo com arquitetura MMDiT-X e métodos de treinamento aprimorados. Equilibra qualidade e facilidade de customização. Pode gerar imagens em resoluções de 0,25 a 2 megapixels

Processo de desenvolvimento do modelo

• Ao desenvolver o modelo, a prioridade foi a possibilidade de customização para oferecer uma base flexível
• Para isso, Query-Key Normalization foi integrada aos blocos transformer para estabilizar o processo de treinamento do modelo e simplificar novos fine-tunings e desenvolvimentos
• Alguns trade-offs foram necessários para dar suporte à flexibilidade downstream
• Ao mudar a seed com o mesmo prompt, a variabilidade da saída pode aumentar. Isso foi intencional para ajudar a preservar uma base de conhecimento mais ampla e estilos diversos no modelo base
• No entanto, prompts com pouca especificidade podem aumentar a incerteza na saída, e o nível estético pode variar
• No caso do modelo Medium, a arquitetura e o protocolo de treinamento foram ajustados várias vezes para melhorar qualidade, consistência e capacidade de geração em múltiplas resoluções

Vantagens do Stable Diffusion 3.5

• Facilidade de customização: é possível fazer fine-tuning do modelo com facilidade para necessidades criativas específicas ou criar aplicações baseadas em fluxos de trabalho personalizados
• Desempenho eficiente: especialmente os modelos Stable Diffusion 3.5 Medium e Stable Diffusion 3.5 Large Turbo foram otimizados para rodar em hardware de consumo padrão sem exigências pesadas
• Saídas diversas: é possível gerar imagens que representam pessoas do mundo todo, com diversos tons de pele e características, sem necessidade de prompting extensivo
• Stable Diffusion 3.5 Large lidera o mercado em aderência ao prompt e pode competir em qualidade de imagem com modelos muito maiores
• Stable Diffusion 3.5 Large Turbo oferece o tempo de inferência mais rápido em relação ao seu tamanho, mantendo imagem de alta qualidade e excelente aderência ao prompt
• Stable Diffusion 3.5 Medium supera outros modelos de porte intermediário, equilibrando aderência ao prompt e qualidade de imagem para oferecer desempenho eficiente e de alta qualidade

Visão geral da Stability AI Community License

• Gratuito para uso não comercial: indivíduos e organizações podem usar gratuitamente para fins não comerciais, incluindo pesquisa científica
• Gratuito para uso comercial com faturamento anual de até US$ 1 milhão: startups, pequenas e médias empresas e criadores podem usar gratuitamente para fins comerciais se tiverem faturamento anual inferior a US$ 1 milhão
• Propriedade dos resultados: é possível manter a propriedade da mídia gerada sem implicações restritivas de licenciamento
• Organizações com faturamento anual acima de US$ 1 milhão podem entrar em contato com a Stability AI para consultar uma licença enterprise

Como acessar os modelos

• Os pesos dos modelos já estão disponíveis no Hugging Face para self-hosting
• Também é possível acessar os modelos por plataformas como Stability AI API, Replicate, ComfyUI e DeepInfra

Compromisso da Stability AI com a segurança

• A Stability AI acredita em práticas de IA seguras e responsáveis, e adota medidas deliberadas desde os estágios iniciais de desenvolvimento para garantir integridade
• A empresa está tomando medidas razoáveis para evitar o uso indevido do Stable Diffusion 3.5 por agentes maliciosos

Próximos planos

• Lançamento público do Stable Diffusion 3.5 Medium previsto para 29 de outubro
• Em seguida, está previsto o lançamento de ControlNets com funções avançadas de controle para vários casos de uso profissionais