Qwen VLo - de 'entender' o mundo a 'descrevê-lo'
(qwenlm.github.io)- Qwen VLo é um modelo em prévia que expande a capacidade de compreensão de imagens do QwenVL·Qwen2.5 VL para geração de imagens, podendo ser usado diretamente no Qwen Chat
- Em vez de concluir uma imagem de uma só vez, usa geração progressiva, compondo da esquerda para a direita e de cima para baixo, para aumentar a consistência e a harmonia do resultado
- Foca na recriação de imagens, mudando cores, estilos e objetos enquanto preserva o significado e a estrutura da imagem original
- Apenas com instruções em linguagem natural, consegue fazer troca de fundo, adição e remoção de objetos, conversão de estilo, edição de texto, criação de pôsteres e até geração de mapas de profundidade, segmentação, detecção e informações de borda
- Como ainda está na fase de prévia, pode haver imprecisões, divergências em relação ao original e falhas no cumprimento das instruções; alguns recursos, como entrada com múltiplas imagens e geração em proporções extremas, ainda não foram lançados oficialmente
Papel e abordagem do Qwen VLo
- Qwen VLo integra compreensão e geração multimodal, indo além de entender imagens para recriá-las com base nesse entendimento
- A versão atual é uma prévia e pode ser usada no Qwen Chat
- É possível criar imagens só com texto ou enviar uma imagem e modificá-la com linguagem natural
- É possível gerar imagens com prompts de texto como “Generate a picture of a cute cat”
- Também é possível editar uma imagem ao enviar a foto de um gato e dar uma instrução como “Add a cap on the cat’s head”
Geração progressiva da esquerda para a direita
- O Qwen VLo usa um método de geração progressiva que compõe a imagem sequencialmente
- Foi projetado para refinar e otimizar continuamente as previsões durante a geração, aumentando a consistência e a harmonia da imagem final
- Esse mecanismo melhora a qualidade visual e oferece uma experiência criativa com controle mais flexível do resultado
- Em combinação com geração em resolução dinâmica, é adequado para tarefas que exigem controle detalhado, como anúncios com textos longos ou painéis de quadrinhos
- É possível acompanhar o processo de geração gradualmente e fazer ajustes em tempo real
Funções expandidas da compreensão para a geração
-
Recriação preservando a estrutura original
- Modelos multimodais anteriores podem se desalinhar semanticamente durante a geração, interpretar um carro como outro objeto ou não preservar a estrutura central da imagem original
- O Qwen VLo busca manter um alto nível de consistência semântica durante a geração, reforçando sua capacidade de captar detalhes
- Ao pedir “mudança de cor” em uma foto de carro, ele pode identificar o modelo do veículo e alterar o estilo de cor mantendo a estrutura original
-
Edição de imagem baseada em linguagem natural
- Ele pode lidar com instruções como “Mude esta imagem para o estilo de Van Gogh”, “Faça parecer uma foto do século XIX” ou “Adicione um céu limpo”
- Suporta tarefas como transformação de estilo artístico, reconstrução de cena e correções de detalhes
- Também pode executar tarefas tradicionais de percepção visual, como previsão de mapa de profundidade, mapa de segmentação, mapa de detecção e informações de borda, na forma de instruções de edição
- Instruções compostas como modificação de objetos, edição de texto e mudança de fundo podem ser tratadas em um único comando
-
Suporte a instruções multilíngues
- Suporta vários idiomas, incluindo chinês e inglês
- O usuário pode descrever o que deseja e receber o resultado independentemente do idioma
Tipos de tarefas demonstrados
-
Geração de imagem e edição contínua
- Mostra um fluxo em que gera um Shiba Inu fofo, depois troca o fundo para um campo, adiciona um chapéu vermelho e óculos escuros transparentes pretos, e insere o texto “QwenVLo” no chapéu
- A mesma imagem pode ser convertida para estilo Ghibli ou estilo 3D Q-version, e os objetos modificados continuam sendo usados no contexto de edições subsequentes
- Também inclui tarefas como detectar uma caneta com uma máscara azul ou segmentar a borda de um cachorro com uma máscara rosa
-
Transformação de estilo e reinterpretação
- É possível transformar um quadrinho em foto real, trocar o fundo pela Eiffel Tower ou fazer uma pessoa flutuar no ar como um balão
- Também inclui converter a foto de um casal em adesivo ilustrado minimalista flat ou em uma figure colecionável com renderização 3D, além de adicionar o texto “Happy Wedding”
- Abrange conversões para estilos Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft e pixel art
- Há ainda exemplos de transformar um gato em estilo Pixar 3D ou converter o skyline noturno de Miami para um estilo de modelagem com material especial de textura gelatinosa
-
Processamento de prompts complexos
- Pode gerar uma foto com um homem de chapéu preto no metrô, uma mulher com óculos escuros vermelhos, um Husky, a Statue of Liberty pela janela e uma placa da estação com “Qwen VLo”
- Também lida com instruções que aproveitam o resultado anterior, como uma cena em primeira pessoa desenhando um diagrama em um caderno ou Isaac Newton demonstrando um experimento com prisma
- Inclui ainda prompts em formato de pôster para criar uma foto grande angular com um gato preto como protagonista, em confronto com um grupo de animais, alienígenas e um disco voador
Geração de pôsteres e imagens com texto
- O Qwen VLo suporta não apenas tarefas com entrada combinada de texto e imagem, mas também geração texto-imagem
- Além de imagens comuns, pode criar pôsteres bilíngues com chinês e inglês
- Arte de animação de um mago noturno com o texto “Qwen VLo!” formado por energia
- Cena de selfie de um gato laranja usando óculos escuros e protetores auriculares
- Imagens em formato de pôster com textos como “2025”, “A New Beginning”, “新的开始”, “长安” e “Father’s Day”
- Em pôsteres publicitários, trabalha com a disposição de elementos como lata de café, chaleira para hand drip, paleta de cores de café e títulos como “一杯咖啡，唤醒你的清晨”
- Outro exemplo de pôster posiciona um produto de iluminação como elemento visual central, com fundo azul-escuro, halo quente alaranjado e o texto “Illuminating not just the desk, but an attitude.”
Geração que inclui percepção e reconhecimento de posição
- Além de gerar e editar, o Qwen VLo também pode adicionar anotações sobre uma imagem existente
- As tarefas de exemplo incluem:
- Gerar uma mesa cheia de frutas e depois prever um mapa de detecção de bordas
- Segmentar a borda de uma banana na imagem com uma máscara vermelha
- Marcar um celular com uma caixa vermelha em uma imagem de mesa bagunçada
- Apagar o celular marcado e adicionar café sobre a mesa
- Converter a imagem final em uma imagem de detecção de bordas
- Como é um modelo integrado de compreensão e geração, ele também pode analisar novamente as imagens que gerou
- Em um exemplo que pergunta a raça após gerar um cachorro e um gato, identifica o cachorro como Beagle ou mistura de Beagle, e o gato como Tabby cat
Resolução, proporção e entrada com múltiplas imagens
- O Qwen VLo usa aprendizado com resolução dinâmica, suportando geração em resolução dinâmica
- Tanto entrada quanto saída aceitam imagens com resolução e proporção arbitrárias
- Em vez de ficar preso a formatos fixos, pode criar imagens adaptadas a cenários como pôsteres, ilustrações, banners da web e capas para redes sociais
- Também consegue lidar com formatos alongados como 4:1 ou 1:3
- No entanto, a geração de imagens em proporções extremas ainda não foi lançada oficialmente
- Também inclui a capacidade de compreender e gerar com várias imagens de entrada
- Um exemplo é colocar a imagem de produtos de higiene pessoal dentro da imagem de uma cesta vermelha
- O recurso de entrada com múltiplas imagens ainda não foi lançado oficialmente
Limitações da fase de prévia e próximos passos
- O Qwen VLo ainda está em fase de prévia, então várias limitações permanecem
- Podem surgir imprecisões durante a geração
- O resultado pode não corresponder à imagem original
- Pode falhar em seguir as instruções
- Ainda pode faltar estabilidade no reconhecimento e na compreensão da intenção das imagens geradas
- No futuro, a ideia é continuar melhorando estabilidade e robustez
- Com modelos multimodais de grande porte lidando de forma bidirecional com entradas e saídas de texto e visão, as respostas podem ser entregues não só em texto, mas também em imagem
- Geração de diagramas, adição de linhas auxiliares e anotação de áreas-chave podem ser usadas como ferramentas de comunicação ainda mais variadas
- Também pretendem continuar explorando a geração de resultados intermediários, como mapas de segmentação e de detecção, para que o modelo verifique sua própria compreensão e melhore o desempenho
1 comentários
Opiniões no Hacker News
É uma pena que não haja pesos abertos. Historicamente, a força do Qwen foi sua estratégia de pesos abertos, e teria sido bom ver um modelo de pesos realmente abertos que competisse com a geração de imagens autorregressiva do 4o.
Há muitas linhas de pesquisa interessantes que só são possíveis com acesso aos pesos. Se a preocupação é recuperar o custo de desenvolvimento, vale considerar algo como o lançamento do Flux Kontext Dev da BFL: disponibilizar os pesos gratuitamente para pesquisadores e indivíduos, e cobrar de startups uma licença comercial a um preço razoável.
Pelo tom alaranjado das imagens, parece bem claro que ele foi treinado com saídas da OAI. Fico me perguntando se houve alguma tentativa de criar dados próprios.
No fim, foi treinado com OAI, é tão fechado quanto a OAI e, mais importante, é pior que a OAI. É estranha a estratégia de manter algo assim preso atrás de uma API.
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
Por algum motivo, parece que a era dos pesos abertos na China acabou. Parece um movimento repentino e coordenado.
A Alibaba parou de abrir o Qwen, a Tencent parou de abrir o Hunyuan, e o Seedream da Bytedance saiu fechado. Ainda assim, parece claro que eles continuam treinando com saídas de modelos ocidentais. Estrategicamente, acho que faria mais sentido seguir 100% aberto e vender infraestrutura/serviços.
Se a ideia é defender pesos abertos, não deveriam ser algo que as pessoas possam usar livremente?
O modelo proposto parece mais pesos de avaliação, pesos shareware ou pesos acadêmicos do que “pesos abertos”. Se faltar a ideia de que podem ser usados para qualquer coisa, como software de código aberto, o termo “aberto” passa uma impressão errada.
Pessoalmente, sou cético quanto a recuperar dezenas de milhões de dólares em investimento, tempo de GPU e salários de engenheiros apenas com tarifas de geração de imagens.
Aos meus olhos, todas estas imagens caem no vale da estranheza. As cores e as sombras parecem todas desencontradas.
Pelo exemplo de edição da imagem do urso, parece que o modelo muda mais coisas do que foi pedido.
Pediram para mudar o fundo, mas o próprio urso também mudou completamente; a camiseta é a mesma, mas o pelo e o rosto são claramente diferentes. Ao transformar o urso em um balão, ele também mudou o fundo, removeu o pavimento e até a semente à esquerda na melancia desapareceu. Fico curioso se isso pode ser corrigido com um prompt melhor ou se é uma limitação do modelo/da arquitetura.
Como se fosse um teste obrigatório, tentei a imagem de um pelicano andando de bicicleta em formato de imagem, não SVG, e também gerei algumas imagens de acordeão. Ele tem um pouco de dificuldade para acertar os dedos e as teclas pretas, mas é bem rápido.
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
O desafio está em usar SVG, não um formato baseado em pixels. Isso porque criar SVG corretamente exige algum grau de raciocínio.
Curiosamente, os exemplos de alteração de imagem, ou seja, resultados como edição ou transferência de estilo, têm o leve tom amarelado visto no GPT Image 1, o modelo de imagem mais recente do ChatGPT 4o. O Flux Kontext não parece ter essa aparência, então fico curioso sobre o motivo.
Não sei como fazer a leitura automática parar. Será que o site não pode simplesmente ficar quieto e esperar até eu pedir alguma coisa?
Em watch, um vídeo começou a tocar automaticamente em tela cheia e logo em seguida começou a leitura. Para referência, estou usando Firefox no iOS.
Isso é no Firefox para Android, então não sei se a versão iOS tem o mesmo recurso. Também existe no desktop. Ali você também pode bloquear completamente as solicitações dos sites para enviar notificações.
Como pesquisador de aprendizado de máquina e formado em física, sou bastante cauteloso ao usar palavras como entender e “descrever” para esse tipo de modelo. Em especial, acho que a palavra entender não ajuda muito e, sinceramente, é prejudicial.
Na física, usamos matemática por causa da concretude, e codificar é difícil pelo mesmo motivo. Acho que as pessoas subestimam o quanto entendem do mundo. O que importa são as nuances, mas elas são tão cotidianas que muitas vezes esquecemos sua importância. Vale ler “Relativity of Wrong”, de Asimov. Para dizer que um sistema desses entende alguma coisa, ele teria de ser capaz de fazer dedução e abdução, refinar conceitos e ideias, e descobrir algo além de combinações daquilo que ingeriu. Treinar com todo o conhecimento humano e depois repetir esse conhecimento não prova inteligência. É improvável que ele tenha comprimido conhecimento sem perdas nesse tamanho de modelo, mas, sem investigar a fundo os dados e o conhecimento, é muito difícil saber o que ele sabe e o que memorizou. Criar algo útil e criar inteligência são problemas diferentes.
Para realmente entender, ele teria de conseguir propor pensamento contrafactual. Toda proposição da física é uma proposição contrafactual. Tomando F=ma como exemplo, é possível calcular a força mesmo mudando a massa ou a aceleração. Podemos observar uma determinada massa se movendo com uma determinada aceleração e perguntar “e se fosse duas vezes mais pesada?”, e responder. O modelo de mundo de uma pessoa também faz isso. Só não explicamos em termos matemáticos, mas formulamos contrafactuais e lidamos bem com eles com bastante frequência. Não acho que os sistemas modernos de aprendizado de máquina façam isso.
A imagem do texto original é um bom exemplo de falta de compreensão. À direita, não só o número de dedos está errado, como as teclas do teclado também estão estranhas. Com um mínimo de compreensão, dá para saber que as teclas não deveriam se repetir. A disposição também está bagunçada, como um objeto de sonho; é bem provável que o número de teclas não corresponda ao número de marcações, e os tamanhos também parecem desalinhados. Quanto mais tempo você olha, pior fica — algo comum nesse tipo de sistema. À primeira vista parece ok, mas quanto mais se observa em detalhe, mais se entra fundo no vale da estranheza.
https://youtube.com/watch?v=cDA3_5982h8
Código é matemática. Há um isomorfismo entre linguagens Turing-completas e a matemática computável. Para ver isso com mais rigor, basta procurar por Church e Turing. Claro que física e matemática não são a mesma coisa, mas a matemática é irracionalmente eficaz.
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
Para quem está criando algo, esse tipo de argumento do espantalho é cansativo
Foi útil expressar entrada e saída com palavras amplamente compreendidas. Além disso, eles usaram aspas para sinalizar que não estavam exagerando nas implicações de longo prazo dessas palavras. Quem lê o release entende que antes o Qwen era um VLM que via/percebia/entendia, e que agora passou a poder gerar/descrever/desenhar imagens. Não há necessidade de criar uma crise além disso.
Fico curioso para saber se há algum relatório técnico sobre este modelo ou sobre outros modelos que geram imagens de forma parecida com o 4o. Quero entender de verdade a arquitetura da geração de imagens no estilo do 4o.
Acho que o aprendizado de máquina avançou muito mais no lado de descrever o mundo do que de “entendê-lo”
Dizer “entendi” na verdade é apenas um critério individual arbitrário.
As imagens são comprimidas em 256 tokens antes de serem vistas pelo modelo de linguagem. Quando você pede para adicionar um chapéu, o motivo de ele redesenhar o rosto inteiro é que os objetos não são armazenados separadamente
Não existe um urso persistente na memória; tudo está dentro de uma única sopa de espaço latente fundida. A imagem é reamostrada sob novas restrições, e uma pequena mudança no prompt já reequilibra todo o embedding. Por isso, até pequenas edições se espalham pela imagem inteira. Parece uma composição de cena em tomada única, e é útil para outros usos.
A edição do gpt-image-1 funciona bem para mudanças completas de estilo, como “deixe no estilo Ghibli”, mas não é tão adequada para adicionar óculos a uma imagem realista preservando todos os detalhes.