Não demita o seu ilustrador
(sambleckley.com)- A IA generativa de imagens produz resultados plausíveis com latent space, remoção de ruído e ligação entre texto e imagem, mas tem limitações estruturais para obter com precisão a imagem específica desejada
- O Stable Diffusion é treinado adicionando ruído a milhões de imagens e restaurando-as gradualmente, permitindo gerar imagens plausíveis a partir de ruído puro
- Prompts de texto precisam ser convertidos várias vezes do espaço das palavras para o espaço das imagens, e normalmente só conseguem lidar com cerca de 75 palavras por vez, o que dificulta o controle detalhado
- Tarefas em que o resultado não importa tanto, como um cabeçalho simples de blog ou textos para SEO, podem ser substituídas rapidamente por IA generativa, mas restrições precisas como composição, pose, estilo e cor exigem a contribuição de um ilustrador
- Na ilustração comercial, um fluxo de trabalho colaborativo é mais realista: a pessoa define line art, composição e ideia central, a IA preenche detalhes menos importantes como cor, iluminação e fundo, e depois tudo é ajustado novamente
Entendendo o latent space para compreender o Stable Diffusion
- Cores, palavras e imagens podem ser representadas como listas de números, e uma boa forma de representação organiza esses números para que itens parecidos fiquem próximos
- Existem várias formas de espaço de cor, como RGB, Lch e CMYK, e cada uma define “semelhança” de modo diferente
- Os números se parecem menos com um arquivo que armazena a cor em si e mais com um rótulo e um conjunto de instruções que apontam para aquela cor
- Palavras também podem ser representadas por centenas de números; “mom” e “dad” podem ficar próximas, enquanto “mom” e “prestidigitation” podem ficar mais distantes
- Imagens são mais complexas do que palavras e cores, mas é possível criar um espaço de imagens com milhares de números
- Listar os valores RGB de todos os pixels exigiria milhões de números
- Imagens semanticamente parecidas, como um gato preto e um gato branco, podem ficar muito distantes se olharmos apenas para os valores dos pixels
O latent space de imagens é emprestado das legendas
- Muitas imagens têm legendas, rótulos ou texto ao redor, então é possível construir um espaço de imagens a partir da relação entre imagem e texto
- Fotos rotuladas como “cat” podem ficar próximas entre si, e fotos rotuladas como “car” também podem ficar próximas entre si
- Um rótulo como “Miyizaki cat-bus” pode acabar em algum ponto entre gato e carro
- Na pesquisa em IA generativa, esse tipo de espaço é chamado de image latent space
- O latent space consegue aproximar, como listas de números, quase qualquer imagem que você queira ver, além de imagens aleatórias e ininterpretáveis
- Esse espaço é comparado a uma Library of Babel para imagens
Como o Stable Diffusion funciona
- O Stable Diffusion não é a única forma de gerar imagens, mas é uma das mais usadas
- O treinamento acontece adicionando um pouco de ruído a milhões de imagens e treinando o computador para restaurá-las de forma limpa
- Depois, adiciona-se ainda mais ruído e o sistema é treinado novamente para voltar a uma imagem menos ruidosa
- Repetindo isso até a imagem quase desaparecer, o computador aprende a voltar gradualmente para qualquer imagem
- O aprendizado que conecta texto e imagem também acontece em paralelo
- Uma foto de gato tem grande chance de vir com uma legenda como “my cute kitty mister french fry”
- E pouca chance de vir com algo como “the engine from a 1959 Austin Healey”
- Cross attention conecta vários sistemas de IA para empurrar a imagem, durante a remoção de ruído, para mais perto de uma legenda de texto específica
- A IA generativa orienta a imagem em uma direção específica ao combinar outros objetivos com o processo de remoção de ruído
Por que dedos e rostos saem errados
- O latent space não é um espaço que contém exatamente as imagens de treinamento, mas um espaço que representa todas as imagens possíveis
- A força que afasta a imagem do ruído prioriza nitidez, enquanto a força que a puxa para o rótulo de texto se concentra em satisfazer imagens que poderiam receber aquele texto como legenda
- Legendas de imagens muitas vezes não tratam da precisão de mãos humanas ou da quantidade de dedos
- Um rótulo negativo como “no deformed hands” tem efeito limitado se houver poucas imagens rotuladas como “deformed hands”
- “polydactyly” pode funcionar melhor, por ser um rótulo mais fortemente associado a dedos extras
- O mesmo problema vale para rostos, e muitos sistemas generativos têm componentes separados para corrigir rostos
- O sistema principal pode considerar suficiente que apenas pareça um rosto
- O olho humano é muito sensível à precisão facial, como a direção dos dois olhos
- Colocar o nome de um artista como James Gurney no prompt pode melhorar a consistência geral da imagem
- Legendas comuns tendem a focar principalmente em substantivos e no objeto em destaque
- O estilo de um artista é um gestalt distribuído por todos os pixels da imagem, não por uma parte só, o que pode levar a resultados mais consistentes
Tipos de trabalho que a IA generativa substitui com mais facilidade
- É pouco provável que o desejo humano por mídias físicas como pintura, escultura, xilogravura e bordado desapareça
- Obras em mídia física podem continuar sendo usadas no treinamento de IA generativa
- Pode parecer invasivo que uma obra seja usada sem permissão no treinamento e depois para substituir o sustento de alguém
- Mas a imagem não fica armazenada de um jeito específico dentro do latent space; no máximo, com o prompt certo e alguma sorte, pode-se recuperar algo semelhante
- Não está claro como permitir o uso justo por artistas humanos e, ao mesmo tempo, restringir legalmente apenas o uso em ML
- A IA generativa pode substituir parte das ilustrações e dos textos em que o conteúdo em si não é realmente importante
- Imagens de cabeçalho de blog vagamente relacionadas, usadas para fechar o layout da página
- Posts semanais de blog voltados para SEO e com cara de spam
- Esses produtos se parecem mais com conteúdo-mobília, algo com que ninguém até o consumidor final se importa muito
- Esse tipo de trabalho já não era muito bem pago, está desaparecendo rapidamente e não parece haver uma forma clara de evitar isso nem com regulação forte
Por que é difícil obter uma imagem específica
- Fazer imagens impressionantes com IA generativa é relativamente fácil, mas criar uma imagem específica às vezes é quase impossível
- Talvez 1 em cada 10 imagens pareça “legal”, mas isso não significa que ela corresponda de fato à imagem pedida
- Em vitrines de imagens geradas como civitai, é possível comparar prompts muito longos com as imagens resultantes
- Esse site pode ser NSFW
- Muitos elementos do prompt podem simplesmente não aparecer na imagem
- Um conceito geral como “a mystical dragon” pode se destacar no prompt e ainda assim não aparecer na imagem
- Esse modo de uso se parece mais com um jogo de gacha ou uma caça-níquel para criar imagens
- Você coloca um prompt cheio de ideias interessantes e repete até sair algo satisfatório
- O resultado pode ser atraente, mas ainda não ser a imagem que foi pedida
- Texto precisa ser convertido do prompt real para o texto no latent space e depois para uma função do latent space de imagem, então funciona mal como ferramenta de controle de imagem
- A quantidade de texto processável de uma vez normalmente fica em torno de 75 palavras
- Se for maior, é preciso dividir no cross attention com um sistema de orientação separado
Entrada por imagem é um meio de controle mais forte
- Como imagens são bem traduzidas para o latent space de imagem, elas podem servir como restrições mais diretas do que texto
- Prompts baseados em imagem permitem controlar com mais precisão o conteúdo e a composição do resultado gerado
- Criar uma imagem reduzida à mesma line art de outra imagem
- Criar uma imagem com o mesmo mapa de profundidade extraído de outra imagem
- Criar uma imagem que combine com a pose trazida de outra imagem
- Criar uma imagem com conteúdo diferente, mas no estilo de outra imagem
- Ajustar a imagem para coincidir com as linhas de perspectiva de outra
- Ajustar a imagem para combinar com a paleta de cores de outra
- O problema é: de onde vêm essas imagens-guia?
- O papel de entender o conceito da ilustração desejada e transformá-lo em line art, pose e estilo se sobrepõe ao trabalho tradicional do ilustrador
- Trabalhos com imagem gerativa que têm exigências sofisticadas dificilmente são úteis sem um ilustrador
Um possível fluxo de trabalho de IA para ilustração comercial
- Ilustradores comerciais provavelmente vão continuar trabalhando, mas talvez precisem aprender a usar IA como parte do fluxo de trabalho para acompanhar um ritmo maior
- Isso não significa parar de desenhar e virar engenheiro de prompt
- Fazer isso desperdiça muito treinamento acumulado e entrega pouco em troca
- Um processo possível de pintura digital seria:
- produzir a line art de forma tradicional, com foco na composição e na ideia principal
- pedir para a IA generativa sugerir cerca de 12 abordagens de cor e iluminação
- escolher 1 ou 2 delas
- repintar quase tudo por cima dos pixels gerados pela IA, ajustando cores e corrigindo conforme a intenção
- Para artistas que colocam muito cuidado e emoção na escolha das cores, esse método pode não servir
- Não existe um único método ideal para todo artista, e quem trabalha com prazo pode usar IA para preencher as etapas menos importantes e mais tediosas
- cenas com multidões
- paisagens urbanas
- vegetação
- Muitas imagens também contêm mobília necessária, mas não importante, como a imagem de cabeçalho de uma página, e esse território está virando o espaço da IA generativa
A lacuna entre produtos e direção da pesquisa
- A pesquisa em IA generativa está caminhando cada vez mais para oferecer formas de orientar a geração de imagens com entrada por imagem
- Os produtos que chegam ao mercado são difíceis de encaixar facilmente no fluxo de trabalho de ilustradores
- Os experimentos para obter um nível útil de controle foram feitos executando modelos abertos em computadores pessoais
- A visão mais plausível para o futuro da ilustração comercial é a de um ilustrador definindo o núcleo do trabalho, a IA generativa preenchendo as partes menos importantes e, depois, a pessoa revisando tudo de novo
- Os produtos de IA generativa também precisam evoluir para apoiar esse tipo de fluxo de trabalho
1 comentários
Opiniões no Hacker News
Mais uma opinião de que ninguém vai gostar, mas acho que o impacto da IA sobre artistas será parecido com o impacto do Spotify na indústria musical. Ou seja, é bem provável que mate o fluxo de receita de todo mundo, exceto publishers e grandes artistas/players
O Spotify praticamente eliminou o dinheiro que vinha da distribuição física, e foi pior até do que a pirataria, que na época era inevitável. Pelo menos, na pirataria, além de não receber dinheiro, ninguém precisava pagar advogado para renegociar com gravadoras
Lugares como Adobe e OpenAI parecem estar pagando migalhas a artistas para que criem imagens para treinar modelos, depois fazendo-os assinar termos de renúncia dizendo que “tudo bem não receber dinheiro por essa arte de IA”, e revendendo o resultado caro em lugares como a Splice: https://splice.com/features/sounds
No fim, o modelo em si quase não vai importar; o verdadeiro diferencial será com o trabalho de quem ele foi treinado. Mas aí vão dizer: “essa imagem foi feita por IA, então não precisamos te pagar”
Máquinas antigas substituíam uma ou duas funções, mas, se as pessoas tornarem o treinamento de IA realmente eficiente, ela substituirá centenas de funções de uma vez. A IA também tem o efeito de aumentar o isolamento, reduzindo o quanto outros seres humanos são necessários
Por esses motivos, acho que o mundo seria muito melhor sem IA, e que as empresas de tecnologia estão destruindo o mundo com produtos monstruosos
O Spotify pegou a economia da pirataria e colocou por cima uma fina casca com aparência de legalidade
Primeiro, imagens geradas por IA são aleatórias e quase descartáveis. Você consegue uma imagem legal que dá para usar uma vez, mas e depois? É difícil construir uma campanha em cima disso
Segundo, arte gerada por IA não tem proteção de copyright, então concorrentes imitadores podem usar livremente imagens de marketing feitas por IA
No mínimo, dá para usar o trabalho de um artista gráfico pago como seed para a IA, e imagens de IA baseadas em seed podem ter proteção de copyright. Mas esse artista vai fazer melhor do que um estagiário não remunerado
Quando eu era criança, nas tardes de domingo meu pai colocava um álbum para tocar e simplesmente ouvia. Ouvia mesmo. Hoje, pouquíssima gente faz isso
Agora há uma grande demanda por música incidental, ouvida enquanto se dirige, lê, navega na internet, programa ou faz faxina. Desde que a música se tornou portátil, houve uma mudança fundamental na forma de consumo, e o Spotify apenas venceu essa disputa
Comparando com o início da música digital, tenho a impressão de que a distribuição em mídia física está, na verdade, em alta. Isso tem mais a ver com a digitalização da música em si do que com o Spotify
No meu entorno, parece haver muita gente que compra merchandising ou mídia física para apoiar seus artistas favoritos, mais do que para realmente ouvir música em formatos físicos
Textos assim geralmente partem do pressuposto de geração texto-para-imagem e engenharia de prompts, e isso costuma acontecer por falta de experiência direta usando esses modelos. A menos que seja algo por diversão, esse método não é, em essência, a resposta certa
Trabalhos que exigem previsibilidade e controle se parecem mais com “desenhe as outras corujas de um jeito parecido com estas outras corujas que desenhei à mão”, combinado com photobashing e correções/composição manuais. Para produzir algo que não seja entediante, é um campo híbrido que exige tanto capacidade artística quanto técnica, de forma parecida com CGI 3D
Isso não é um problema causado pela falta de compreensão de linguagem natural do modelo; mesmo que surja algo que possamos razoavelmente chamar de AGI, talvez isso ainda não mude muito. Prompts de texto não têm capacidade suficiente para conter significado
Um prompt detalhado e vários exemplos do estilo desejado parecem suficientes. Claro que isso não quer dizer que seja nada fácil, mas não me parece exigir uma inovação fundamental. Os componentes necessários já existem
É parecido com levar a IA para a escola ou fazê-la aprender conceitos novos rapidamente por meio de um upload de dados no estilo Matrix. Especialistas aprenderão esse método, e o mercado também se formará em torno das pessoas que querem esse tipo de trabalho
Recentemente tentei algo como “um robô sentado frente a frente com um humano jogando Magic: The Gathering”, e já era difícil até colocar o humano na imagem; o modelo não conhece MTG o suficiente e só faz correspondência de padrões com algo como “jogo de tabuleiro” ou “jogo de cartas”
Algumas imagens geradas são muito melhores do que outras, então eu gostaria de pegar a disposição da mesa de uma imagem e o robô de outra, mas, por enquanto, isso é praticamente impossível. “blend” também não serve para esse uso
Não tenho dúvida de que vai melhorar, mas fico me perguntando se há uma limitação mais geral por baixo disso. Pode ser simplesmente falta de dados. Mesmo pesquisando Magic: The Gathering no Google Imagens, o resultado é bem decepcionante
Outro exemplo: quando pedi um logotipo azul brilhante gravado em um monólito de pedra, às vezes o logotipo era gravado, mas raramente, e nunca aparecia brilhando em azul. Normalmente, o monólito inteiro, ou parte dele, ficava azul
Gostei especialmente da parte que dizia que “ilustradores comerciais vão manter seus empregos, mas, em geral, terão de aprender a usar IA como parte do fluxo de trabalho se quiserem manter um ritmo de produção mais rápido”.
Eu desenho ilustrações de vez em quando, mas meu estilo é bem diferente do que a IA generativa faz. Recentemente lancei a versão 1.1 de um manual de jogo que usava imagens do Midjourney, e agora estou investindo em um ilustrador de verdade. Isso porque as imagens do Midjourney têm pouca personalidade.
Dito isso, daqui a alguns meses talvez seja diferente. Vou continuar trabalhando com ilustradores por causa da consistência das imagens, mas existe a possibilidade de a IA produzir resultados mais chamativos.
O ponto de que “daqui a 2 meses isso muda” também é válido, mas isso vem sendo dito há um ano e meio e, qualitativamente, ainda não mudou. A qualidade das imagens geradas melhorou, mas não a ponto de ser um salto qualitativo.
Além disso, o link do civitai aponta para https://sambleckley.com/writing/civitai.com/images, mas está quebrado.
Link: https://youtu.be/FQ6z90MuURM?t=329
Eu e meu parceiro tocamos alguns pequenos negócios paralelos na internet. Um deles, um negócio D2C baseado em conteúdo, dependia bastante de ilustrações personalizadas para criativos de display ads; o CTR era ok, dentro da média, mas o CPC era alto demais e o ROAS era realmente ruim.
Alguns meses atrás fizemos um teste A/B entre nosso ilustrador habitual e Stable Diffusion, e o resultado foi bem dramático. O CTR subiu quase 20% e o CVR também melhorou de forma consistente.
Não concordo com a afirmação do texto de que imagens geradas por IA funcionam melhor em negócios nos quais o conteúdo em si não é realmente importante. Esse negócio foi um ótimo contraexemplo. No nosso caso, imagens geradas por IA ressoaram melhor com o público-alvo e permitiram uma personalização muito mais granular, a um custo menor do que antes.
O CPA também caiu bastante e, como conseguimos controlar de perto as variações dos criativos, passamos a otimizar em tempo real por segmento de audiência. O tempo de lançamento de novas campanhas também caiu pela metade, e desapareceram as discussões sobre nuances de design, atrasos de prazo e bloqueios criativos.
Tenho sentimentos complexos sobre a redução do toque humano no processo criativo, mas, do ponto de vista de growth hacking puro, isso mudou o jogo — e temos números para provar.
No geral, vejo como um ganho líquido. Não precisa ser o fim dos ilustradores humanos, mas vai obrigá-los a se adaptar de forma mais sensível às demandas dos clientes. Não faz sentido nem mesmo um negócio de conteúdo enfrentar tanto atrito na obtenção de criativos.
De todo modo, há eficiência e há alma. Os robôs, em geral, deram conta da primeira, e às vezes surpreendem também na segunda.
Fico me perguntando se a redução no vai e vem vem de respostas imediatas e interativas — ou seja, de lidar menos com pessoas —, ou se vem de confiança e delegação à máquina.
Se for algo como “a máquina criou este ícone com base na minha descrição, então não há motivo para questionar a escolha da cor”, isso acaba sendo o velho problema de tratar a máquina como infalível e mais especialista que humanos. Provavelmente é uma mistura dos dois.
A importância dos móveis em um espaço existe em um espectro, desde uma sala de espera onde se fica pouco tempo até o escritório de um arquiteto, e arte comercial não é diferente. Se aquela imagem fosse realmente sem sentido, nem precisaria estar ali.
Gráficos não informativos em boa parte dos decks de PowerPoint feitos por não profissionais podem ter importância ainda menor. Por outro lado, acho que a chance de a imagem de abertura em página dupla de uma matéria especial de revista ser feita por IA é praticamente 0%, a menos que seja uma matéria sobre imagens geradas por IA. Mesmo nesse caso, é bem provável que especialistas tenham levado mais tempo refinando a forma do que em todo o resto.
Em fluxos profissionais de trabalho gráfico, especificidade e controle no nível do pixel são importantes demais. Independentemente do que digam pessoas que não são designers profissionais, as ferramentas atuais são fundamentalmente inadequadas para esse trabalho. A própria interface está errada.
A Adobe ou algum outro player do setor que saiba o que é necessário pode resolver isso, mas o resultado não vai se parecer com o Midjourney.
“Ficar mais sensível às demandas dos clientes” é diferente de ter que ler a mente do cliente. Se você acha que isso não é um sinal do fim para ilustradores humanos nesse mercado específico, está se enganando.
Tentei fazer a IA escrever meus textos e foi horrível. Por outro lado, quando ignorei ferramentas de IA como corretores gramaticais, resumidores, ferramentas de reescrita e apps de voz para texto, o processo de escrita pareceu lento.
Para mim, o meio-termo funciona melhor. Uso IA generativa apenas na etapa intermediária do trabalho, não nas ideias de entrada nem no rascunho real de saída.
Meu jeito de escrever é assim. As ideias vêm de reflexão ou de conversas em redes sociais. Os temas discutidos ali têm, no mínimo, algum grau de relevância já validada.
Depois, sento por uns 10 minutos e dito meus pensamentos para uma ferramenta como o AudioPen, que resume esses 10 minutos em 5 ou 6 parágrafos. Essa é a etapa de IA. Quando a ferramenta sugere algumas estruturas de parágrafos, vou trocando até encontrar uma boa.
Depois disso, escrevo o rascunho eu mesmo seguindo esse esboço. Fora a revisão gramatical no fim, não uso mais ferramentas de IA. A IA é uma ótima parceira de escrita, mas uma péssima escritora.
A frase “ilustradores comerciais vão manter seus empregos, mas em geral terão de aprender a usar IA como parte do fluxo de trabalho para acompanhar um ritmo mais rápido” corresponde exatamente à realidade que tenho visto
Fora das comunidades de geração de mídia por IA, muita gente ainda acha que é só inserir um texto e receber um resultado. Na prática, você configura todo um fluxo de trabalho para obter exatamente o tipo de imagem que deseja
Por exemplo: https://old.reddit.com/r/StableDiffusion/comments/14ye2eg/co...
A segunda imagem é o resultado, mas a primeira é mais interessante. É uma interface baseada em nós, semelhante ao que se vê com frequência em ferramentas de desenvolvimento de jogos como a Unreal Engine: https://docs.unrealengine.com/5.2/en-US/nodes-in-unreal-engi...
É parecido com conectar APIs para obter a imagem resultante. Acho que a geração de imagens no futuro vai ficar mais próxima de programação de backend do que de desenhar de fato. Isso porque a parte de desenhar em si será automatizada, e a criatividade estará no próprio fluxo de trabalho
Claro que algum dia a parte do fluxo de trabalho também será automatizada, mas, como o computador ainda não lê mentes a ponto de saber a intenção do usuário, isso ainda está longe
O texto parece focar demais no presente. Modelos do tipo Stable Diffusion tiveram muito sucesso com uma técnica específica, mas é ingênuo achar que esse método vai melhorar infinitamente
A “IA” generativa assumirá várias formas. No fim, é provável que ela remova grande parte do elemento de técnica da criação, tirando renda e relevância de artistas e proprietários de conteúdo
Isso não vai acontecer da noite para o dia, mas, pelos próximos cerca de 10 anos, acho que a IA será mais uma ferramenta útil do que uma ameaça
Em algum momento, espero que a IA generativa se torne um sistema multissensorial, incluindo visão, som e tato. Um sistema assim criará representações novas e precisas com base em modelos físicos de objetos e ambientes, usando descrições ricas e uma profunda consciência contextual da cultura
Ele pensará em objetos e relações, não em pixels, e vai simulá-los, renderizá-los e filtrá-los para atender aos desejos do usuário
Torço pelos esforços de escritores e atores para se protegerem da concorrência, mas acho que no fim serão em vão. A evolução jurídica nessa área será interessante
Sistemas generativos futuros talvez precisem de uma trilha de auditoria que mostre como obtiveram seu entendimento do mundo, para provar que não houve treinamento não autorizado. Mas isso só elevaria um pouco o nível de exigência e não impediria que relações importantes fossem derivadas por outros meios, como descrições de alto nível em esquema de sala limpa
Por exemplo, treinar uma IA com obras protegidas por direitos autorais de Harrison Ford ou imagens dele tiradas em lugares públicos pode ser ilegal, mas, se você reduzir Harrison Ford a um conjunto de características e passá-las para um sistema generativo, poderá criar algo indistinguível do Harrison Ford real. Se esse procedimento puder ser documentado, não vejo muitos meios para o sistema jurídico impedir isso. Claro, não sou especialista nessa área
Para constar, não gosto da “IA” atual. LLMs, em especial, me pareceram pouco confiáveis e em geral inúteis. A arte gerada por IA também costuma ser entediante, imprecisa ou pouco convincente de algum modo. Mesmo assim, acho que a tendência está ficando cada vez mais clara
Não entendo por que a visão de que “ilustradores comerciais vão manter seus empregos, mas em geral terão de aprender a usar IA como parte do fluxo de trabalho para acompanhar um ritmo mais rápido” seria impopular. Parece o caminho lógico daqui para frente
É como o CoPilot: ele não me substitui, mas torna certos clichês muito menos dolorosos e me ajuda a evitar a página em branco ou o bloqueio de escrita quando estou tentando escrever uma função
É melhor começar de algo e ir ajustando até chegar ao formato necessário do que partir do nada. Mesmo que no fim eu reescreva 80% a 99%, ainda vale
Imagino que artistas também se beneficiem ao ver alguns exemplos de como sua line art poderia ficar, pois isso estimularia a criatividade e então eles poderiam trabalhar como quisessem
Os ilustradores com quem eu mais gostaria de trabalhar são aqueles que usam todas as ferramentas disponíveis para criar as melhores imagens possíveis
Concordo com a maior parte, mas não concordo com a parte de gerar uma imagem específica. Isso é claramente uma habilidade que pode ser desenvolvida.
Já ensinei muita gente a simplificar prompts para IA de geração de imagens e a escolher a linguagem adequada. Curiosamente, as pessoas colocam um monte de quinquilharia desnecessária, provavelmente algo quase supersticioso do tipo “esse fragmento de frase funcionou bem algumas vezes antes”.
Como o texto diz, o caminho daqui para a frente é uma abordagem híbrida, usando isso como uma ferramenta dentro de uma cadeia de várias ferramentas.
Há conceitos que a IA simplesmente não entende. Por exemplo, no momento o Midjourney sofre demais com coisas como “bulldozer”, “centauro” e “arqueiro de fantasia”. Essas coisas inevitavelmente serão corrigidas em novas versões de modelos com dados de treinamento melhores, e já foram corrigidas assim no passado.
A dificuldade real vem de pequenos detalhes ou de informações semânticas. Por exemplo, é difícil pedir uma cena realista/fotográfica em que tudo, até o fundo, esteja em foco; mesmo usando palavras-chave como “focus stacking”, não funciona bem. “selfie” foi a melhor palavra que encontramos, mas infelizmente tem efeitos colaterais grandes.
Pode ser que os dados de treinamento não tenham exemplos suficientes descrevendo especificamente esse atributo, mas, sinceramente, aprender a palavra em inglês para expressar esse tipo de conceito também é difícil.
No caso de pequenos detalhes, a abordagem atual não vai escalar para lidar com pedidos como “seis cubos azuis, cada um com um triângulo vermelho preso, organizados em forma de pirâmide, com uma bola amarela equilibrada em cima”. Mas, como o autor diz, é provável que esse tipo de coisa seja resolvido com assets criados separadamente e um mínimo de habilidade em Photoshop.
Ao falar dos problemas técnicos de prompts, essa parte foi completamente deixada de fora.
O problema dos prompts não são cubos empilhados. Se você pedir a 10 engenheiros de software, 10 pessoas de vendas e 3 altos executivos que criem uma ideia visual para publicidade, o que vai sair são imagens lixo sobre fundo preto, robôs, anime, cópias ruins de algo que viram em algum lugar e lembram inconscientemente, e zero ideias visuais que realmente funcionem.
Designers e ilustradores precisam constantemente enfrentar e subverter esses clichês e ideias ruins para criar um produto decente.
Vejo GPT e código de forma quase idêntica. Já vi pessoas inteligentes que não programam pedir coisas ao GPT e obter algo que funciona, mas há um salto enorme entre “escreva algo que pressione uma tecla automaticamente com um timer” e “atualize o repositório para que o cliente trate esta lógica de negócio e estas funcionalidades”.
Do meu ponto de vista, ainda é preciso que alguém com pensamento de desenvolvedor faça o trabalho, e a IA apenas torna a vida um pouco mais fácil nesse processo.
Acho que o mesmo vale para a arte. É fácil conseguir uma imagem plausível, mas, para obter uma imagem específica e significativa, normalmente é necessário muito pós-processamento que uma pessoa comum não consegue fazer.
Já vimos avanços enormes. As ferramentas de programação baseadas em LLM estão melhorando, os próprios LLMs estão melhorando, e o tamanho do contexto está aumentando. O interesse em LLMs também está estimulando o desenvolvimento de novas abordagens mais eficazes.
Em poucos anos, seja algo da linha JEPA do Lecun, algum supercodificador híbrido que a DeepMind esteja criando, ou um LLM open source, isso vai superar de longe o GPT-4 em programação.