Duelo de videoclipes de IA por US$ 100: Claude Fable 5 vs. GPT-5.6 Sol

 (tryai.dev)
1 pontos por GN⁺ 4 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Claude Fable 5 e GPT-5.6 Sol receberam a mesma música e letra, orçamentos de US$ 25 e US$ 100, busca na web e ffmpeg; do levantamento à geração e edição do vídeo, em todas as quatro execuções eles concluíram autonomamente vídeos completos com a faixa original incorporada
  • Eles também escolheram por conta própria os modelos generativos e os métodos de produção; em três das quatro execuções usaram texto-para-vídeo, e somente a execução de US$ 25 do Sol montou um pipeline que primeiro criava imagens estáticas e depois as animava
  • O custo de geração nas execuções de US$ 100 ficou em apenas US$ 36,57 para o Sol e US$ 48,60 para o Fable; incluindo o custo de tokens do LLM, os totais foram US$ 39,82 e US$ 73,65, respectivamente — o Fable terminou mais rápido, mas custou mais
  • Em todos os resultados faltaram consistência de personagens e narrativa, sincronização de tempo entre movimentos internos do vídeo e a música, e autoavaliação para revisar e editar os clipes gerados; também apareceu uma tendência a transformar a letra em imagens de forma literal demais
  • A execução de US$ 25 do Sol mostrou a edição mais criativa, com sobreposições de texto e efeitos em imagens estáticas, mas no geral ficou limitada a simplesmente encadear clipes gerados, e nem o orçamento de US$ 100 nem o Replicate foram bem aproveitados

Experimento de criação autônoma de videoclipes

  • Um pequeno arnês de agentes foi projetado para receber uma música, um orçamento fixo em dólares e ferramentas, e realizar autonomamente toda a produção de um videoclipe
    • Pesquisar modelos de geração de vídeo e APIs a usar
    • Gerar clipes e verificá-los diretamente
    • Editar com ffmpeg e montar o vídeo final
  • Para observar as diferenças no uso de ferramentas por modelo, o experimento foi estruturado como uma tarefa longa e aberta, na qual cada modelo decide o que pesquisar, que conteúdo gerar e como editar
  • Todas as chamadas de ferramentas foram registradas para permitir a análise do processo de trabalho de cada modelo, e o arnês completo foi publicado em music-video-arena
  • Claude Fable 5 e GPT-5.6 Sol foram executados com orçamentos de US$ 25 e US$ 100 cada, em um total de quatro comparações
  • Todas as execuções receberam a mesma música, “Uptown Funk”, de Bruno Mars e Mark Ronson, uma breve descrição textual e uma transcrição da letra com timestamps

6 ferramentas e restrição de orçamento

  • Cada modelo usou as seguintes 6 ferramentas em um loop autônomo de chamadas
    • plan: organiza o raciocínio sem custo nem ação real
    • web_search: pesquisa modelos e APIs de geração e, se necessário, informações sobre videoclipes
    • get_budget: verifica o orçamento restante
    • generate_image, generate_video: as únicas ferramentas que consomem orçamento; o modelo escolhe diretamente os modelos e parâmetros da FAL ou da Replicate
    • run_command: shell local que realiza análise de áudio, corte e concatenação de clipes e combinação do vídeo final usando ffmpeg e ffprobe
  • Quando o orçamento chega a 0, solicitações pagas de geração são recusadas, mas a edição posterior pode continuar
  • Foram registrados não apenas as mensagens dos modelos e chamadas de ferramentas, mas também cobranças de custo e erros

Resultados das quatro execuções

  • Todas as execuções terminaram por conta própria, sem atingir limites de etapas ou tempo, e geraram vídeos válidos de duração completa com a faixa original incorporada
  • O tempo de execução e os resultados gerados foram os seguintes
    • Fable 5 · US$ 25: 39min10s, 54 clipes, 1 falha, US$ 24,30, 1280×720
    • Sol · US$ 25: 42min52s, 46 clipes, 10 falhas, US$ 23,18, 1280×720
    • Sol · US$ 100: 49min39s, 70 clipes, 2 falhas, US$ 36,57, 1280×720
    • Fable 5 · US$ 100: 38min56s, 80 clipes, nenhuma falha, US$ 48,60, 1920×1080
  • Custo de geração refere-se apenas ao custo medido da FAL e não inclui o custo de tokens da execução do próprio modelo
  • Nas execuções de US$ 25, os dois modelos quase esgotaram o orçamento, mas nas execuções de US$ 100 o Sol usou apenas US$ 36,57 e o Fable, US$ 48,60
  • Com o aumento do orçamento, a quantidade de vídeo gerado também cresceu; o número de clipes únicos por execução foi de 46 a 80
  • O tempo de relógio inclui as novas tentativas dos modelos e o tempo de espera nas filas dos provedores

Pipelines de geração por modelo

  • Quando a escolha das ferramentas ficou a cargo dos modelos, três das quatro execuções usaram apenas texto-para-vídeo, e somente a execução de US$ 25 do Sol montou um pipeline de imagem-para-vídeo
  • Fable 5 · US$ 25
    • Escolheu Wan 2.5 t2v, sem modelo de imagem
    • Trata-se de uma abordagem texto-para-vídeo com custo de US$ 0,05 por segundo de vídeo gerado
  • Sol · US$ 25
    • Gerou keyframes com FLUX schnell, a US$ 0,003 por imagem
    • Animou imagens estáticas com Wan 2.2-5b i2v, a US$ 0,10 por segundo
  • Sol · US$ 100
    • Misturou três modelos de vídeo em uma única execução, incluindo Wan 2.5, Veo 3.1 Lite e Hailuo 2.3 Standard, sem modelo de imagem
    • Wan 2.5 custa US$ 0,05 por segundo, Veo 3.1 Lite custa US$ 0,10 por segundo, e Hailuo 2.3 Standard custa US$ 0,28 por clipe de cerca de 6 segundos
  • Fable 5 · US$ 100
    • Usou apenas Seedance 1.0 Pro t2v, sem modelo de imagem
    • Com preço baseado em tokens de cerca de US$ 0,62 por clipe de 5 segundos em 1080p, equivalente a cerca de US$ 0,12 por segundo
  • Embora as chaves dos dois serviços tenham sido fornecidas, todas as quatro execuções usaram apenas a FAL e não acessaram o Replicate

Chamadas de ferramentas e erros

  • A contagem de chamadas de ferramentas inclui não só solicitações bem-sucedidas, mas também tentativas de geração com falha
  • Os planos completos e os registros de chamadas e comandos de cada execução podem ser conferidos nas transcrições abaixo
  • As chamadas com falha ocorreram principalmente por erros temporários de rede com o provedor
  • Solicitações com falha não foram cobradas, mas consumiram etapas de trabalho durante as novas tentativas

Uso de tokens e custo total real

  • O uso de tokens por execução foi o seguinte
    • Fable 5 · US$ 25: 1.476.900 de entrada, 44.341 de saída, nenhuma entrada em cache
    • Sol · US$ 25: 2.956.270 de entrada, 33.220 de saída, 9.656 de inferência, 2.558.029 de entrada em cache
    • Sol · US$ 100: 2.097.572 de entrada, 31.715 de saída, 12.330 de inferência, 1.819.050 de entrada em cache
    • Fable 5 · US$ 100: 2.264.610 de entrada, 48.029 de saída, nenhuma entrada em cache
  • O preço por token é de US$ 10 e US$ 50 por milhão de tokens de entrada e saída, respectivamente, para o Fable 5; e US$ 5 e US$ 30, respectivamente, para o Sol
  • O custo total por execução, somando geração e tokens do LLM, foi o seguinte
    • Fable 5 · US$ 25: geração US$ 24,30 + LLM US$ 16,99 = US$ 41,29
    • Sol · US$ 25: geração US$ 23,18 + LLM US$ 4,27 = US$ 27,45
    • Sol · US$ 100: geração US$ 36,57 + LLM US$ 3,25 = US$ 39,82
    • Fable 5 · US$ 100: geração US$ 48,60 + LLM US$ 25,05 = US$ 73,65
  • Só o custo de tokens do Fable ficou entre US$ 16,99 e US$ 25,05, representando cerca de 30% a 40% do custo total
  • O Sol permaneceu em cerca de US$ 3 a US$ 4 em custo de tokens, mesmo com uma escala semelhante de tokens
  • O custo de geração é uma melhor estimativa calculada com base nas tabelas de preços de cada modelo

Limitações reveladas nos resultados

  • Nos quatro vídeos, a aparência de personagens recorrentes mudou de cena para cena, e eles não conseguiram manter uma narrativa consistente do começo ao fim
  • Surgiu uma tendência a interpretar a letra de forma literal demais
    • Na frase “Make a dragon wanna retire, man”, um dragão real apareceu na tela
    • Em algumas cenas isso é interessante, mas a repetição do mesmo padrão acaba ficando estranha
  • Todas as execuções detectaram batidas com ffmpeg e alinharam os cortes ao ritmo, mas movimentos internos dos clipes, como dança e movimentos de câmera, quase não se alinharam ao tempo da música
    • Na cena “gotta kiss myself I’m so pretty”, o gesto de beijo do protagonista foi lento demais
  • A execução de US$ 25 do Sol usou técnicas de edição ausentes nas outras, como sobreposição de texto e movimento de imagens estáticas com efeitos de vídeo
  • As demais execuções, em sua maioria, apenas encadearam clipes gerados; somente a execução de US$ 100 do Sol, diferentemente do Fable, testou vários modelos de vídeo juntos

Limites da autoavaliação e do uso do orçamento

  • Depois de gerar os clipes, conectá-los e combinar a faixa de áudio, quase não houve iterações de edição para recortar novamente ou adicionar efeitos
  • A qualidade dos clipes gerados não foi verificada de forma substancial, e o resultado de US$ 100 do Sol incluiu também clipes de IA de baixa qualidade
  • O Fable 5 escolheu por acaso um modelo que gerava saídas mais consistentes
  • O Fable terminou mais rápido que o Sol, mas teve custo mais alto em cada execução e também registrou o maior custo total
  • Subjetivamente, o vídeo de US$ 100 do Fable foi levemente preferido, mas nenhum dos quatro resultados chegou a um nível excelente
  • Mesmo com um orçamento de US$ 100, nenhum dos dois modelos gastou perto do limite, nem executou um grande número de etapas
    • Com o orçamento restante, seria possível gerar primeiro imagens consistentes dos personagens e depois animá-las, mas nenhum dos modelos escolheu essa abordagem
  • Em tarefas subjetivas e centradas em estilo, até modelos de ponta ainda têm bastante espaço para melhorar

Como executar diretamente

  • Em music-video-arena, é possível especificar a música e o orçamento desejados e substituir os modelos comparados para executar o mesmo experimento
  • O projeto é open source e aceita issues, PRs e feedback sobre a configuração dos experimentos

Leituras relacionadas

1 comentários

 
GN⁺ 4 시간 전
Opiniões no Hacker News

  • É uma tecnologia impressionante em comparação com alguns anos atrás, mas o resultado não tem nenhum valor artístico. Parece uma gosma cinzenta que tirou a média de todos os conceitos evocados pela música; um criador com talento e visão conseguiria fazer uma obra mais interessante e agradável em uma tarde, mesmo sem orçamento

    • Não quero que a IA roube empregos, mas até uma visão que originalmente exigiria US$ 1 milhão pode ser realizada se o criador especificar os requisitos em detalhes, evitando esse tipo de resultado mediano.
      Por exemplo, dá para orientar minuciosamente a cena e o tempo: os dois personagens da cena anterior, vestidos como sumos sacerdotes do Médio Império egípcio com rostos de gato, dançando ao som da música sobre as costas de um elefante correndo por cima de um rio. IA é uma ferramenta, então é natural que fique tosco se você só pedir “faça um videoclipe com ambientação egípcia para esta música”
    • Na verdade, eu me divertia muito mais com os primeiros vídeos de IA generativa. Aqueles vídeos estranhos, febris, em que a falta de consistência entre quadros fazia objetos se deformarem ou aparecerem e desaparecerem de repente, tinham uma personalidade própria do meio; agora, em geral, ficam no vale da estranheza de algo que parece foto de banco de imagens animada.
      Certamente haverá gente usando IA de forma artisticamente excelente, mas me preocupa que, com o volume esmagador de conteúdo mediano gerado automaticamente, fique difícil descobrir obras interessantes, independentemente de usarem IA ou não. Espero que essa tendência leve as pessoas de volta a comunidades locais offline e à arte física
    • Fico surpreso com a facilidade com que descartam esse resultado. Foi feito em menos de 1 hora e por no máximo US$ 50; para eu chegar ao mesmo nível, acho que teria de praticar 30 minutos por dia durante 1 a 4 anos, e não há chance de eu investir esse tempo em uma habilidade que nem quero.
      Alguém com capacidade e talento reais pode criar obras incríveis e baratas com essas ferramentas, e a tecnologia ainda está longe do auge
    • Criadores com visão agora podem reger a IA para fazer coisas que, no passado, custariam milhões de dólares ou seriam simplesmente impossíveis. Há apenas 3 ou 4 anos, em programação, surgia o mesmo ceticismo de “isso não dá para fazer”, mas boa parte daquilo já se tornou possível; portanto, não há motivo para encarar essa tecnologia de forma míope
    • O que parece gosma cinzenta, na verdade, vale também para o entretenimento mediano. Novos programas de TV compartilham aparência e clima parecidos, e os mesmos atores repetem os mesmos papéis.
      O problema é comparar a IA não com a pessoa média da área, mas com um gênio que aparece uma vez na vida

  • Talvez por causa do prompt ou da forma de implementação, o resultado reproduz a letra de modo literal demais. Videoclipes excelentes geralmente criam um fluxo narrativo seguindo o tema, mais do que a letra em si, começando de forma ambígua e revelando algo por meio de recursos literários.
    Found, do Amber Run, vale ser comparado entre letra, vídeo e desenvolvimento narrativo do vídeo: https://www.youtube.com/watch?v=Yj6V_a1-EUA

    • Transformar a letra literalmente em vídeo também é uma direção criativa divertida e válida. Riptide, do Vance Joy, é um bom exemplo: https://www.youtube.com/watch?v=uJ_1HMAGb4k
    • Quando perguntaram a um ator adulto o que ele dizia durante as filmagens, ele respondeu que simplesmente descrevia o que estava acontecendo a cada momento, e LLMs funcionam exatamente assim
    • Genghis Khan também vale como referência: https://youtu.be/P_SlAzsXa7E
    • Foi constrangedor do começo ao fim, mas os primeiros 30 segundos mostraram com tanta perfeição o arquétipo de conteúdo de IA ruim que acabou sendo divertido. Em “Michelle Pfeiffer, that white gold”, aparece uma mulher loira com um top de lantejoulas douradas; em “Livin' it up in the city”, aparece literalmente uma metrópole.
      O primeiro, em especial, é na verdade uma referência bem explícita à cocaína, e o literalismo absurdo do vídeo contrasta de modo perfeito com uma letra inteligente e original. Se a letra fosse tão simplória quanto o vídeo, seria algo como “agora vamos todos cheirar cocaína!”
    • Os vídeos do Weird Al também costumam ser totalmente literais, e é por isso que são tão engraçados: https://youtu.be/N9qYF9DZPdw?is=tU_8p-hDZv9gjAJ6

  • A IA está derrubando a estrutura econômica que sustentava uma classe média considerável de artistas. Muitos artistas eram pagos mais pelo acabamento estético do que pelo valor artístico, e isso, mesmo não sendo o trabalho mais criativamente pleno, permitia que eles se sustentassem, aprimorassem suas habilidades e perseguissem, em paralelo, seus verdadeiros objetivos criativos

    • Alto-falantes e equipamentos de gravação também destruíram, há muito tempo, a estrutura econômica que pagava músicos intérpretes, e esperava-se que câmeras de smartphones e equipamentos profissionais fáceis de usar eliminassem os fotógrafos; embora o número tenha diminuído, eles ainda existem
      Se eu administrasse uma empresa com orçamento, mesmo podendo fazer todo o trabalho por conta própria, não perderia tempo fazendo arte no Claude. Quem recebia muito bem por trabalhos que a IA consegue substituir com facilidade será deixado de lado, mas esse mercado de altos valores, para começo de conversa, nunca foi tão grande assim para artistas de classe média
    • Os entusiastas fervorosos da IA parecem desejar ativamente um mundo dominado por algumas gigantes de tecnologia que vão manipular pensamentos e matar a criatividade. Também se percebe claramente, em cada fala, a inveja de pessoas que têm habilidades lapidadas ao longo de muito tempo
      Também aumentou o número de pessoas que exibem com orgulho um aceleracionismo de tornar tudo o mais ruim possível, piorar o mundo e puxá-lo para o próprio nível; é como transformar o comportamento de caranguejos no balde em uma filosofia política, econômica e trabalhista
    • Eu cursava artes, mas mudei para ciência da computação puramente por dinheiro. A arte feita por IA costuma ser grosseira, mas não dá para subestimar a capacidade de produzir em segundos algo que antes levaria meses
      Pessoas verdadeiramente criativas usarão a IA não como atalho, mas como um amplificador de capacidade, e é aí que as coisas ficarão interessantes. No software, já há pessoas que, graças aos LLMs, conseguem implementar coisas que antes não conseguiam por falta de habilidade em programação; se a mesma postura se espalhar entre artistas, surgirão obras de IA que poderão ser chamadas de arte de verdade
    • Não está claro até que ponto o lixo de IA vai piorar uma situação que já era ruim. Cantores populares das décadas de 1960 a 1990 também dependiam de canais de distribuição como gravadoras, rádio e MTV, e esses canais desapareceram ou, pelo menos, desde 20 anos atrás passaram a ter modelos de negócio desfavoráveis aos artistas
      Boa música já precisava ser encontrada em outros lugares, e 90% da música popular já era lixo produzido em massa antes da IA. Uma entrevista antiga de Frank Zappa sobre o declínio da indústria musical continua válida: https://www.youtube.com/watch?v=KZazEM8cgt0
    • É discutível se quem recebe por criar uma atmosfera estética e quem faz arte são, de fato, a mesma coisa. A música de fundo para streaming é altamente lucrativa e é um bom exemplo de “música que só fornece clima”, mas é raro ver músicos com ambição artística abastecendo em massa playlists de estudo para pagar as contas

  • É um vídeo horrível, que, como músicas do Suno, só parece convincente quando se presta pouca atenção, e no momento em que você repara de verdade, todos os tipos de defeito aparecem

  • É interessante ver como fica tão ruim quando não se usam modelos de vídeo e direção explícita. Os dois clipes anteriores foram feitos com o Kling, que eu uso pessoalmente, e não tenho relação com a empresa: https://xcancel.com/PJaccetturo/status/2076312902685085815#m
    Claro que não foi um resultado gerado de uma só vez e foi finalizado em um editor de vídeo, mas é perfeitamente possível obter esse nível de fidelidade

  • Ainda bem que os criadores admitiram que “nenhum dos videoclipes ficou ótimo”. Também fico curioso para saber quanto tempo isso leva além dos tokens.
    Se o resultado de gastar US$ 25 e 45 minutos é um vídeo basicamente impossível de assistir, acho que cineastas independentes ainda não precisam se preocupar em ser substituídos.

    • Há apenas um ano, nem isso era possível. Considerando a velocidade de evolução e a escala dos orçamentos de cinema, fico me perguntando se um dia será mesmo impossível fazer um filme de US$ 100 milhões por menos de US$ 1 milhão em custo de tokens.
    • Diretores e editores que usam o Seedance conseguem trabalhar sem um estúdio de cinema. Isso não é uma questão de quem está no volante, mas uma mudança fundamental em como histórias são produzidas e financiadas, e a mesma transformação está acontecendo no código.
    • Tenho formação clássica, mas, sinceramente, não sei bem dizer em que esses vídeos são piores do que os feitos por pessoas. Para mim, todos parecem parecidos.

  • Filosoficamente, vejo a arte como algo essencialmente humano. O significado e o impacto vêm menos da aparência bonita e mais da vida do artista, do contexto da obra, do esforço e do sofrimento, e do ser humano que criou algo específico a partir de gostos e circunstâncias pessoais.
    Dá para usar IA como ferramenta de produção artística, mas uma pessoa digitar um prompt por 1 ou 2 minutos, fazer alguns ajustes e vender aquilo como sua própria arte é apenas conteúdo feito do jeito fácil. Mesmo sem IA, conteúdo já é produzido mais rápido do que conseguimos consumir, e arte significativa é diferente de produtos gerados em massa.
    Como a arte é subjetiva, alguém pode encontrar significado em algo gerado por IA, e, se uma forma original de apresentação tocar profundamente, pode até virar arte. Mas esse lixo não se enquadra nisso e, mesmo que seja só um teste funcional, ele será adotado em muitos lugares por ser barato e “bom o bastante”; portanto, teremos de enfrentar mais uma redução de custos que não torna o mundo melhor.

    • Andy Warhol talvez não concordasse com a frase “arte significativa não é produto de massa”: https://en.wikipedia.org/wiki/Campbell%27s_Soup_Cans
      Como na expressão “arte é tudo aquilo que você consegue fazer passar por arte sem ser pego”, o debate sobre o que é arte não é novo, e o simples fato de essa tecnologia provocar as pessoas a discutir seus pontos de vista pode ser justamente uma forma de a cultura se formar. Também é uma pergunta interessante se algo é arte por causa do que o criador fez ou pela forma como o espectador o recebe.
      Vale pensar se uma obra que emocionou você quando sua origem era desconhecida continuaria sendo arte depois que você descobrisse que ela foi 100% gerada por IA.
    • Em contrapartida, eu dou muito mais importância ao resultado final do que à história ou às dificuldades do artista. A natureza talvez seja a artista mais grandiosa: pores do sol, folhas, corais e rochas podem superar quase todas as criações humanas.
    • A mesma lógica pode ser aplicada à fotografia. A maioria das fotos não é arte, ou pelo menos não é arte significativa, e minhas tentativas de desenhar também não são.
      Se aplicarmos um critério tão alto assim, a maior parte dos videoclipes feitos por pessoas também não é arte: https://en.wikipedia.org/wiki/Potboiler
    • Do outro lado, há também a realidade de que, para começo de conversa, a maioria dos humanos não consegue criar arte, seja pintura, rima, dança ou atuação. As duas frases “arte é totalmente subjetiva, mas esse lixo de IA não é arte” entram em forte conflito.
      Há quem veja o Centre Pompidou como cheio de obras geniais, mas eu não consegui apreciá-lo muito; com obras de IA, o problema é exatamente o mesmo.
    • Arte significativa existe quando a própria obra diz algo por si. Se uma empresa de marketing precisa explicar por que ela é especial, fica a dúvida sobre onde está a originalidade.
      Um livro é um livro e pode ser bom ou ruim, mas o fato de ter sido escrito por Goethe, pela tia Clara, por um LLM ou por um cachorro não faz parte da obra em si. Mesmo que humanos sejam facilmente atraídos por uma boa história de bastidores, isso não deveria importar no julgamento artístico.

  • Todos os modelos se saíram muito bem pelo menos em design de figurino, e fico curioso se isso acontece porque treinaram muito com dados de moda, já pensando em uso pela indústria fashion.
    Fazer cinema é, por natureza, um processo de melhoria iterativa, e, na vida real, videoclipes também não ficam prontos de uma vez. Um agente precisa revisar o resultado em cada etapa e iterar com ajustes, então há muito espaço para melhora.
    O orçamento do videoclipe original de Uptown Funk provavelmente também foi de cerca de US$ 100 mil, e até filmes independentes tradicionais são caros por causa de equipamentos, equipe e locações. Em qualquer indústria, uma redução de custo de 100 vezes é uma mudança enorme.

  • Achei hilário que, na letra “don't believe me just watch”, ele mostrou literalmente um braço usando um relógio. Parecia um jogo de adivinhar palavras por mímica.

    • Eu caí na gargalhada com o dragão gigante de desenho animado segurando uma placa escrita retired.

  • É um experimento interessante e os resultados são surpreendentes, mas, se você for músico, garanto que consegue fazer um videoclipe muito mais legal com seus amigos gastando só US$ 25 e 45 minutos.

    • US$ 25 é exagero. Não cobre nem o almoço para agradecer aos amigos que ajudaram.
      O OK Go fez muito sucesso no início do YouTube com Here It Goes Again: https://www.youtube.com/watch?v=dTAAsCNK7RA
      Mas esses casos são exceção, e a maioria não tem capacidade de criar algo criativo com um orçamento apertado. Isso não significa que esse resultado de IA seja melhor; pelo contrário, é completamente terrível.