A$AP Rocky lança clipe de ‘Helicopter’ com uso de Gaussian Splatting

• O clipe da nova música ‘Helicopter’ de A$AP Rocky é uma obra em que quase toda a atuação dos personagens foi realizada com captura volumétrica e Gaussian Splatting
• As filmagens usaram o arranjo de 56 câmeras RGB-D da Evercoast para registrar performances reais em 3D, e na pós-produção houve renderização com Houdini·OctaneRender
• Com GSOPs da CG Nomads e ferramentas internas da WildCapture, foram processados o sequenciamento dos dados de splat, o reajuste de iluminação e as interações físicas
• Apesar da sensação surreal do vídeo, todas as cenas foram produzidas com base na atuação física real dos atores
• O projeto é um caso real de uso de Gaussian Splatting dinâmico em vídeos de música popular e mostra as possibilidades futuras da produção de vídeo 3D em tempo real

---

Visão geral da produção do clipe de Helicopter

• ‘Helicopter’, de A$AP Rocky, é um clipe musical que utiliza tecnologia de Radiance Fields, com quase todas as atuações dos personagens capturadas de forma volumétrica
  • O vídeo se caracteriza por movimentos caóticos e pela energia do estilo inicial da MTV
  • Os personagens são renderizados em forma de Dynamic Splat, criando uma sensação espacial tridimensional
• Do projeto participaram Evercoast, Grin Machine, WildCapture, Fitsū.ai e outras empresas
  • A Evercoast foi responsável pela captura de performance, e Chris Rutledge, da Grin Machine, participou como supervisor de CG
  • Wilfred Driscoll, da WildCapture, deu suporte técnico para consistência temporal e transição de movimento

Filmagem volumétrica e configuração técnica

• As filmagens ocorreram em Los Angeles em agosto de 2025, sincronizadas com as 56 câmeras RGB-D da Evercoast e duas workstations Dell
  • Os atores fizeram stunts físicos pendurados em cabos ou barras no teto
  • As hélices do helicóptero e os adereços foram substituídos por estruturas reais de madeira, e a filmagem foi feita em um ambiente físico realista
• Foram coletados ao todo 10 TB de dados brutos, renderizados em cerca de 30 minutos de vídeo em splat
  • O resultado final foi exportado em sequências PLY de aproximadamente 1 TB

Pipeline de pós-produção

• A pós-produção foi feita no Houdini, usando GSOPs da CG Nomads para manipulação e sequenciamento dos dados de splat
  • Com o OctaneRender da OTOY, foi possível fazer a renderização final e o reajuste de iluminação (relighting)
  • A integração do Octane com o Houdini amadureceu, tornando possível expressar sombras e sensação de volume
• O Blender foi usado nas etapas de layout e previs
  • As sequências de splat foram convertidas em caches proxy leves para o planejamento das cenas
  • Ferramentas internas da WildCapture geraram esqueletos por estimativa de pose, dando suporte a colisão e simulação física

Pré-visualização em tempo real e eficiência de produção

• O sistema da Evercoast fornece feedback espacial em tempo real no set
  • O diretor pode conferir um preview baseado em malha logo após a filmagem e, depois, revisar a renderização completa em splat por meio de um web player
  • Antes de baixar os dados pesados, é possível selecionar apenas as cenas necessárias para pós-processamento
• Esse workflow funciona mais como simulação do que como produção de vídeo tradicional, permitindo criação rápida e com bom custo-benefício

Performance real e ilusão visual

• Parte do público interpretou o vídeo como conteúdo gerado por IA, mas todas as cenas foram baseadas na atuação física real dos atores
  • Stunts, saltos e quedas foram todos executados em espaço real
  • Graças à captura volumétrica, a reorganização do enquadramento da câmera e a quebra da continuidade espacial podem ser feitas livremente, gerando uma sensação artificial
• A tecnologia de Radiance Fields não substitui a realidade; ela atua preservando o movimento e o espaço do mundo real

Colaborações anteriores de A$AP Rocky com Radiance Fields

• A$AP Rocky já havia usado NeRF e Instant-NGP GUI no clipe de ‘Shittin’ Me’, em 2023
  • Nesta vez, ‘Helicopter’ é avaliado como um caso de uso em larga escala de Gaussian Splatting dinâmico nessa linha de evolução

[GN⁺]

Comentários do Hacker News

• Acho realmente impressionante que, em 2023, Nial Ashley (Llainwire) tenha feito isso sozinho e ainda criado o visual por conta própria
  Link do vídeo no YouTube
  Infelizmente, esse cara não recebeu muita atenção. Segundo o Discord, artistas demais passaram a pedir apenas videoclipes nesse estilo, e no fim ele abandonou esse projeto em vez de seguir com colaborações musicais
• Sou David Rhodes, cofundador da CG Nomads. Desenvolvi o GSOPs (Gaussian Splatting Operators) para o SideFX Houdini
  Este videoclipe foi produzido com uma combinação de GSOPs e OTOY OctaneRender
  Se você se interessa pela tecnologia, pode dar uma olhada no site oficial ou no repositório no GitHub
  • O lado estético dessa tecnologia é realmente muito interessante. Nas versões anteriores, ela parecia completamente uma nuvem de ruído 3D cheia de glitches; fico curioso se vocês já pensaram em maneiras de “abusar” disso de forma criativa, usando deliberadamente entradas erradas ou falhas de alinhamento
  • David, queria saber se você já deu uma olhada em tecnologias alternativas ao 3DGS como Mesh Splatting. Dizem que promete treinamento mais rápido e resultados melhores
  • Fico me perguntando se seria possível, com um plugin para DaVinci Resolve, combinar dados espaciais filmados com dois iPhones e uni-los em uma cena 3D. Parece que com um chip M4 isso já daria para fazer
  • Você falou em “conteúdo 3D de alta qualidade”, mas no vídeo isso pareceu um pouco faltar
• Nunca imaginei ver um post sobre A$AP no HN. Essa comunidade é mesmo divertida
  • Eu também passei o dia todo pensando em como postar o videoclipe de Helicopter no HN, então fiquei feliz que alguém tenha conseguido publicar por esse ângulo de Gaussian
  • No vídeo ele está usando hair rollers no cabelo?
  • Quase tivemos um post sobre Carti no topo do HN
  • Eu também olhei duas vezes por um instante, foi realmente inesperado
  • Mas não entendo muito bem por que isso seria considerado “legal”
• Queria saber se alguém consegue explicar de forma simples o que exatamente é Gaussian splatting e o que o artigo quer dizer com “agora está maduro o suficiente”
  • O processo consiste em criar uma nuvem de pontos da cena, substituir cada ponto por um elipsoide difuso e então treiná-lo com um renderizador diferenciável. Assim, dá para reconstruir uma cena 3D quase idêntica às fotos reais
  • É uma forma de combinar vídeos gravados de vários ângulos para estimar um campo de radiância (radiance field) do espaço 3D. Com isso, dá para simular ângulos de câmera que não existem de fato.
    Em ferramentas como o Houdini, isso permite que o artista mova livremente uma câmera virtual
  • Cada ponto tem a forma de um blob semitransparente, e a cor muda conforme o ângulo de visão. Isso permite representar reflexos e efeitos de brilho
  • Este vídeo de 2 minutos é um bom material introdutório.
    Parece que, graças ao artigo fundamental de 2023 e aos avanços em GPU e programação diferenciável, a tecnologia agora já pode ser usada na prática
  • Dá para ver demos visuais neste post de blog e neste site
• O vídeo ficou muito legal. Não entendi mais da metade do artigo, mas até gostei de ler essas frases cheias de jargão técnico
  A parte “importamos os dados para o Houdini, manipulamos com GSOPs e fizemos o render final no OctaneRender” foi especialmente marcante
  • Sou um dos criadores do GSOPs para Houdini. Gaussian splat é uma forma de replicar a realidade com um enorme número de elipsoides 3D. O Houdini é forte em lidar com esse tipo de dados massivos de pontos, e renderizadores como o Octane conseguem integrá-los com elementos tradicionais de CG
  • Eu sou justamente o autor daquele artigo. Gaussian splatting recebe imagens ou vídeos 2D comuns como entrada e possibilita uma reconstrução 3D realista. É um tipo de técnica baseada em campos de radiância, como NeRF ou Plenoxel
  • A Corridor Crew fez um trabalho muito legal usando Gaussian splat. Recomendo este vídeo
  • Esse estilo de escrita, por algum motivo, me lembra Kurtwood Smith vendendo cachimbos em 『The Patriot』
• Estou experimentando Gaussian splatting como meio artístico fotográfico. Os resultados expressionistas que surgem quando faltam dados são realmente fascinantes
  Minha coleção de trabalhos
  • Os trabalhos estão lindos demais! Queria saber se você tem algum lugar onde explique o processo em mais detalhes
  • A estética é realmente única e muito legal
• Sinceramente, o vídeo me pareceu um render antigo de Unreal Engine. Pode ser que essa estética tenha sido intencional, mas fico curioso sobre o quão realistas os resultados do Gaussian splatting podem ser
  Será que, ao reajustar iluminação ou sombras, ou modificar partes da cena, ainda dá para manter a sensação de realismo original?
  Vendo como a produção de filmes hoje está caminhando para capturas de múltiplos ângulos e edição na pós, talvez a gente chegue a uma era em que humanos sejam tratados com Gaussian splat e o fundo com green screen
  • A estética deste vídeo é resultado de preservar deliberadamente os artefatos do Gaussian splatting. Especialmente no 4DGS, surgem inconsistências temporais, e isso fica ainda mais evidente no processo de relighting.
    Ainda assim, a tecnologia está avançando rápido, e a captura volumétrica parece que veio para ficar.
    Em ambientes estáticos, a qualidade já é muito alta, como neste exemplo
  • Pelo perfil do artista, isso parece uma escolha mais ligada à novidade da tecnologia e à liberdade criativa do que ao orçamento
  • Para mim, pareceu uma versão em alta resolução de Teardown, aquele jogo baseado em voxels. A iluminação e o movimento de câmera passam essa sensação
  • Com os dados certos, parece que já dá para obter qualidade 3D no nível IMAX hoje mesmo
  • Outros vídeos do A$AP também usam às vezes uma estética lo-fi e retrô de propósito. Por exemplo, em Yamborghini High, ele imitou artefatos de compressão MPEG
• Vale muito a pena assistir ao vídeo em si. O equilíbrio entre efeitos surrealistas e performance humana ficou muito bom
  Se a música não for do seu gosto, dá até para ver no mudo
  • Outro videoclipe do A$AP Rocky, Taylor Swif, também tem uma atmosfera surreal e estranha parecida. A direção com toque do Leste Europeu conversa de propósito com o tema
    Link do vídeo
  • Se você assistir até o fim, o último splat não é Gaussian
• Link direto do videoclipe: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • Boa ideia. Vou adicionar esse link também no topo do texto
• Infelizmente, parei por volta dos 30 segundos porque comecei a sentir enjoo. Mesmo assim, a tecnologia é muito legal. Fiquei curioso se mais alguém sentiu o mesmo
  • Eu gostei bastante do vídeo. Não senti enjoo nenhum
  • Minha esposa teve a mesma reação, mas depois da introdução fica bem melhor