Infinigen: criação procedural para gerar mundos fotorrealistas infinitos

 (github.com/princeton-vl)
2 pontos por GN⁺ 2024-12-24 | 1 comentários | Compartilhar no WhatsApp
  • Infinigen é um projeto que cria mundos fotorrealistas por meio de geração procedural e oferece um guia inicial para cenas naturais, cenas internas e assets de simulação articulados
  • Após a instalação, o usuário pode começar a gerar cenas de cômodos, cenas naturais e assets articulados para simuladores pelos fluxos Infinigen-Indoors, Infinigen-Nature e Infinigen-Articulated
  • A pesquisa relacionada se estende do artigo da CVPR 2023 Infinite Photorealistic Worlds using Procedural Generation, ao artigo da CVPR 2024 Infinigen Indoors, e ao artigo no arXiv de 2025 Infinigen-Articulated
  • A documentação inclui instalação, configuração de câmera, download de dados pré-gerados, geração de assets individuais, exportação para formatos externos como OBJ e OpenUSD, exportação para simulação física e ground-truth estendido
  • As formas de contribuição se dividem em código do repositório, geradores procedurais e fornecimento de dados pré-gerados, com orientação sobre uma ferramenta que converte Blender Nodes em código Python e um processo de suporte baseado em GitHub Issues

O que o Infinigen gera

  • Infinigen é um projeto que cria mundos fotorrealistas por meio de geração procedural
  • O fluxo inicial é oferecido em três frentes
    • Hello Room: gera cenas internas com o Infinigen-Indoors
    • Hello World: gera cenas naturais com o Infinigen-Nature
    • Infinigen-Articulated: oferece um fluxo para gerar assets de simulação articulados e exportá-los para simuladores
  • O projeto também fornece site, vídeo de apresentação, artigos, documentação e guia de contribuição

Como começar e exemplos

  • Primeiro é necessário instalar seguindo as Installation Instructions
  • A documentação inicial do Infinigen-Indoors está em HelloRoom.md
    • As imagens de exemplo mostram a cena no Blender, o resultado renderizado, depth e saídas relacionadas a objetos
  • A documentação inicial do Infinigen-Nature está em HelloWorld.md
    • As saídas de exemplo incluem imagem, depth, surface normal e instance segmentation
  • O fluxo inicial do Infinigen-Articulated está na documentação Exporting to Simulators
    • Ela cobre casos de uso de exportação de assets articulados para simuladores

Artigos relacionados

Escopo da documentação

  • A documentação cobre não só a instalação e a criação da primeira cena, mas também os fluxos de configuração, câmera, dados e exportação
  • Os itens de documentação oferecidos incluem
    • Installation Guide
    • “Hello World”: gerar a primeira cena do Infinigen-Nature
    • “Hello Room”: gerar a primeira cena do Infinigen-Indoors
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, por exemplo: OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • O roadmap do projeto é fornecido na página de roadmap do site do Infinigen

Processo de contribuição e suporte

  • Três formas de contribuição são apresentadas
    • Contribuição de código para o repositório: contribuições de código são aceitas, e um guia mais detalhado será fornecido futuramente
    • Contribuição de geradores procedurais: infinigen/nodes/node_transpiler/dev_script.py oferece uma ferramenta que converte Blender Nodes, amigáveis para artistas, em código Python
    • Contribuição de dados pré-gerados: qualquer pessoa pode usar seu poder computacional para gerar dados e compartilhá-los com a comunidade, e um repositório de dados pré-gerados será disponibilizado futuramente
  • As instruções indicam publicar pedidos de ajuda na página de GitHub Issues
  • Para reproduzir problemas, é preciso executar o comando com --debug e incluir as seguintes informações
    • Ambiente computacional, incluindo versão do SO, CPU, RAM, GPU e drivers
    • Versão do código usada, link para o commit hash e se houve modificações
    • O comando exato executado
    • Logs de saída
      • Ao usar manage_jobs, os logs podem ser encontrados em outputs/MYJOB/MYSEED/logs/
      • Se houver erro de Python e stacktrace, eles também devem ser fornecidos

Projeto de base e mudanças

  • O Infinigen afirma que não seria possível sem o trabalho da Blender Foundation e de contribuidores open source
  • Os projetos utilizados mencionados especificamente são Land-Lab, BlenderProc, Blender-FLIP-Fluids e Blender-Differential-Growth
  • Thomas Kole é citado entre os agradecimentos como responsável por nuvens procedurais
  • Vários tutoriais online de Blender forneceram geradores procedurais para experimentos iniciais e são organizados como materiais que inspiraram a implementação da versão oficial
  • O Infinigen mudou bastante desde a versão do artigo da CVPR
    • Atualmente, ele inclui parte de código procedural com licença CC-0 obtido na internet
    • Esse código é indicado com comentários no código nos pontos em que se aplica
    • A versão da CVPR não incluía esse código

Leituras relacionadas

1 comentários

 
GN⁺ 2024-12-24
Opiniões no Hacker News

  • Projeto realmente incrível.
    Tenho uma curiosidade para os pesquisadores de ML/IA do HN: existe algum paper que tenha usado isso para treinamento? Por exemplo, treinar robôs em um ambiente virtual.
    Também queria saber quais datasets são usados hoje em dia na área de ML/IA para treinar robôs.

    • Segundo o vídeo, “o Infinigen é 100% gerado proceduralmente. Usa apenas regras matemáticas, não há IA nenhuma; é só gráficos”.
      Timestamp: https://youtu.be/6tgspeI-GHY?t=107
    • Acho que vi um vídeo da Nvidia Research treinando robôs e afins com ambientes gerados.
      Não vou conseguir encontrar agora, mas o Omniverse da Nvidia é um dos elementos centrais.

  • Isso já não apareceu aqui antes? É legal, sem dúvida, mas pelo que sei é um projeto de alguns anos atrás. Fico curioso se houve alguma atualização.

  • As cenas internas parecem totalmente plausíveis, mas as externas ainda deixam bastante a desejar. Ainda estão bem longe do estado da arte.

    • Então qual é o estado da arte que seja open source, de preferência utilizável como biblioteca, e que não seja IA generativa? Estou pensando em casos de uso de interação/desenvolvimento de jogos/tempo real.
    • Está atrás até de várias versões de No Man's Sky, e mais ainda se comparado a todo tipo de resultado maluco que o pessoal de LLM está criando.
    • Ainda assim, é preciso admitir que a água do mar ficou muito melhor do que em qualquer videogame atual. O resto, ok.
    • O que deveríamos considerar como estado da arte?

  • O fato de algo assim ser possível parece dizer alguma coisa sobre o universo. Talvez os ambientes não tenham tanta quantidade de informação quanto imaginamos.
    Isso também pode explicar a eficiência irracionalmente alta com que cérebros, especialmente os cérebros pequenos dos animais, modelam o mundo e operam dentro dele.

    • Essa é uma forma muito superficial de olhar para o universo.
      A existência não se limita ao que é observado. O cérebro evoluiu para coletar apenas o mínimo de informação necessário para manter um organismo vivo em um ambiente específico. Mas, mesmo dentro daquilo que conseguimos perceber, há uma complexidade incalculável no universo.
      Em modelagem 3D, esses detalhes não são importantes, então é possível se aproximar do fotorrealismo. A renderização parece boa o suficiente para enganar o cérebro e fazê-lo sentir que está vendo objetos do mundo real. Mas é apenas uma boa aproximação do aspecto visual, não uma representação adequada de objetos reais. Não há nem de longe recursos computacionais suficientes para isso.
      Só recentemente passamos a conseguir modelar em tempo real como a luz se comporta no mundo real, e mesmo assim por aproximação. De todo modo, o Infinigen parece um produto interessante, e é bom ver simulação clássica em vez de IA depois de tanto tempo.
    • Se “o fato de algo assim ser possível diz alguma coisa sobre o universo”, então os modelos de personagens de Final Fantasy 7 também dizem alguma coisa sobre o sistema endócrino humano.
      Como Aeris é claramente lida como humana mesmo sem vermos as glândulas suprarrenais dela, talvez isso signifique que, na realidade, também não existam glândulas suprarrenais.
    • “O mapa não é o território.”
    • “Ainda há muito espaço lá embaixo.”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • Acho que isso mostra mais sobre o cérebro humano do que sobre o universo. Mostra como a nossa percepção é facilmente enganada.

  • Só pelo README não fica claro: não sei se infinito aqui quer dizer que é possível criar variações infinitas de uma cena, ou se quer dizer que ele gera um mundo infinito.

  • Post anterior: https://news.ycombinator.com/item?id=36373494

  • Quando compartilhado, a descrição da meta tag aparece com conteúdo placeholder; isso deveria ser atualizado.

  • Vejo várias universidades importantes da China na lista de autores; à primeira vista, isso não implicaria uma violação das sanções a chips/regras de exportação?

    • O artigo diz que os coautores fizeram a pesquisa quando estavam afiliados a Princeton.

  • A introdução no estilo Matrix não tem nada de sutil.