Infinigen: criando mundos fotorrealistas infinitos com geração procedural

• Infinigen é um "gerador procedural de cenas 3D" para gerar dados de treinamento 3D de alta qualidade para pesquisa em visão computacional
• Funciona com base no Blender e é disponibilizado gratuitamente e como código aberto sob a licença BSD 3-Clause

Principais recursos e características

Geração Procedural (Procedural)

• Gera aleatoriamente todas as formas e materiais por meio de regras matemáticas.
• Permite geração de macroestruturas até os menores detalhes.
• Oferece variabilidade infinita e personalização do usuário.

Diversidade (Diverse)

• Pode gerar diferentes objetos e cenas da natureza, como plantas, animais, terrenos, fogo, nuvens, chuva e neve.
• O foco inicial está voltado para ambientes naturais, mas há planos de expandir para cenários de artefatos e arquitetura.

Geometria Real (Real Geometry)

• Toda a geometria dos detalhes é implementada de fato, garantindo dados 3D precisos.
• Não utiliza técnicas de detalhes virtuais como bump maps e normal maps.
• Otimizado para pesquisa em visão computacional, especialmente para visão 3D.

Anotações Automáticas (Automatic Annotations)

• Gera anotações de alta qualidade automaticamente, como fluxo óptico, fluxo de cenas 3D, profundidade, normal de superfície, segmentação panóptica e bordas de oclusão.
• Fornece acesso do usuário a todo o processo de renderização, facilitando a personalização das anotações.

--

Artigos de pesquisa

1. Infinite Photorealistic Worlds Using Procedural Generation

   • Publicado no IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023
   • Artigo que aborda as possibilidades infinitas da geração procedural em 3D.

2. Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation

   • Previsão para o CVPR 2024
   • Pesquisa sobre a abordagem procedural para a geração de cenas internas.

[GN⁺]

Discussão no Hacker News

• Projeto realmente incrível

  • Tenho uma pergunta para pesquisadores de ML/IA: se há algum paper de ML/AI relacionado, como treinamento de robôs em ambientes virtuais
  • Também fico curioso sobre quais datasets estão sendo usados atualmente em ML/IA para treinar robôs

• As cenas internas são totalmente convincentes, mas as cenas externas estão muito aquém. Está atrás em relação ao que há de mais recente

• Percebi que a lista de autores inclui várias universidades famosas da China. Fiquei curioso se isso não significaria violação das regras de sanções/exportação de chips

• Fiquei curioso para saber se isso já foi publicado antes. Acho que é um projeto legal, mas parece que existe há alguns anos. Gostaria de saber se houve alguma atualização

• Link do post anterior: https://news.ycombinator.com/item?id=36373494

• No README não está claro. Fiquei curioso se significa gerar variações infinitas ou gerar mundos infinitos

• A descrição de metatags precisa de atualização e está mostrando conteúdo placeholder quando compartilhado

• O fato de algo assim ser possível parece dizer algo sobre o universo: que o ambiente não tem tanta informação quanto pensamos

  • Isso pode até explicar por que pequenos cérebros de animais conseguem modelar e operar no mundo de forma surpreendentemente eficiente

• A introdução inspirada na Matrix não tem nada de sutil