-
Sistema de IA para geração de mundos 3D
- A World Labs desenvolveu um sistema de IA que gera mundos 3D a partir de uma única imagem.
- Essa tecnologia tem potencial para revolucionar a forma como diferentes tipos de conteúdo digital são produzidos, como filmes, jogos e simuladores.
-
Exploração do mundo
- Os usuários podem explorar os mundos 3D gerados, movendo-se com as teclas de seta ou as teclas WASD e ajustando a visão com o mouse.
-
Efeitos de câmera
- A cena é renderizada em tempo real por meio de uma câmera virtual, permitindo implementar efeitos fotográficos como profundidade de campo rasa ou dolly zoom.
-
Efeitos 3D
- A previsão de cenas 3D oferece sensação contínua de realismo, controle em tempo real e estrutura geométrica correta.
- Por meio de mapas de profundidade, é possível visualizar a distância entre a câmera e cada pixel.
-
Entrando na imagem
- O sistema gera mundos para que obras de arte famosas possam ser experimentadas de uma nova maneira.
- As partes que não existem na pintura original são geradas pelo modelo.
-
Fluxo de trabalho criativo
- A geração de mundos 3D se combina naturalmente com outras ferramentas de IA para criar novas experiências.
- Usando modelos de texto para imagem, é possível gerar imagens a partir de texto e, com base nelas, criar mundos 3D.
-
Perspectivas futuras
- A World Labs está melhorando a escala e a fidelidade dos mundos 3D e experimentando novas formas de interação com os usuários.
- Informações sobre lançamentos futuros podem ser conferidas por meio da lista de espera, e quem tiver interesse é incentivado a participar.
1 comentários
Opiniões no Hacker News
Ao testar a demo, a imagem animada acaba sendo enganosa. Depois de dar alguns passos, você bate em uma parede invisível, o que gera bastante frustração. Entendo que está em estágio inicial, mas parece um pouco superestimado
Ao assistir a um filme 3D com um headset de VR, mover a cabeça quebra a ilusão 3D. Em um jogo 3D, mover a cabeça permite explorar o espaço. Se isso fosse aplicado a todos os frames de um filme, daria para manter algum movimento e mudança de perspectiva. Mas isso pode comprometer a intenção do diretor e do diretor de fotografia
Há reclamações sobre a área pequena, mas transformar uma imagem em um mundo 3D é uma tecnologia impressionante. Mesmo com a IA se tornando cada vez mais comum, ainda é um feito surpreendente
Existe uma forma de usar o Depth Anywhere para converter imagens 360º em mapas de profundidade virtuais e aplicá-los a uma nuvem de pontos para renderização. Diferentemente do exemplo do World Lab, dá para inspecionar as limitações da abordagem ao ultrapassar as bordas da nuvem de pontos. Ainda precisa de melhorias
Essa tecnologia é legal, mas não tão impressionante quanto cat-4d.github.io
Talvez por já ter visto muitas demos de IA, fiquei meio dessensibilizado e acabo pensando que é preciso descobrir como tornar a tecnologia realmente útil. A seção "Step into Paintings" foi divertida, mas as limitações do modelo ficam evidentes quando se sai do material de origem. Dá para experimentar obras de arte de um jeito novo, mas não é uma boa experiência
Há expectativa de que o XYZ consiga generalizar gravações do Unreal e do NVIDIA Isaac. Fico curioso se o XYZ é diffusion-transformers, Chameleon ou alguma arquitetura nova. Desenvolver o modelo leva tempo e pode custar caro. Essa equipe é muito talentosa, mas talvez não tenha financiamento suficiente
O lado bom desses projetos muitas vezes acaba obscurecido por alegações exageradas
A imagem base parece ser renderizada, com iluminação, sombras etc. Quando usei outras ferramentas, elas só funcionavam bem com as imagens de exemplo; ao usar outras imagens, saíam formas pretas e chapadas. Portanto, a manchete deveria ser "geração de mundo 3D a partir de uma única imagem com um modelo que nós treinamos"
Na primeira vez que testei, fiquei surpreso ao receber a mensagem "Out of bounds". Pela seção "Looking Ahead", parece que eles estão melhorando o tamanho e a precisão