"Generative Interactive Environments"
- Um modelo fundacional de mundo treinado com vídeos da internet, capaz de gerar mundos jogáveis com diversidade infinita a partir de imagens sintéticas, fotos ou esboços
- Foi treinado em grandes conjuntos de dados de vídeos da internet de jogos de plataforma 2D e robótica, podendo ser aplicado a qualquer domínio e expandido com datasets da internet
Aprendendo controle sem rótulos de ação
- Tem a capacidade de aprender controle refinado apenas com vídeos da internet, o que é desafiador em vídeos online sem rótulos sobre ações ou sobre quais partes da imagem devem ser controladas
- O Genie consegue inferir quais partes observáveis costumam ser controláveis e também diversas ações latentes consistentes ao longo dos ambientes gerados
Tornando possível uma nova geração de criadores
- Pode criar um novo ambiente interativo a partir de uma única imagem, oferecendo uma nova forma de gerar e entrar em mundos virtuais
- É possível gerar um quadro inicial com modelos de ponta de texto-para-imagem e depois dar vida a ele com o Genie para criar um mundo virtual
- Também é possível gerar ambientes virtuais a partir de esboços ou imagens do mundo real
Uma base para agentes generalistas
- Ambientes de jogo podem ser um testbed eficaz para o desenvolvimento de agentes de IA, mas são limitados pela quantidade de jogos disponíveis
- Com o Genie, é possível treinar agentes de IA em ambientes infinitos recém-gerados, e ele demonstra que as ações latentes aprendidas pelo Genie podem ser transferidas para ambientes reais projetados por humanos
O futuro dos mundos virtuais gerados
- Embora este site foque nos resultados de jogos de plataforma, o Genie é uma metodologia geral aplicável a diversos domínios
- O Genie também pode simular objetos deformáveis, algo desafiador para simuladores projetados por humanos que aprendem a partir de dados
- Espera-se que o Genie inaugure uma era em que mundos totalmente interativos possam ser gerados a partir de imagens ou texto, servindo como catalisador para treinar futuros agentes generalistas de IA
1 comentários
Molecada Gemini
Aquele lá Gemma
Esse aí Genie