O universo dentro do Transformer, Oasis

Oasis: o universo dentro do Transformer

• Introdução ao Oasis

  • Oasis é um videogame de mundo aberto em tempo real gerado por IA.
  • Ele recebe as entradas do teclado do usuário e gera física, regras do jogo e gráficos em tempo real.
  • Funciona apenas com um modelo de base, sem engine de jogo.
  • Mostra que vídeo em tempo real é possível usando o mecanismo de inferência da Decart.

• Resultados de gameplay

  • Oasis compreende mecânicas de jogo complexas.
  • Tem a capacidade de gerar várias configurações, locais e objetos.
  • Dentro do jogo, consegue realizar construção, física de iluminação, gerenciamento de inventário e mais.

• Arquitetura

  • O modelo é composto por um autoencoder espacial e um backbone de difusão latente.
  • É baseado em Transformer, com base em ViT e DiT.
  • Gera frames de forma autorregressiva, permitindo interação em tempo real.

• Desempenho

  • Oasis gera saída em tempo real a 20 frames por segundo.
  • Alcança taxa de quadros jogável por meio da stack de inferência da Decart.
  • É otimizado para o ASIC Transformer da Etched, o Sohu.

• Exploração futura

  • Existem problemas que podem ser resolvidos por meio da ampliação do modelo e do dataset.
  • Técnicas adicionais de otimização estão sendo desenvolvidas para executar treinamento em larga escala com eficiência.

Resumo do GN⁺

• Oasis é um jogo de mundo aberto em tempo real gerado por IA que demonstra uma tecnologia inovadora baseada em Transformer.
• Sua característica marcante é a alta velocidade de inferência que permite interação em tempo real.
• Em combinação com novos hardwares como o Sohu, aponta a possibilidade de dar suporte a modelos de grande escala.
• Essa tecnologia tem potencial para ser aplicada não apenas em jogos, mas também em diversos produtos de consumo.
• Projetos com funcionalidades semelhantes incluem o Sora, da OpenAI, e o Mochi-1, da Genmo.