Oasis: o universo dentro dos Transformers
(oasis-model.github.io)- Para que vídeo generativo em tempo real responda a entradas como um jogo, a velocidade de geração de frames é crucial; o Oasis foi apresentado com a meta de criar mundos de IA interativos a 20 fps
- A Decart e a Etched demonstram uma experiência de mundo aberto em que física, regras e gráficos não vêm de engines separadas, mas são gerados como saída de um modelo de fundação
- O material divulgado inclui uma demo ao vivo, código, pesos de um modelo de 500M parâmetros executável localmente e uma demo baseada em um checkpoint maior
- A arquitetura combina um autoencoder espacial baseado em Transformer e uma espinha dorsal de difusão latente, gerando frames de forma autorregressiva conforme as entradas do usuário
- Desfoque a longas distâncias, consistência temporal de objetos, generalização de domínio, controle de inventário e tratamento de contexto longo ainda são limitações, exigindo expansão do modelo e do dataset, além de melhorias de inferência
Mundos de IA que reagem às entradas
- Oasis é um modelo de IA de mundo aberto em tempo real anunciado pela Decart e pela Etched
- Ele recebe entradas do teclado do usuário e gera experiências interativas como se mover, pular, coletar itens e destruir blocos
- Física, regras e gráficos também fazem parte da saída do modelo, compondo a experiência apenas com um modelo de fundação, sem uma engine de física separada
- Os recursos publicados são os seguintes
- Try demo: demo ao vivo
- View code: código
- Model weights: pesos de um modelo de 500M parâmetros executável localmente
- Decart Blog, Etched Blog: explicação técnica
- Exemplos de resultados incluem construção, física de iluminação, gerenciamento de inventário, compreensão de objetos, interação com animais, recuperação de vida ao consumir comida e uma pá funcionando mais rápido que a mão
- Entre os ambientes que podem ser gerados estão locais parecidos com o espaço escuro, cenas noturnas, diversas disposições de objetos, abertura de caixas de inventário, animais e personagens
- Também é possível expandir o controle da experiência para texto, áudio e outras modalidades
Arquitetura Transformer e inferência em tempo real
- O modelo é composto por um autoencoder espacial e uma espinha dorsal de difusão latente
- Ambos os componentes são baseados em Transformer
- O autoencoder é baseado em ViT, e a espinha dorsal é baseada em DiT
- Diferentemente de modelos de mundo condicionados por ações, como GameNGen e DIAMOND, a escolha por Transformer se deve ao escalonamento estável e previsível e à inferência rápida no ASIC para Transformer Sohu, da Etched
- Ao contrário de modelos bidirecionais como o Sora, o Oasis gera frames de forma autorregressiva
- Cada frame pode ser condicionado à entrada do usuário, possibilitando interação em tempo real
- No treinamento, é usado Diffusion Forcing, que faz denoising com níveis de ruído independentes por token
- A estabilidade temporal, em que a saída permanece natural por longos períodos, foi um dos principais desafios
- Em modelos autorregressivos, erros se acumulam e pequenos defeitos podem se transformar em frames com glitches
- Para reduzir isso, é usado dynamic noising na inferência, ajustando o ruído conforme uma programação
- Nos passes iniciais de forward da difusão, ruído é injetado para reduzir o acúmulo de erros; nos passes seguintes, o ruído é removido gradualmente para preservar os detalhes de alta frequência dos frames anteriores
Desempenho de 20 fps e gargalos de hardware
- O Oasis gera saída em tempo real a 20 fps
- Modelos texto-para-vídeo com arquitetura DiT semelhante, como Sora, Mochi-1 e Runway, podem levar de 10 a 20 segundos para criar 1 segundo de vídeo, mesmo com várias GPUs
- Para interação em tempo real, é preciso gerar um novo frame a cada 0,04 segundo, o que é mais de 100 vezes mais rápido
- A stack de inferência da Decart permite execução com framerate ao vivo
- Para execução mais rápida e economicamente eficiente em grande escala, é necessário novo hardware
- O Oasis é otimizado para o ASIC para Transformer Sohu, da Etched
- O Sohu pode escalar até modelos de próxima geração com mais de 100B parâmetros em resolução 4K
- A arquitetura Transformer ponta a ponta do Oasis é eficiente no Sohu e pode atender mais de 10 vezes mais usuários mesmo em modelos com mais de 100B parâmetros
Limitações ainda restantes
- Desfoque em imagens a longas distâncias, consistência temporal incerta de objetos, generalização de domínio, controle preciso de inventário, controle preciso de objetos e memória limitada em horizontes longos continuam sendo limitações
- Após análises de sensibilidade sobre configuração da arquitetura, dados e tamanho do modelo, a hipótese é que muitos desses problemas podem ser resolvidos com a expansão do modelo e do dataset
- Mesmo desenvolvendo modelos maiores, serão necessárias novas técnicas de inferência para manter o equilíbrio entre latência e custo
1 comentários
Comentários do Hacker News
Deve ser essa a sensação de estar sonhando dentro do Minecraft
A persistência de objetos é fraca, então realmente parece um sonho. O nível de iluminação também é interessante: se você fica olhando para um lugar escuro por muito tempo ou entra na “água” e a tela fica preta, é difícil voltar para outro estado que não seja uma tela preta. Em uma partida que testei, não consegui. É uma sensação bem estranha
Não sei bem como dá para projetar e lançar jogos desse jeito. Não dá para projetar um jogo ajustando diretamente os pesos do modelo
Em algum momento talvez seja possível replicar um jogo sem elementos ausentes como persistência de objetos ou estado de longo prazo, mas o custo de rodar o motor de inferência provavelmente será maior do que o do motor de jogo que ele estaria imitando. Como alguém que trabalha com IA há muito tempo, fico realmente curioso sobre para que isso seria útil
Concordo que essas ferramentas só vão se tornar extremamente úteis quando houver uma boa forma de criadores “desenvolverem” novos mundos ou jogos sobre esse sistema, e de usuários interagirem com esses mundos. No fim, ele precisa fornecer uma espécie de “API” como a de um motor de jogo. O criador faz o mundo, e o usuário interage com ele. Se a IA realmente puder cumprir esse papel, 1) pode ficar muito mais fácil criar mundos e jogos só dizendo algo como “adicione um elefante rosa voador aqui”, e 2) como o usuário poderá interagir com um mundo que muda de acordo com cada sessão de jogo, isso tornará possível um mundo verdadeiramente infinito. Já chegamos lá? Claro que não. O Oasis v1 é a primeira prova de conceito, e é só esperar mais um pouco pelo v2 ;)
Ainda assim, do ponto de vista de “projeto”, não é difícil ver o quanto seria útil poder prototipar jogos rapidamente, mesmo gastando muita GPU. Esses artigos são apenas degraus nessa direção
Uma IA que gerasse entradas para o renderizador ou para o motor real talvez pudesse resolver os problemas de fidelidade visual
Você junta vários modelos, pega pedaços de cada “modelo de mundo” de jogo e combina, e isso fica parecido com criar um jogo quase totalmente novo. Elementos ausentes como persistência de objetos ou estado de longo prazo poderiam ser adicionados com um conjunto de variáveis bem menor. Já estão colocando o quadro anterior inteiro e a entrada do usuário nos pesos, então não vejo por que não poderiam incluir também um estado de jogo simplificado
Dizem que é um “videogame totalmente gerado por IA”, mas procurei com Ctrl-F na página e Minecraft apareceu 0 vezes. Não entendo por quê
Isto não é um videogame, é uma cópia grosseira de um videogame real, sem sequer o esforço de dizer o nome ou dar crédito
Eles não podem dizer “Minecraft” porque é uma marca registrada da Microsoft, mas aparentemente acham que podem usar imagens de Minecraft como dados de treino. Incluindo a Microsoft, todo mundo está usando dados proprietários para treinar modelos de difusão. O problema é que o resultado se parece claramente com Minecraft, mas a própria Microsoft também enfrenta o problema de o Bing e o DALL-E gerarem imagens claramente parecidas com coisas de marca registrada, apesar das salvaguardas
Não sei se isso foi acrescentado depois do comentário original
Se um trabalho científico usa a obra de alguém e não dá crédito, isso é desonestidade acadêmica. Eles até poderiam ter treinado com outro conjunto de dados, mas qualquer que seja a fonte usada, ela deve ser citada
Muito legal, e também é bom ver esses modelos continuando a evoluir tão rápido. Só que fico me perguntando como o estado de longo prazo vai funcionar
Por exemplo, não sei como seriam tratados estados induzidos como construir uma base e voltar mais tarde, regras do jogo impostas por código tradicional, multiplayer ou carregar um jogo salvo. No fundo, estado externo e memória/simulação são coisas diferentes, então talvez isso não se resolva só aumentando a janela de contexto ou o tamanho do modelo. Claro que isso ajuda, mas talvez não seja suficiente. De todo modo, parece que modelos assim em breve serão usados para imaginar tarefas orientadas a objetivos. Por exemplo, um agente que precisa encontrar uma imagem específica no computador pode ir imaginando continuamente o caminho entre o estado atual que ele vê e o estado desejado. Este modelo recebe entradas do usuário, mas esse tipo de agente também imaginaria essas entradas. Pelo que entendi, algo parecido já está acontecendo em algumas redes de controle de robôs, só que sem pixels
Depois de algumas voltas, os detalhes desaparecem e você acaba no meio de um oceano vazio. Com essa tecnologia, não parece possível criar nem uma versão jogável de Mario, quanto mais de Minecraft
Isso não é um videogame, é mais um simulador rápido de screenshots de Minecraft em que o prompt entre os quadros é o estado de entrada e o quadro anterior
Existe algum nível de coisa parecida com consistência
Basicamente, treinaram o modelo com Minecraft. Não é genérico de forma alguma
O jogo provavelmente não veio do prompt, e sim de um grande conjunto de dados de partidas de Minecraft e de fine-tuning. Quero ver um trabalho desse tipo em que o mundo ou o jogo venha do prompt
Aliás, faço parte da equipe do Oasis
Se durante a jogatina o usuário pudesse desenhar diretamente no frame buffer e isso fosse reinserido como entrada, talvez saísse algo bem interessante
A fila estava longa demais e desisti. Fico curioso se o modelo está gerando os próprios pixels ou se ele gera apenas o ambiente e renderiza de forma “tradicional”
Por que isso é interessante? Hoje, talvez não seja tão interessante assim. O Oasis v1 é só uma prova de conceito. Mas, pensando no futuro, literalmente em versões seguintes do Oasis que devem sair em alguns meses, dá para imaginar uma situação em que todos os pixels visíveis, inclusive os que você vê agora ao ler esta mensagem, sejam gerados. Essa é uma nova interface de comunicação entre humanos e máquinas. Se os LLMs são interessantes no chat porque permitem a interação entre humanos e máquinas por meio da conversa, que é uma forma familiar para humanos, aqui o computador passa a ver o mundo do jeito que nós o vemos e a mostrá-lo de volta do jeito com que estamos acostumados. Em resumo, imagine dizer ao computador “crie um elefante rosa” e ele aparecer imediatamente no jogo que você está jogando
Talvez seja preciso treinar o modelo com um jogo do Mario para fazer a Nintendo brigar por uma “boa causa”