Google SIMA - Agente de IA generativa para ambientes virtuais 3D

• A DeepMind apresentou o Scalable Instructable Multiworld Agent (SIMA)
  • • O Google DeepMind tem uma longa história em IA e jogos, desde games de Atari até o sistema AlphaStar, capaz de jogar StarCraft II no nível de grandes mestres humanos
• O SIMA é um agente de IA de uso geral para ambientes virtuais 3D, capaz de seguir instruções em linguagem natural em diversos ambientes de videogame
• Em vez de focar em jogos individuais, esta pesquisa busca uma transição para agentes de IA de gameplay mais gerais e controláveis por instruções
• Foi treinado em vários videogames em colaboração com diferentes desenvolvedores de jogos
• Mostra pela primeira vez que um agente de IA pode compreender uma ampla variedade de mundos de jogo e executar tarefas neles seguindo instruções em linguagem natural

Aprendendo com videogames

• O SIMA foi treinado e testado em 9 videogames diferentes, incluindo No Man’s Sky da Hello Games e Teardown da Tuxedo Labs
• Para expô-lo a ambientes variados, foram firmadas parcerias com 8 estúdios de jogos
• O SIMA aprendeu várias habilidades, desde navegação simples e uso de menus até mineração de recursos, pilotagem de nave espacial e fabricação de capacete
• Também foi usado em 4 ambientes de pesquisa, incluindo o novo ambiente Construction Lab, desenvolvido em Unity

SIMA: um agente de IA versátil

• O SIMA é um agente de IA capaz de perceber e compreender diferentes ambientes e então realizar ações para cumprir os objetivos instruídos
• Inclui um modelo para mapeamento preciso entre imagem e linguagem e um modelo de vídeo que prevê o que acontecerá em seguida na tela
• Não precisa de acesso ao código-fonte do jogo nem a APIs específicas; requer apenas imagens da tela e instruções simples em linguagem natural fornecidas pelo usuário
• O SIMA usa saídas de teclado e mouse para controlar o personagem principal do jogo e executar essas instruções

Generalização em jogos e outros ambientes

• Agentes treinados em vários jogos apresentaram desempenho melhor do que agentes treinados em apenas um jogo
• Ainda são necessárias mais pesquisas para alcançar desempenho em nível humano, tanto em ambientes de treino quanto em ambientes nunca vistos
• O desempenho do SIMA depende da linguagem; sem treinamento linguístico ou instruções, ele age de forma adequada, mas sem propósito

Avanço na pesquisa de agentes de IA

• Os resultados do SIMA mostram o potencial do desenvolvimento de agentes de IA gerais baseados em linguagem
• Como se trata de uma pesquisa em estágio inicial, espera-se avançar ainda mais o SIMA com mais ambientes de treinamento e modelos mais capazes
• O objetivo final é construir sistemas e agentes de IA gerais que possam compreender e executar com segurança diversas tarefas úteis para as pessoas, tanto online quanto no mundo real

Opinião do GN⁺

• O SIMA é uma pesquisa importante que mostra a capacidade da IA de compreender instruções e agir de forma semelhante à humana em diversos ambientes
• Pesquisas desse tipo podem abrir caminho para um futuro em que a IA vá além da execução de tarefas simples e consiga realizar planejamento estratégico complexo e multitarefa
• No entanto, ainda são necessárias muitas pesquisas e avanços para que a IA alcance desempenho em nível humano
• É preciso discutir como essa tecnologia pode ser aplicada para resolver problemas do mundo real e quais limites potenciais a capacidade de generalização da IA pode ter
• Um outro projeto de IA com funções semelhantes é o OpenAI Gym, uma plataforma de IA capaz de aprender em diversos videogames

[GN⁺]

Comentários do Hacker News

• É impossível esquecer quando a OpenAI foi apresentada no TI7 podendo enfrentar jogadores profissionais de Dota. Dota é um jogo extremamente complexo e difícil. Essa experiência trouxe uma grande mudança para a minha carreira.
• Espero que os desenvolvedores possam usar essa tecnologia para dar mais vida aos NPCs. Em vários RPGs, a promessa de NPCs vivendo vidas independentes nunca realmente levou a resultados perceptíveis, mas talvez agora estejamos chegando perto com a IA.
• O uso de bots, que já é um problema sério em MMORPGs, está distorcendo a economia dos jogadores e piorando a experiência de jogo de todos. O jogo de gato e rato para impedir esses gold farmers vai ficar muito mais difícil.
• A ficção científica de que o apocalipse robótico se tornará realidade já não é mais ficção científica. Isso porque jogos violentos “interessantes” são muito mais baratos e abundantes do que simuladores entediantes da realidade.
• O uso como ferramenta de CI para desenvolvimento de jogos seria interessante. Testes de playthrough de ponta a ponta para validar não só a UI, mas também a escrita e o fluxo do jogo. Consigo imaginar receber relatórios como: “Tempo para cortar a primeira árvore: +20%”.
• Essa tecnologia + tecnologia de Vtuber + chatbot que interage com a audiência + tecnologia de transformação de voz == automação de influenciadores de jogos
• Fico pensando quão bem a SIMA poderia se sair em comparação com o AlphaStar da DeepMind em StarCraft II, se eu desse instruções de alto nível e a SIMA executasse. Aí me vem uma sensação inquietante de que talvez esse tipo de jogo de guerra já esteja sendo testado. Também seria necessário algum tipo de trava de segurança reversa para que a IA levantasse preocupações e pedisse confirmação antes de executar certos pedidos.
• Lembra Ender’s Game, em que enganam uma criança dizendo que ela está jogando um jogo de computador para fazê-la exterminar uma raça alienígena.
• A piada da Nvidia em abril de 2017 sobre o "GeForce GTX G-Assist" pode virar realidade em breve.
• Surpreende ver que usam Transformer-XL desde 2019 — eu não sabia que ainda havia gente usando arquiteturas como o XLNet.