O videogame mais profundo: uma excelente ferramenta cognitiva de apoio à pesquisa
(thoughtforms.life)- O jogo de quebra-cabeça Baba is You treina a flexibilidade mental necessária para compreender a vida e a mente, borrando as fronteiras entre dados e algoritmos, sistemas cognitivos e seus conteúdos
- A estrutura em que mudar a disposição dos objetos-palavra altera as regras do mundo abala a distinção entre coisas e regras, entre objetos físicos e mensagens informacionais
- Também na biologia, informações moleculares e bioelétricas influenciam a forma como células, órgãos e organismos interpretam informações, além de afetarem a evolução posterior, criando uma dinâmica autorreferencial que muda por dentro
- Os experimentos de canibalismo com planárias de McConnell, traços de memória, active data e memórias agenciais mostram que a mesma matéria pode ser ao mesmo tempo objeto e meio cognitivo, dependendo do nível de organização
- Baba is You pode ser usado como uma prótese mental de realidade virtual para entrar na área onde biologia do desenvolvimento, ciência da computação e ciência cognitiva se encontram, com espaço para expansões baseadas no framework TAME e integração com IA
O tipo de pensamento que Baba is You treina
- Baba is You é um jogo de quebra-cabeça desafiador, mas também uma ferramenta que leva a romper categorias familiares ao lidar com vida e mente
- Em especial, ele faz ver as distinções a seguir não como dicotomias fixas, mas como relações mais contínuas e fluidas
-
Dados e algoritmos
-
Sistemas cognitivos e seus conteúdos
- Coisas e mensagens informacionais
- É adequado como ferramenta introdutória para adquirir a flexibilidade mental do campo, a ponto de poder entrar na lista de preparação para se juntar ao laboratório
- O clássico GEB, de Hofstadter, também é mencionado como material preparatório semelhante
-
A estrutura do jogo que derruba a distinção entre coisas e regras
- No mundo de Baba is You, existem não só propriedades físicas como posição ou impossibilidade de passagem, mas também objetos com significado
- Parte desse significado determina diretamente a física do mundo, e mudar a posição relativa das palavras altera tanto o comportamento dos objetos quanto as ações que o jogador pode realizar
- O ato de mover objetos para formar novas frases se torna, ao mesmo tempo, uma manipulação que muda a forma como o mundo funciona
- Essa estrutura leva a perguntas sobre mensagens, observadores, interpretação e regras
- Como distinguir se um objeto do mundo real é apenas uma coisa ou informação
- Existe uma distinção dicotômica entre os dois
- Forma e padrão podem, por si só, tornar-se agentes
Uma forma de recolocar a pergunta sobre leis físicas e leis biológicas
- A manipulação das regras no jogo se expande para a pergunta de como devemos entender o status das leis físicas no mundo físico
- Se as leis físicas emergem de algum aspecto do universo, então em princípio deveriam poder mudar de dentro do próprio universo
- Por outro lado, se as leis físicas não emergem do universo, então surge o problema de onde se originam dentro do conceito de Universe, com U maiúsculo
- Algumas leis biológicas podem mudar internamente
- Informações moleculares e bioelétricas influenciam a maneira como vias moleculares, células, órgãos e organismos interpretam informações biológicas
- Essas informações também podem influenciar a forma como a evolução posterior se desenrola
- Esse processo é, em essência, uma dinâmica autorreferencial
Casos biológicos em que objeto e mensagem existem ao mesmo tempo
- No estudo clássico de canibalismo com planárias de McConnell, planárias treinadas são comidas por hospedeiros sem experiência, e a informação comportamental é transmitida
- O arquivo de artigos relacionados está disponível em Cannibalism and learning in planaria
- Nesse caso, o traço químico de memória do doador é alimento para o hospedeiro e, ao mesmo tempo, memória interpretada pelos tecidos do hospedeiro para guiar o comportamento
- De forma mais ampla, traços de memória compostos por mRNA, proteínas e outros substratos assumem naturezas diferentes conforme o nível de organização
- No nível molecular, são objetos físicos
- No nível do organismo, são meios cognitivos
Software, hardware e dados ativos
- Baba is You rompe o enquadramento dicotômico entre software e máquina, dados e hardware
- Essa perspectiva se conecta a temas com grande potencial de desenvolvimento no campo da Diverse Intelligence
- active data como self-sorting arrays
- memórias agenciais
- Pode haver um contínuo entre pensamentos como padrões passivos de informação e seres pensantes como agentes cognitivos ativos
- Jogar pode tornar esse arcabouço intuitivo de uma forma que é difícil alcançar apenas com artigos científicos
O token “YOU” e a meta-plasticidade
- Um dos tokens que o jogador pode controlar no jogo, YOU, aponta para o próprio jogador
- Quando se criam novas frases com esse token, mudam as capacidades do jogador e sua relação com o mundo, tornando possível uma espécie de meta-plasticidade
- Isso lembra processos biológicos como desenvolvimento e metamorfose, nos quais o comportamento altera drasticamente forma e função do sistema
- Essa mudança também se conecta aos seguintes elementos
- O espaço em que se age
- Os objetivos perseguidos
- As preferências mantidas
- Isso também pode levar a extensões de teoria dos jogos nas quais o comportamento do jogador muda o número de jogadores e as preferências
- Nesse caso, a matriz de recompensas é transformada dinamicamente
O jogo como prótese mental de realidade virtual
- Baba is You está mais próximo de uma prótese mental de realidade virtual do que de um simples jogo
- Funciona como um conjunto ativo, dinâmico e imersivo de bombas de intuição, podendo ajudar a entrar em aspectos importantes de um novo campo científico
- Esse campo está na interseção entre
- Biologia do desenvolvimento
- Ciência da computação
- Ciência cognitiva
Ideias de expansão com base no framework TAME
- Com base no TAME framework, são possíveis ao menos três direções de expansão
-
Implementação de polycomputing
- polycomputing é uma estrutura em que múltiplos observadores interpretam e hackeiam as características físicas do mundo à sua maneira
- Isso pode ser implementado com dinâmica multiplayer ou com NPCs biologicamente inspirados que leem os objetos do ambiente de acordo com seus próprios objetivos
- O jogador pode se acostumar com uma visão centrada no observador, centrada na perspectiva, e alternar o frame de significado conforme necessário
-
Reforço da agência autônoma
- Mensagens de texto podem implementar um espectro de inteligência no qual têm objetivos próprios relacionados à transmissão de informação, interpretabilidade e adoção por sistemas cognitivos maiores
-
Implementação de dinâmicas multiescala
- Pode-se permitir agentes aninhados dentro de agentes, como em agents within agents
- Pode-se implementar uma estrutura em que objetos e mensagens virtualizam e geram outros objetos e mensagens ao longo de níveis hierárquicos
IA e materiais relacionados
- Há muito espaço para combinar IA com esses mundos virtuais
- Há três links relacionados
- evolutionary optimization of Baba Is You agents: artigo sobre otimização evolutiva de agentes de Baba Is You
- Baba Is You is undecidable: artigo que mostra que Baba Is You é indecidível
- baba-is-auto: simulador em C++ e código de Baba is You para aprendizado por reforço
1 comentários
Comentários do Hacker News
O jogo que serviu de base para este texto é Baba Is You: https://store.steampowered.com/app/736260/Baba_Is_You/
É um jogo de quebra-cabeças lógico e, embora pareça que o objetivo seja levar “you” até “flag”, mais precisamente é alcançar “win”. Em geral, a regra básica é “flag is win”, e você combina vários objetos e palavras para mudar as próprias regras do jogo. Recomendo muito para o gosto do HN
Não é como Portal, em que você resolve puzzles ao lado de uma narrativa divertida; dentro da própria linguagem dos puzzles, a premissa é virada do avesso e, de forma absurda mas prazerosa, subvertida em várias camadas conforme você se aproxima da solução. Enquanto jogava, parecia que a parte do cérebro responsável por matemática estava rindo
O jogo não te pega pela mão com gentileza, e acho que levou umas 10 horas até eu aprender o bastante da linguagem dos puzzles para ele ficar realmente bom. Nas partes profundas do fim, ele às vezes ficava minucioso a ponto de irritar, mas as cerca de 30 horas do meio foram uma das experiências de gameplay mais satisfatórias que já tive
Pareceu um pouco um anti-Witness. The Witness é meticulosamente justo e tão refinado que, olhando para trás, dá para admirar, mas jogar de fato era bastante formal e sem humor. Baba is You pode ser um pouco frouxo e injusto, mas é acolhedor, divertido e engraçado, e o artesanato dos puzzles também é de altíssimo nível à sua própria maneira
Porém, é só para Windows. Mais recentemente, também saiu um demake para Pico-8, com menos níveis, que dá para jogar no navegador: https://www.lexaloffle.com/bbs/?tid=142638
Ainda só jogamos umas três horas, mas está sendo muito divertido. Como no comentário ao lado, os puzzles frequentemente fazem nós três rirmos, e a mais nova também consegue sugerir e encontrar soluções. Houve até um nível em que a criança de 7 anos pensou na solução antes de mim
Arruinou completamente meus planos de sono ontem à noite e, em poucos minutos, quebrou minha expectativa de “mover o personagem”
Lembra um pouco o jogo de cartas Fluxx, em que as regras mudam a cada carta jogada: https://www.looneylabs.com/games/fluxx
Eu também travo em muitas partes, mas ainda assim consigo recomendar. Há muitos momentos de eureca
Há textos que o autor escreveu antes sobre o aspecto cognitivo mencionado:
https://blog.jtoy.net/examining-concepts-through-different-f...
https://blog.jtoy.net/on-the-wondrous-human-simulation-engin...
https://arxiv.org/abs/2210.12068
O cérebro humano tem pelo menos mais de 12 sistemas de coordenadas diferentes, e esta imagem é uma referência frequente: https://cln.sh/gpqhwrw2Hg92MQz62TY6
Humanos conseguem observar qualquer coisa da perspectiva que quiserem, como um sistema de simulação de videogame em tempo real na mente. Nas redes neurais artificiais, parece faltar a capacidade central de codificar e transformar perspectivas ao processar dados. O simples fato de LLMs básicos falharem na maldição da reversão já mostra isso, e não parece algo que vá ser corrigido simplesmente adicionando mais GPUs e dados de treinamento: https://arxiv.org/abs/2309.12288
No córtex entorrinal humano há neurônios especiais chamados células de grade, que, junto com células do hipocampo, realizam transformações de coordenadas generalizadas. A descoberta das células de grade recebeu o Nobel de Fisiologia ou Medicina: https://www.nobelprize.org/prizes/medicine/2014/advanced-inf...
Pessoalmente, vejo isso como um candidato forte para colocar em uma camada de transformação de coordenadas. Quero criar uma ANN que inclua esse “sistema de transformação de coordenadas”, mas ainda não sei como levar isso para código; é meu projeto dos sonhos
A ideia é que algoritmos e agentes aprendam interagindo com o ambiente por meio de uma percepção egocêntrica semelhante à humana, em vez de aprender principalmente a partir de datasets de imagens, vídeos e textos curados da internet
Curiosamente, não vi esse termo no artigo, mas ele tratava do contraste entre representações egocêntricas e alocêntricas, e isso está no cerne da questão
Acho que um grande desafio da AGI será integrar as duas perspectivas para obter as vantagens de ambas e reduzir os riscos do desequilíbrio. É parecido com a física ao lidar com gravidade e mecânica quântica
Para decisões globalmente ótimas, é necessária uma perspectiva alocêntrica; para permitir autonomia robusta em um ambiente local próprio, também é necessário raciocínio egocêntrico
A aprendizagem de representações multimodais parece, em essência, alcançar em alguma medida operações entre modalidades como as das células de grade. Mas, nos estudos que conheço, a localização física não entra como input. É uma questão diferente de codificação posicional
Um artigo bem recente sobre Clifford Group-Equivariant networks também pode ser interessante. Ele se aplica não só a transformações do espaço-tempo euclidiano, mas também ao espaço-tempo de Minkowski
O instantngp, uma implementação de síntese de novas vistas, ou outros modelos da família NeRF, também podem ser de interesse. Pessoalmente, acho o InstantNGP absurdamente simples em comparação com a maioria das arquiteturas neurais recentes
Sobre o problema da reversão, fico curioso para saber, por exemplo, até que ponto ele ainda se manifesta fortemente em modelos encoder-decoder (T5 etc.) ou em modelos de “autorregressão sem ordem” (como o sigma-GPT da semana passada)
Elas possibilitam um tipo muito semelhante de transformação de coordenadas
Este jogo realmente é de fundir a cabeça
As regras são simples e claras, sem truques especiais escondidos, mas quase todos os puzzles passam de “isso é impossível” para “ah, eu não tinha pensado nisso”. Ele continua despedaçando suas premissas
Já que surgiu a conversa sobre jogos que mudam a forma de pensar ou ajudam a adquirir habilidades, há algo que valha recomendar?
Pessoalmente, o que me ajudou foi xadrez, Vim Adventures e DuoLingo
O xadrez me ensinou desenvoltura, criatividade, cálculo, parar antes de agir e a ficar confortável com estados não resolvidos. Por exemplo, mesmo quando é possível trocar duas ou mais peças, é preciso resistir ao impulso se a simplificação piorar minha posição. Também me fez perceber o quanto distrações e falta de sono afetam a cognição. Se estou muito privado de sono, meu Elo cai 100 pontos; se jogo em um lugar público cheio de distrações, pode cair mais uns 100 pontos
Vim Adventures não é interessante a ponto de eu recomendá-lo como jogo em si, mas tornou suportável repetir teclas do Vim por 3 a 4 horas por dia durante alguns dias, criando memória muscular e me deixando menos desajeitado na maior parte das tarefas de programação
DuoLingo é mais uma ferramenta educacional do que um “jogo”, mas merece menção porque torna aprender uma língua estrangeira muito mais fácil do que por livros ou áudio
Ele incute uma mentalidade logística e faz você pensar primeiro em montar a cadeia de suprimentos antes de fazer qualquer coisa. Isso se torna uma habilidade bastante abstrata e começa a ser aplicado em várias áreas da vida
Em segundo lugar, ao construir uma fábrica que constrói fábricas que constroem fábricas, o pensamento sobe para um nível mais alto de abstração
Em terceiro, você aprende um pensamento polimórfico de alto nível. Produtos que passam por processos diferentes viram coisas completamente diferentes, e alguns deles são realimentados no sistema
Meu tempo de jogo ficou na casa das poucas dezenas de horas, mas ele expandiu meu pensamento de forma concreta. Recomendo muito Factorio
O xadrez também me ajudou a enxergar melhor o futuro próximo. Especialmente quando há um competidor real, mas mesmo sem um
Scrabble me ensinou ainda jovem, como uma lição jogada na cara, que truques espertos e pragmatismo ajudam mais a vencer do que qualidades como “elegância”
Ele traz quebra-cabeças que exigem pensar em termos de fluxo, ensina um pouco de aprendizado de máquina por acaso e aborda coisas que também podem se transferir para tarefas como projetar redes de computadores ou escalar apps em que gargalos são o desafio
Polytopia me parece parecido com xadrez. Há muitas situações em que você precisa se mover com precisão para fazer um ataque ou uma defesa funcionar. Enquanto o xadrez se concentra muito em forças militares e território, Polytopia exige equilibrar forças militares, território, economia e desenvolvimento tecnológico
Esse jogo faz surgir muitas perguntas do tipo “qual é a forma ideal de expandir com esta tribo neste tipo de mapa”, e no fim leva você a tentar respondê-las com pequenos projetos de programação
Ele ajuda nos reflexos e na coordenação mão-olho, mas o mais importante é que cultiva uma mentalidade meio zen. Em vez de se frustrar toda vez que não dá para evitar a milésima morte, você precisa resolver o problema apanhando
Isso vale exceto para as habilidades que você de fato pratica dentro do jogo; o que mais melhora ao jogar xadrez é o seu Elo no xadrez. Ainda assim, há pesquisas em andamento tentando ampliar esse campo: https://link.springer.com/content/pdf/10.1007/s41465-022-002...
Onde jogos — e, mais recentemente, certos apps “educacionais” anunciados em sites e canais do YouTube específicos — certamente ajudam é em aumentar a consciência e a motivação em relação à área científica que abordam
Alguns minutos atrás, ou algumas horas/dias atrás dependendo de quando você ler isto, um conjunto de fases customizadas chamado The Legend of Zelbaba: Linkeke between words foi apresentado na @party 2024: https://scenesat.com/video/atparty
A apresentação em si começa por volta dos 17 minutos da transmissão ao vivo. O pacote de fases está aqui e requer o jogo base: https://gamebanana.com/mods/150971
Fazendo um pouco de divulgação de um projeto paralelo em que venho trabalhando há anos: se você gosta de Baba is You, talvez também curta Pathology ou Sokopath
Dá para jogar no meu site Thinky.gg: https://thinky.gg
O Thinky tem uma comunidade bem ativa que publica fases diárias de empurrar blocos. A dificuldade vai do nível jardim de infância até super-grande-mestre. Também há um editor de fases para publicar níveis customizados para o mundo todo
A parte “acima de tudo, dissolve a barreira entre dados e algoritmos, entre sistemas cognitivos e seu conteúdo, e faz você pensar de outra forma” me lembrou a epifania de quando finalmente entendi Prolog, uns 13 anos atrás
Na época, anotei isso em uma pequena frase com rima:
Entre dados e operação
Não há separação
Para encontrar a mesma verdade simples que define o nível mais baixo da computação, curiosamente é preciso subir até o nível mais alto. E o jogo também é incrível
—Jiddu Krishnamurti, palestra pública em Roma, 28 de outubro de 1973
https://www.krishnamurti.org/transcript/when-the-mind-realis...
Curiosidade: o desenvolvedor deste jogo também fez Noita, outro jogo que é uma maravilha técnica
A melhor descrição para ele é que a maioria dos jogadores não sabe que jogou apenas o tutorial
Baba is You também é igualmente bom como introdução para aprender a mentalidade necessária à escrita de exploits
A Jane Street testa o desempenho dos candidatos em jogos cujas regras mudam durante a partida
Se você trocar “WALL”, “IS” e “STOP” por ícones ou imagens, pessoalmente deixa de ser tão interessante
Pelo menos me lembra Captain Blood: https://www.abandonware-france.org/ltf_abandon/ltf_galeries....
Lá também há sequências de símbolos com mecanismos associados. Se você dispuser os blocos em outra ordem, obtém resultados diferentes
Talvez eu esteja meio ranzinza hoje, mas não entendo muito bem por que esse jogo seria “profundo”
Além disso, o fato de podermos criar significado a partir de um conjunto arbitrário de símbolos e definir esse significado parece mostrar, na verdade, que a linguagem é realmente vazia e que a inteligência está fora da linguagem. A linguagem é apenas uma ferramenta
Não vejo como seria possível manter exatamente o mesmo mecanismo trocando as palavras por ícones; e, se o mecanismo for o mesmo, não sei o que mudaria por serem ícones em vez de palavras