- What if Eye...? é um projeto que reinicia a evolução em um universo parecido com um videogame para investigar computacionalmente os princípios da inteligência visual biológica e novas formas de inteligência artificial
- Os agentes começam com uma única célula sensível à luz e um cérebro pequeno, evoluindo inteligência visual sob física real, restrições corporais e pressão de sobrevivência
- Ao mudar objetivos como navegação e detecção, é possível comparar quais estruturas oculares e comportamentos surgem naturalmente
- Ao ampliar cérebro e olhos em conjunto, aparece um escalonamento por lei de potência, mas, se a visão for o gargalo, aumentar apenas o cérebro deixa de melhorar o comportamento
- Quando genes ópticos são ativados, ópticas em forma de lente aparecem repetidamente, funcionando como uma forma de resolver o trade-off fundamental entre coleta de luz e precisão espacial
Ambiente experimental para reiniciar a evolução da visão
- What if Eye...? parte da premissa de que “a evolução aconteceu uma vez” e reproduz computacionalmente a evolução da visão em um universo parecido com um videogame
- O objetivo não é uma inteligência visual projetada com datasets fixos e vieses humanos, mas fazer com que hardware de detecção e software de percepção, inferência e ação surjam dentro do ambiente
- Os agentes começam apenas com uma única célula sensível à luz e um cérebro pequeno
- Enfrentam condições físicas reais
- Estão sujeitos a restrições por terem um corpo
- Evoluem inteligência visual sob pressão de sobrevivência
- Cada experimento é estruturado como uma hipótese
- Define uma pergunta “what-if” ou uma condição contrafactual
- Evolui agentes corporificados dentro de um motor físico parecido com um videogame
- Observa que tipos de olhos e comportamentos aparecem
Condições em que olhos e cérebro evoluem juntos
- Quando o objetivo da visão muda, os agentes evoluem em um mundo com apenas duas tarefas
- NAVIGATION: o objetivo é mover-se para a esquerda o mais rápido possível, evitando as paredes do labirinto que são obstáculos
- DETECTION: o objetivo é detectar alimento e evitar veneno
- Em condições nas quais o cérebro permanece pequeno durante toda a evolução, ao ampliar sistematicamente o tamanho dos olhos e do cérebro em conjunto, surge um escalonamento por lei de potência entre capacidade neural e desempenho na tarefa
- Essa relação só se mantém quando a resolução visual também é ampliada junto
- Se a resolução visual for o gargalo, aumentar apenas o cérebro não leva a comportamentos melhores
- Em condições nas quais os olhos conseguem refratar a luz, os genes ópticos são ativados
- Sem óptica, uma estratégia de pinhole pode tornar a imagem nítida, mas esbarra em limites por sacrificar luz
- Com óptica, as lentes surgem como uma forma de resolver o trade-off entre coleta de luz e precisão espacial
- O genótipo integrado inclui tanto os sensores visuais físicos, que são o hardware, quanto os componentes de aprendizagem, que são o software
- Genes de forma definem características de amostragem espacial, como a posição dos olhos e o ângulo de visão
- Genes ópticos tratam de interações com a luz, como número de fotorreceptores, elementos ópticos e tamanho da pupila
- Genes neurais especificam a capacidade de aprendizagem
- Ao separar os três clusters de genes para que possam sofrer mutações independentemente, é possível explorar trajetórias evolutivas realistas
Materiais públicos e apresentações
- O projeto oferece artigos, roadmap, apresentações, ferramentas open source e uma exposição pública
- As principais publicações são as seguintes
- Computationally Recreating Vision Evolution: artigo revisado por pares na Science Advances com a configuração experimental completa, resultados e análise evolutiva
- A Roadmap for Generative Design of Visual Intelligence: texto da MIT Press que organiza os motivos, aplicações e abordagens para gerar inteligência visual em vez de projetá-la manualmente
- Designing Imaging Systems with Reinforcement Learning: artigo da ICCV que propõe um método para co-projetar sistemas de imagem e modelos de percepção específicos para tarefas com base em feedback do ambiente
- Emergence of foveal image sampling from learning to attend in visual scene: artigo da NeurIPS mostrando que a amostragem de imagens foveal surge quando se aprende a prestar atenção em cenas visuais
- Designing neural network architectures using reinforcement learning: artigo da ICLR que projetou arquiteturas de redes neurais com aprendizagem por reforço para melhorar o desempenho em tarefas visuais
- The First Signs of Vision: tese de Cathy Chang no MIT sobre uma simulação interativa da evolução da visão animal, da explosão cambriana até hoje
- As apresentações públicas incluem os seguintes itens
- "The Emergence of Convergence in Different Levels of Biology and AI", de Brian Cheung, apresentada no Symposium on the Platonic Space
- "Embodied Eyes For Scientific Discovery: Generation and Verification Loops to ask the "why" questions in vision", de Kushagra Tiwary, apresentada no Redwood Center da UC Berkeley
- "What-If Machines for Vision: Evolving Eyes and Brains with AI", de Kushagra Tiwary, apresentada no Imagination in Action
- Apresentação Tedx que explorou as implicações mais amplas do trabalho de evoluir inteligência visual com agentes artificiais
- Código e itens de exposição também são oferecidos
- Simulator: ferramenta open source que permite executar o simulador evolutivo, definir novas tarefas e evoluir diretamente agentes corporificados
- Colab Notebook: notebook interativo para experimentar Cambrian agents no navegador, ainda previsto para lançamento público
- Video Exhibition: exposição pública e participativa que permite aos visitantes vivenciar diretamente a visão em evolução
- Esta colaboração recebeu apoio do MIT GenAI Impacts of Generative AI Grant
1 comentários
Opiniões no Hacker News
Um professor de ciência da computação do ensino médio uma vez deu uma aula sobre os olhos dos límulos
Ele disse que os olhos dos límulos não enxergam coisas maiores que o campo de visão, então eles comem criaturas pequenas e ignoram as grandes; para isso, usou um modelo de rede neural no Excel
Esse professor era excelente: ensinou como ter curiosidade e insight em ciência da computação, e também apresentou Donald Knuth, TeX etc.
Talvez seja como quando uma pessoa tem à frente um objeto suficientemente grande e uniformemente luminoso, a ponto de ser difícil dizer que ela o “vê”
Dawkins também explica de forma concisa a evolução dos olhos aqui: https://www.youtube.com/watch?v=2X1iwLqM2t0
Essa condição é tão básica que a passagem do zero para “uma camada de células sensíveis à luz” parece quase nada, mas na prática não é
Antes disso, seriam necessárias proteínas fotoreceptoras, um sistema nervoso funcional ou vias de processamento de sinais, um mecanismo que converta a absorção de luz em sinais elétricos, um sistema para coordenar esses sinais com outras partes do organismo etc.
Talvez seja uma pergunta mais de física/ciência da computação do que de biologia, mas fico curioso para saber quanto falta até termos um simulador físico bom o suficiente para fazer, com um organismo inteiro, o tipo de experimento que o MIT fez com olhos
Se um dia isso se tornar possível, e pudermos inserir a física da Terra para obter organismos aproximadamente parecidos com os terrestres, talvez também possamos inserir a física de exoplanetas para descobrir que aparência suas formas de vida teriam
Acho que ainda estamos bem longe de modelar a complexidade de um organismo inteiro. Mas, se o objetivo for responder a perguntas de pesquisa, versões mais simples já podem ser modeladas hoje. Dá para fazer como esta equipe fez ao tratar de como a visão evolui
Recentemente, modelaram C. elegans em 3D incluindo todos os neurônios e neurotransmissores, e ele respondeu a estímulos virtuais como um verme real (https://www.nature.com/articles/s43588-024-00738-w)
Um organismo individual já é possível, mas acho que ainda vai levar mais tempo para que seres assim evoluam em 3D. Para constar, não sou formado em ciência da computação, sou só um entusiasta
Depende de quão preciso você quer que o modelo seja; pensando em um nível idealizado, acho que seria preciso computação quântica para que simulações assim fossem significativas
A ideia de leis como as aplicadas à matemática pode não servir para organismos, porque organismos são explicados por teleologia. O coração não faz o sangue circular por acaso; ele bate para fazer o sangue circular e fornecer oxigênio ao corpo
Além disso, o fato de seres que vivem em climas frios geralmente terem pelos grossos não significa que pelos grossos impliquem um clima frio. Em alguns ecossistemas, mamíferos ocupam o nicho ecológico que aves ocupam em outros; em outros lugares, peixes fazem esse papel. Na Nova Zelândia, aves chegam a ocupar nichos que, em outros ecossistemas, seriam ocupados por mamíferos
Não sei se a biologia pode ser uma ciência puramente indutiva
Há também uma categoria bem divertida de vídeos relacionados no YouTube: https://www.google.com/search?q=simulating+evolution+muscles
Em geral são em 2D ou envolvem grandes simplificações. Se tentarmos evoluir organismos “reais”, a complexidade provavelmente explodirá muito rápido, mesmo ignorando o “cérebro”
Isso me lembrou o “Autoverse” de Permutation City (1994), de Greg Egan. Se você gostou deste texto, recomendo muito
Um fato interessante relacionado à evolução dos olhos: o ponto preto visível nos olhos das libélulas não é uma pupila que acompanha o observador nem uma mudança no próprio olho
Na verdade, você está olhando de frente para a estrutura em colunas do olho da libélula. Ela captura luz de modo muito eficiente e por isso parece preta, chegando muito perto do limite físico em termos de eficiência
Pela minha experiência criando simuladores de vida artificial nos anos 90, há partes demais que dependem de parâmetros colocados no modelo por quem escreveu a simulação
Se você começa com células sensíveis à luz e cria um algoritmo genético que recompensa agentes que passam bem por um labirinto, no fim algum agente acaba “evoluindo” para usar várias células fotossensíveis como olhos
Fica a dúvida se isso realmente ensina algo sobre evolução ou vida, ou apenas sobre a simulação que foi configurada
Isto está mais para um modelo do que para uma simulação: um modelo que tenta explicar um fenômeno real específico da forma mais concentrada e concisa possível
O que se pode extrair daqui é que dois tipos de olhos, os olhos compostos e os olhos do tipo câmera, podem ser modelados por um conjunto de 3 tarefas específicas, junto com um mínimo de elementos anatômicos ajustáveis
Então pode ser de fato útil comparar e contrastar as evidências claras produzidas pelo modelo e ver como essa explicação se encaixa com explicações menos definitivas obtidas por métodos da biologia evolutiva
Uma boa analogia seria ver se gates, latches e clocks bastam para explicar o “surgimento” de uma microarquitetura superscalar moderna. Isso não quer dizer que seja necessário modelar todo o caos analógico que aparece ao empurrar altas frequências para circuitos físicos
Acho que a pergunta adequada é se esse conhecimento é totalmente inútil ou se pode ajudar em alguma coisa mais tarde
Para um título como “desde o começo”, eu esperava ver até mesmo um fotoreceptor único evoluindo a partir de outra coisa
Enquanto resolvem o problema do outro lado, espelhei o site temporariamente aqui: https://cambrian.pages.dev/
Como o site parecia quebrado (o repositório foi apagado?), tive que ir para este endereço: https://eyes.mit.edu/ACI/
E o artigo tratado por esse site está aqui: https://arxiv.org/pdf/2501.15001
Sou o autor. Se tiverem curiosidades, posso responder