Vídeos de IA que evoluem para ativar ao máximo regiões-alvo do cérebro

• NEvo usa um gêmeo digital do cérebro, que prevê a resposta de áreas visuais, como modelo de recompensa para evoluir, em um ambiente in silico, vídeos que maximizam a ativação prevista de regiões específicas
• Elementos como assunto, iluminação, movimento e atmosfera são representados como genes, e a geração, avaliação, seleção, cruzamento e mutação de vídeos candidatos se repetem ao longo de várias gerações
• Para reduzir o custo computacional, o método usa uma abordagem em 2 etapas: primeiro encontra a imagem estática mais forte e depois explora o movimento separadamente para transformá-la em um vídeo de 2 segundos
• Os vídeos sintéticos coincidiram com a conhecida seletividade regional — como rostos para a FFA, lugares para a PPA e movimento para a MT — e registraram ativações maiores do que vídeos localizadores feitos manualmente e do que os melhores vídeos naturais
• Ao longo da via visual lateral, de V1 até a aSTS, os estímulos preferidos passam de padrões simples e movimento para pessoas, rostos e interações sociais, com fortalecimento gradual de características sociais e dinâmicas

---

Evolução de vídeos usando gêmeos digitais como recompensa

• Um gêmeo digital, como modelo de codificação do cérebro, é treinado para prever a resposta de cada área visual a vídeos arbitrários, e a resposta prevista da região escolhida é usada como recompensa do NEvo
• Cada vídeo é descrito por um pequeno conjunto de genes, como assunto, iluminação, movimento e atmosfera
  • Após gerar um lote de vídeos candidatos, o gêmeo digital calcula a pontuação de cada um
  • Os candidatos com pontuação alta são mantidos e passam por cruzamento e mutação
  • Esse processo se repete por várias gerações para aumentar a ativação prevista
• Para evitar o custo de explorar imagens e vídeos ao mesmo tempo, é feita uma busca em 2 etapas
  • Primeiro, encontra-se a imagem estática individual mais forte
  • Em seguida, o movimento é explorado para animar essa imagem em um vídeo de 2 segundos
• Os estímulos são sintetizados tanto para regiões de interesse (ROI) padrão na superfície cortical quanto para densas regiões searchlight
  • O exemplo da PPA obteve pontuação 0.767, equivalente ao percentil 100.0 em relação a imagens naturais
  • O exemplo da searchlight rh_5 obteve pontuação 1.124, equivalente ao percentil 100.0 em relação a imagens naturais

Seletividade por região e mudanças na via visual lateral

• Os vídeos de 2 segundos sintetizados para cada região correspondem aos estímulos que se sabe que essa área prefere
  • A FFA responde a rostos, a PPA a lugares e a EBA a corpos
  • A MT prefere movimento, enquanto V1·V3A preferem padrões
  • pSTS·aSTS respondem a cenas sociais animadas
• Os vídeos do NEvo induziram ativações maiores, em todas as regiões, do que vídeos localizadores feitos manualmente e do que os vídeos naturais mais fortes
• Em todas as regiões, vídeos em movimento mostraram respostas maiores do que o primeiro quadro fixo do mesmo vídeo, confirmando a preferência por estímulos dinâmicos
• Ao mover a searchlight de V1 em direção à aSTS, os estímulos sintetizados e as nuvens de palavras geradas automaticamente mudam de padrões simples e movimento para pessoas, rostos e interações sociais
  • Surge um gradiente de aumento gradual de características sociais e dinâmicas ao longo da via visual lateral
• Mesmo em experimentos iniciados com discos abstratos empilhados, as características preferidas de cada região se separaram
  • A otimização para pSTS produziu personagens que parecem rostos e interagem entre si
  • A otimização para MT gerou movimento puro

[GN⁺]

Opiniões no Hacker News

• A próxima etapa das redes sociais só pode ser assustadora. Mesmo hoje, elas já escolhem, entre milhões de vídeos reais, os vídeos curtos mais viciantes para cada usuário, mas eles não são perfeitos porque são como dardos lançados aleatoriamente no espaço de possibilidades de capturar o usuário
  Agora, com IA, será possível gerar vídeos viciantes personalizados que apertam com precisão todos os interruptores no cérebro do espectador e o mantêm preso por dias, como um zumbi. Espero que a regulamentação pressione as redes sociais com força suficiente para que elas nem sequer ousem implantar esse tipo de tecnologia
  • Uma ameaça maior que as redes sociais são Anthropic, OpenAI e Google, às quais as pessoas entregam até seus pensamentos mais íntimos. A manipulação psicológica personalizada em larga escala que produtos de IA em nuvem podem oferecer ainda não apareceu de fato, e acho que, com tempo suficiente, pessoas como Dario Amodei ou Sam Altman acabarão mostrando isso
    A tendência bajuladora do GPT-4o e a crise de psicose por IA podem ter sido um trailer, mas aquilo também não passou de otimização simples de engajamento
  • O que fazem com nossos cérebros e com nossas crianças para espremer o último centavo até a Terra queimar não é diferente do que fazem com os porcos dentro de nós
  • Talvez seja melhor esperar que as pessoas caiam em si e parem de abrir esses sites do que esperar por regulamentação
  • É surpreendente que Infinite Jest, de David Foster Wallace, ainda não tenha aparecido nesta discussão. Eu também comecei a ler há alguns anos, mas ainda não terminei
• Independentemente das implicações sociais e morais, estou curioso sobre a comprovação empírica do artigo. Eles treinaram um gêmeo digital, um modelo de codificação que prevê como cada área visual responderá a vídeos arbitrários, e então o NEvo usa esses valores previstos como recompensa para buscar automaticamente vídeos que ativem ao máximo a área selecionada
  Mas não encontrei se eles verificaram, medindo pessoas reais com MRI, se os vídeos gerados produzem o mesmo padrão de ativação cerebral que o gêmeo digital. Sou cético quanto à própria possibilidade de um modelo que preveja de forma confiável a ativação cerebral a partir de vídeos
  • Coletar um pequeno conjunto de validação com humanos é quase trivialmente fácil, então é suspeito que não tenham feito isso. Na nossa instituição, o custo de escaneamento é de cerca de US$ 800 por hora, e 30 minutos provavelmente bastariam para obter dados suficientes para validar o modelo
    Metodologicamente, eles ajustaram o V-JEPA2 aos dados de fMRI com regressão ridge por voxel, o que pressupõe que as respostas visuais atuem de forma independente em cada voxel. Modelos por voxel são bons para inferência estatística, mas são fracos para previsão e modelagem porque o cérebro não funciona como um conjunto de áreas independentes. O sinal BOLD é um dado extremamente bagunçado, e o desenho parece simples demais para refletir a realidade
  • Sinais que a fMRI não capta não entram no gêmeo digital mesmo que pareçam semelhantes na tela, então há viés do experimentador dentro da máquina, e também me pergunto se ainda resta alguma falseabilidade nesse método
    Entradas sensoriais reais, lembradas, virtuais e imaginadas são tratadas de maneiras muito diferentes pelo cérebro e pelo pós-processamento sensorial. O gêmeo digital tem apenas parte dos dados, então é provável que só reproduza padrões superficiais; com exposição repetida suficiente, circuitos que antes disparavam juntos podem até ser religados de forma difícil de perceber. Ainda assim, é interessante que o próprio artigo praticamente reconheça essas limitações em linguagem científica
  • A. Se você não considera a neurociência em si uma ciência imoral, não há um problema intrínseco nesse tipo de pesquisa. Como neurocientista, sou fortemente contra insinuar decadência moral sem fundamento
    B. Gêmeos digitais são uma área em crescimento de simulação cerebral que consegue aproximar padrões de atividade cerebral em larga escala, mas ainda não chega ao nível de simular o cérebro real exatamente. Em geral, usam modelos neuronais aproximados, como integrate-and-fire, e o equilíbrio entre populações excitatórias e inibitórias, além de estimar as conexões axonais de substância branca do participante por imagem de difusão para aumentar a precisão. Eles também vêm sendo cada vez mais usados para modelar, antes de cirurgias reais, como uma intervenção afetaria a propagação de crises epilépticas. A esse respeito, é bom o episódio sobre The Virtual Brain do podcast Theoretical Neuroscience
    C. A validação foi feita apenas parcialmente. O NEVO otimizou respostas neurais apenas dentro do modelo de codificação do gêmeo digital, e esse gêmeo digital teria mostrado validade preditiva considerável, mas é diferente do modelo Virtual Brain mencionado acima. A saída é neurobiologicamente plausível, mas não há um modelo independente nem novos resultados de fMRI mostrando que os estímulos otimizados ativam de fato as regiões-alvo. Como o estudo foi feito com dados de fMRI existentes, uma validação completa é o próximo passo natural, e este artigo pode ajudar a obter o financiamento necessário
    D. Estímulos estáticos que ativam, em média, regiões cerebrais específicas acima da linha de base já podiam ser criados há muito tempo. A variação individual depende do par estímulo-região; a área fusiforme de faces (FFA) é pequena, então precisa ser localizada com estímulos faciais individualizados em vez de uma abordagem simples por região de interesse, mas em geral sua posição pode ser identificada de forma estável. Medidas de atividade cerebral são bastante grosseiras, como os voxels de cerca de 3×3×3 mm da fMRI e a resposta hemodinâmica com grande autocorrelação espacial, ou o campo receptivo de cerca de 400 mm² do EEG. Gêmeos digitais modelam bastante bem a dinâmica nessa resolução, e nesse nível não há tanta informação assim, portanto automatizar isso com vídeo não é um salto absurdo
• Isto é muito parecido com a discussão da semana passada sobre a startup de leitura cerebral, então é preciso ler o artigo antes de reagir. Essa ferramenta tenta reduzir o viés do experimentador que surge quando um pesquisador decide “esta área provavelmente tem tal função, então vamos mostrar o vídeo X”, e tenta esclarecer a função de cada parte do cérebro
  Depois de fazer o participante assistir a vários vídeos por horas dentro do scanner, o modelo cria sua própria representação dos dados e procura a entrada à qual uma região específica responde com mais força. É uma generalização da pesquisa cerebral tradicional, que vem apresentando estímulos e registrando respostas cerebrais para entender o que são o ser humano e a cognição
  • O “propósito” de uma pesquisa não é apenas aquilo para o qual as pessoas gostariam que ela fosse usada? Tenho dúvidas sobre o quanto se pode controlar para que ela será usada de fato
  • Preciso de um link ou mais informações para saber o que é essa startup de leitura cerebral mencionada aqui
  • Esse tipo de pesquisa também ajuda a Moonbug Entertainment (Candle Media) a criar um Distractatron melhor. O método seria repetir, em uma TV pequena a alguns metros de distância da tela grande, cenas banais de 20 segundos, como alguém servindo café ou cortando o cabelo, e registrar cada vez que a criança desvia o olhar de um programa da Moonbug

O Distractatron em si não é muito interessante, mas pode identificar o momento exato em que a concentração se dispersa e melhorar o conteúdo. Isso aparece em detalhes em uma matéria do New York Times e em uma matéria da New Yorker

• Mesmo que esta pesquisa e a intenção dos pesquisadores não sejam imorais em si, podem levar a consequências terríveis. A tecnologia nuclear também foi desenvolvida inicialmente com boas intenções e trouxe muitos benefícios à humanidade, mas, no fim, os atores mais perigosos acabaram com grandes quantidades de armas nucleares
• Tenho um exemplo pessoal de como pode ser perigoso usar em excesso uma parte do cérebro. Meu tio, que cuidava da minha tia com demência, sempre foi uma pessoa competente, estável e confiável, mas acabou desmoronando mentalmente e teve mania
  Por mais de um ano, ele precisou ficar em alerta 7 dias por semana, com medo de que minha tia fizesse algo perigoso, como ligar o fogão a gás, e o sistema de vigilância de riscos do cérebro foi explorado sem parar. Reconheço que esta pesquisa é científica, mas, se não for fortemente controlada, certamente surgirá alguma empresa tentando fazer um ataque tipo Rowhammer no cérebro das pessoas
  • É mais provável que a causa tenha sido estresse, não excesso de trabalho. O estresse pode desencadear episódios maníacos em pessoas com predisposição biológica, e o fardo de ver o cônjuge desenvolver demência e de repente assumir cuidados em tempo integral é enorme
    Olhando para trás, talvez já houvesse episódios hipomaníacos, como redução do sono, paranoia leve e produtividade excessiva intermitente. Se isso foi recente, espero que ele tenha se recuperado bem; a geração mais recente de medicamentos para prevenção e tratamento da mania melhorou muito em relação ao passado
  • Esta pesquisa ajuda a entender o cérebro e a modelar melhor, por exemplo, áreas candidatas para cirurgia de epilepsia, mas não serve de base para leitura da mente. Se chegarmos ao ponto em que empresas tentam nos fazer viver dentro de um aparelho de MRI para ativar de forma confiável regiões do cérebro com estímulos específicos, já teremos problemas maiores
    Ainda assim, em até 20 anos talvez seja possível uma ampliação cerebral que vá além de eletrodos de EEG no couro cabeludo, combinando chips implantados com eletrodos neurais e computação de IA em rede. No início, o cérebro usaria a interface para ampliar a inteligência, mas, se a direção de controle for invertida por manipulação remota, a manipulação cerebral temida pode se tornar realidade. No entanto, esta pesquisa está a anos-luz desse cenário, então é difícil fazer essa conexão, a menos que se seja contra toda tecnologia
  • O que provavelmente ficou continuamente ativado no seu tio não foi o excesso de trabalho, mas a resposta de luta ou fuga em uma situação de cuidado imprevisível
• A busca automática por estímulos supranormais visuais tem grande probabilidade de levar a resultados ruins
  Isso lembra estímulos supranormais e o conto BLIT. Uma das animações V3A é vagamente parecida com algo que eu via à noite, quando criança, logo antes de dormir, mas naquela época era algo mais próximo de uma forma circular
  • Em termos ao estilo SCP, isso poderia ser chamado de cognitohazard. Uma teoria matemática sobre por que as pessoas alucinam também tem relação
    Em ambientes de cuidado a pessoas com deficiência intelectual, usa-se luz forte e outros estímulos para acalmar e controlar, e sei que pessoas autistas são fortemente estimuladas por cores vivas. Não dá para garantir que o restante das pessoas não seja vulnerável a esse tipo de estímulo de controle
  • Assim como em Harry Potter havia um alerta de que aproveitar a sorte em excesso também é perigoso, há uma semelhança no fato de que estímulos visuais positivos em excesso também podem ser perigosos
• Muita gente vê online, por um instante, imagens cruéis e depois passa a vida querendo esquecê-las. As imagens que esta tecnologia pode criar podem ser realmente horríveis, e o nível que o cérebro não consegue suportar talvez seja muito pior do que vimos até agora
  • Dá para imaginar um futuro em 9 de junho de 2032 em que a startup de biotecnologia ReMind alcança um IPO recorde após uma demonstração chocante e testes em pequena escala. Eles promoveriam a ideia de que a câmera na tela identifica a pessoa que se aproxima e, com base em materiais passados, gera a imagem com o impacto mais intenso no cérebro dela, gravando a memória com 83% de precisão média após uma única visualização
    Poderiam lançar o ReMind Long-term, que dá uma impressão parecida com “trauma” para criar memórias publicitárias de longo prazo, e o ReMind Short-term, que funciona como uma versão visual de uma música grudenta para promoções por tempo limitado. Um futuro brilhante em que anunciantes encomendam dezenas de milhares de peças e elas são imediatamente colocadas em supermercados, elevadores, postos de gasolina, entretenimento de bordo e outdoors públicos
  • Estamos ficando cada vez mais próximos do Langford's Basilisk
• Entre minhas ideias secretas de pesquisa, esta está entre as mais perigosas e moralmente erradas. Se as gerações futuras perguntarem por que a avaliação por IRB se tornou obrigatória em pesquisas de ciência da computação, estudos como este serão a resposta
  Há pesquisadores que não percebem em que momento estão se tornando Fritz Haber
  • A tecnologia, de modo geral, sempre reduziu nossa liberdade
• Estão tentando realmente criar Snow Crash? Explicação relacionada
• Os algoritmos de feed das redes sociais já fazem isso em larga escala, então nem é necessário conteúdo gerado. No mar de conteúdo criado por usuários, já há material suficiente que chegou ao nível máximo de ativação
  • O plano é tirar os criadores de conteúdo do processo, reduzir a divisão de receita e aumentar os lucros
  • Otimizar engajamento e otimizar a ativação de uma região cerebral específica de uma pessoa específica são objetivos de categorias diferentes
• O processo de descobrir como chamar a atenção das pessoas não é novo. Desenhos animados dos anos 1950 já faziam o cérebro “ficar sentado assistindo” com animais fofos, cortes curtos e rápidos e músicas cativantes
  Os grupos focais da publicidade evoluíram para testes A/B que buscam preferências reveladas, e pesquisas sobre gordura, sal e açúcar deram origem a fast-foods quase viciantes. Esta tecnologia é apenas o próximo passo lógico
  • Livros também são projetados para prender o leitor, e no passado faziam aos livros as mesmas críticas que hoje se fazem às telas. Acho mais importante entender o pânico emocional em que as pessoas entram por conta própria do que a tecnologia