Codificação simultânea de dois fluxos de fala no cérebro confirmada por EEG

• A análise de EEG de 24 adultos com audição normal mostrou que, ao mudar a atenção, o rastreamento neural do novo falante começa antes de se desligar do falante anterior, de modo que as duas vozes ficam temporariamente representadas ao mesmo tempo
• Os envelopes de fala dos dois falantes e as informações de início e previsão de palavras foram modelados com funções de resposta temporal (TRF), e mesmo com uma janela de decodificação de 1 segundo foi possível identificar com precisão significativamente acima do acaso qual era o falante atendido
• O engajamento com o novo falante começou e terminou significativamente antes do desligamento do falante anterior, e essa assimetria entre engajamento e desligamento se manteve em janelas deslizantes de 1, 2, 4, 8 e 16 segundos
• Após a mudança de atenção, a potência na banda alfa do EEG diminuiu, e o ponto mínimo apareceu mais tarde que o ponto de transição na codificação da fala, mostrando uma relação temporal entre o rastreamento do novo falante e o esforço de escuta
• Ao comparar quatro estratégias de contexto lexical com o Mistral-7B-v0.1, a entropia do modelo Reset, que descarta o contexto anterior, foi a que melhor previu o EEG, embora isso não permita concluir que humanos também reiniciem o contexto

---

Pergunta de pesquisa e desenho experimental

• Em ambientes com várias pessoas falando, é preciso manter a atenção em um falante e ao mesmo tempo mudar rapidamente para outro, mas os estudos neurofisiológicos anteriores se concentraram principalmente na atenção sustentada
• A mudança de atenção foi dividida em desligamento (disengagement), quando o rastreamento neural do falante anterior diminui, e engajamento (engagement), quando o rastreamento do novo falante aumenta, para investigar a relação temporal entre os dois processos
• Participaram 24 falantes nativos de inglês, com audição normal, entre 18 e 39 anos, sem histórico de transtornos neurológicos ou psiquiátricos e com visão normal ou corrigida
• Seis alto-falantes foram dispostos em círculo com raio de 1,5 m
  • Nas posições frontais esquerda e direita, a ±30°, foram reproduzidas duas falas diferentes de TED Talks, cada uma a 60 dB SPL
  • Nos quatro alto-falantes traseiros, foi reproduzido ruído babble de 16 falantes, composto pela mistura de 4 pessoas em cada caixa, a 54 dB SPL, definindo a SNR de fundo em relação ao primeiro plano em 3 dB
• Os participantes realizaram 20 testes de 180 segundos e, seguindo setas na tela, mudaram a atenção 6 vezes entre os falantes da esquerda e da direita em cada teste
  • Os intervalos de atenção sustentada foram definidos de forma semialeatória
  • Foram usados 40 TED Talks, com 20 vozes masculinas e 20 femininas, como estímulos de primeiro plano
  • Após cada teste, os participantes responderam sobre compreensão do conteúdo, falante preferido e dificuldade da mudança

Resultados comportamentais e decodificação da atenção

• Por um problema técnico, os dados comportamentais de uma pessoa se perderam; entre os 23 participantes restantes, a acurácia média nas perguntas de conteúdo foi de 86,3%
• A preferência pela voz da esquerda ficou equilibrada, com média de 49,79%, e a dificuldade de mudança teve média de 3,1 pontos em uma escala de 1 a 5
• O EEG de 64 canais foi registrado a 512 Hz, pré-processado e reamostrado para 64 Hz, e a relação linear com atraso entre fala e EEG foi modelada com funções de resposta temporal (TRF)
• Com uma TRF inversa, o envelope de fala atendida foi reconstruído a partir do EEG e comparado por correlação com as vozes da esquerda e da direita
  • Foram usadas janelas de decodificação de 1, 2, 4, 8, 16 e 32 segundos
  • Janelas mais longas aumentaram o desempenho de classificação, mas todas as condições, incluindo a janela de 1 segundo, ficaram significativamente acima do 95º percentil da distribuição ao acaso obtida com 100 embaralhamentos dos rótulos
• Mesmo em situações dinâmicas de mudança, a reconstrução do envelope de fala a partir do EEG permitiu rastrear de forma estável o falante atendido

O engajamento com o novo falante é mais rápido que o desligamento do anterior

• A TRF multivariada direta incluiu envelope de fala, início de palavras e surpresa lexical, e a correlação entre EEG real e EEG previsto foi calculada com janela deslizante
• Antes da mudança, a fala do falante anterior era mais fortemente rastreada; depois da mudança, o rastreamento do novo falante se tornou mais forte, em linha com a instrução visual de atenção
• 21 participantes que mostraram um viés confiável de atenção acima de 50% antes e depois da mudança foram usados na análise temporal
  • Para os participantes excluídos, não foi possível estimar os pontos de início e fim do desligamento e do engajamento
  • Em análises posteriores incluindo os 3 excluídos, o padrão qualitativo de engajamento mais precoce foi mantido, mas a significância estatística desapareceu
• Regressões lineares segmentadas foram aplicadas às correlações de predição de EEG de cada participante para estimar os pontos de início e fim do desligamento e do engajamento
  • Na janela de 4 segundos, o engajamento com o novo falante começou significativamente antes do desligamento do falante anterior
  • O fim do engajamento também ocorreu significativamente antes do fim do desligamento
• Mesmo analisando em conjunto janelas de 1, 2, 4, 8 e 16 segundos, a assimetria entre engajamento e desligamento permaneceu
  • Quanto maior a janela, mais longo foi o tempo de transição estimado
  • A suavização temporal da janela deslizante pode alongar a transição, mas não cria por si só a assimetria entre os dois processos
• No curto intervalo em que o rastreamento do novo falante aparece antes da redução do rastreamento do falante anterior, os dois fluxos de fala ficam representados neuralmente ao mesmo tempo

Banda alfa e esforço de escuta

• A variação espectral relacionada a evento (ERSP) na banda alfa de 8 a 12 Hz ao redor da mudança de atenção foi usada como indicador de esforço de escuta
• Durante a mudança, a potência alfa diminuiu significativamente na região occipito-parietal, e uma grande queda foi medida cerca de 4,5 segundos após o sinal de mudança
• Na janela de 4 segundos, o ponto mínimo da ERSP alfa ocorreu significativamente depois do ponto de transição de codificação, em que as correlações de predição de EEG dos dois falantes se cruzam
  • A mesma ordem foi mantida em diferentes tamanhos de janela
  • O ponto mínimo alfa correspondeu aproximadamente ao momento em que o engajamento com o novo falante se completou, e ocorreu antes da conclusão do desligamento do falante anterior
• Essa relação temporal deixa em aberto a possibilidade de que a potência alfa esteja ligada ao esforço de refocalizar no novo falante, à supressão ativa do novo falante distrator ou a uma combinação dos dois processos
• Quando o contexto acústico e linguístico do novo fluxo se acumula o suficiente, o rastreamento pode ficar mais fácil e liberar recursos cognitivos, mas isso exige validação adicional conforme a dificuldade da mudança

Quatro modelos de contexto lexical

• Como, ao mudar o alvo da atenção, também muda o contexto semântico usado na previsão lexical, a surpresa lexical e a entropia das palavras foram calculadas com o Mistral-7B-v0.1
  • Surpresa lexical indica o quanto a palavra atual é inesperada com base no contexto anterior
  • Entropia indica a incerteza na previsão da próxima palavra
• Foram comparadas quatro estratégias de acúmulo de contexto
  • Oracle: usa todas as falas anteriores do falante atual, independentemente de terem sido atendidas, e não reconhece a mudança
  • Speaker-Specific: usa apenas os trechos anteriores atendidos do mesmo falante
  • Attention: usa todos os trechos anteriormente atendidos, independentemente do falante
  • Reset: descarta todo o contexto anterior à mudança e acumula novo contexto apenas no trecho de atenção atual
• Logo após a mudança, a entropia do modelo Reset subiu mais fortemente e depois caiu à medida que as palavras continuavam
  • Attention e Speaker-Specific foram parecidos entre si e mais estáveis
  • O Oracle, que não reconhece a mudança, quase não mostrou variação antes e depois da transição
  • Na média geral, a entropia do Reset ficou acima da do Oracle e abaixo da de Attention e Speaker-Specific, em um nível intermediário

Resultados de predição de EEG do modelo Reset

• Em comparação com a TRF de referência que usava apenas características acústicas, os modelos Speaker-Specific, Attention e Reset com entropia adicional mostraram melhora significativa de predição, mas o Oracle não mostrou melhora
• Também com surpresa lexical, a codificação de informação semântica foi confirmada nos três modelos, exceto no Oracle
• Contra a expectativa, o modelo Reset baseado em entropia teve correlação de predição de EEG significativamente maior que Oracle, Speaker-Specific e Attention
  • A amplitude TRF-N400 entre 350 e 550 ms foi menor no Reset do que nos outros três modelos
• Na análise baseada em surpresa lexical, o Reset foi maior que o Oracle, mas as comparações entre os demais modelos não foram significativas, e também não houve diferença significativa na amplitude TRF-N400
• A diferença entre entropia, que reflete a incerteza sobre a palavra seguinte, e surpresa lexical, que reage à palavra já apresentada, pode ter influenciado os resultados
  • Os participantes recebiam um sinal de mudança e, portanto, esperavam que outra fala viesse em seguida, mas o LLM não recebia esse sinal, então a surpresa lexical humana e a do modelo podem não coincidir
  • O Mistral foi otimizado para prever a próxima palavra, não para ter validade neurofisiológica
• Os resultados são compatíveis com a possibilidade de que humanos reiniciem o contexto lexical na mudança, mas também deixam aberta a possibilidade de que humanos e LLMs tratem descontinuidades na fala de maneiras totalmente diferentes

Limitações e possíveis aplicações

• Como os tempos de engajamento e desligamento calculados com janela deslizante dependem do tamanho da janela, eles devem ser interpretados não como tempos absolutos de processamento neural, mas como tempos relativos entre processos
• A tarefa de mudança guiada é menos natural que uma conversa real e pode induzir os participantes a monitorar a fala distratora, criando estratégias diferentes das usadas em tarefas de atenção sustentada
• A assimetria pode variar conforme carga cognitiva, idade, capacidade cognitiva, problemas auditivos, interesse no conteúdo da fala, frequência das mudanças e características da tarefa
• Em vez de descartar completamente o contexto anterior, também é possível que ele seja mantido de forma abstrata, como um resumo do sentido geral da história
  • É possível comparar modelos como o Large Concept Model, otimizado para prever sentenças, ou modelos que combinam contexto curto de tokens com resumos do passado
• O método que separa mudanças de codificação por fala é mais detalhado do que uma simples classificação de atenção e pode ser aplicado a pesquisas com aparelhos auditivos guiados por controle cognitivo e a comparações entre grupos de idade e audição
• EEG pré-processado, arquivos de análise, código e estímulos de fala estão disponíveis no Zenodo

[GN⁺]

Comentários do Hacker News

• Isso me lembrou a história de Richard Feynman experimentando o que conseguia fazer ao mesmo tempo em que contava 60 segundos de cabeça. Feynman conseguia ler enquanto contava, mas não conseguia falar; John Tukey, por outro lado, conseguia falar, mas não ler
  Era porque Tukey visualizava uma fita enquanto contava os números, e Feynman falava consigo mesmo internamente. A conclusão foi que, mesmo para a mesma tarefa de contar números, o processo mental varia de pessoa para pessoa, e que isso pode ser verificado objetivamente observando o que cada um consegue ou não consegue fazer enquanto conta
  Feynman também considerou a possibilidade de que ele, que via as letras das equações como cores, e seus alunos percebessem as funções de Bessel de maneiras completamente diferentes
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Quando eu colocava minha filha para dormir, costumava segurá-la no colo e cantar enquanto contava 300 passos; se eu visualizasse os números em vez de usar um monólogo interno, conseguia cantar e contar ao mesmo tempo. Exigia mais concentração, porém, e agora, vendo minha filha dormir sozinha, às vezes sinto saudade daquela época
  • Desde que eu não esteja lendo texto, consigo acompanhar um audiolivro sem muita concentração. Acho que não consigo ouvir audiolivro e ler ao mesmo tempo porque faço subvocalização ao ler; prefiro ler sentindo cada palavra, em vez de tentar leitura dinâmica
  • Parece ter relação com o fato de os hemisférios esquerdo e direito do cérebro serem responsáveis por funções cognitivas diferentes e pelos movimentos do lado oposto do corpo, comunicando-se pelo corpo caloso. Em pacientes de cérebro dividido, com o corpo caloso seccionado, os dois hemisférios às vezes agem de forma independente, como mostram os experimentos de Michael Gazzaniga e Roger Sperry
    O experimento de Feynman mostra que é possível verificar externamente os modos de processamento interno que cada pessoa desenvolveu; e a sensação de cores em símbolos matemáticos talvez seja resultado de o hemisfério direito atribuir identificadores próprios a problemas lógicos do hemisfério esquerdo
  • Fico me perguntando se a razão de eu não conseguir trabalhar, ler e me concentrar ouvindo música é a mesma, ou se é porque a música toma toda a minha atenção
  • Ler enquanto cantava uma canção de ninar para uma criança foi bem fácil, mas tentar falar enquanto contava números mentalmente foi impossível, como se eu tivesse batido numa parede

• Consigo ler livros infantis em voz alta enquanto continuo uma linha de pensamento totalmente separada. Às vezes, porém, erros escapam para a leitura em voz alta, como substituir palavras pelas do outro pensamento

  • Quando meu pai, que é físico, começava a adormecer lendo um livro, a história de repente deixava de fazer sentido e ficava cheia de termos de física difíceis, então dava para perceber na hora
  • Leio para meu filho todas as noites e consigo pensar em outro problema por uns 15 minutos, mas nesse estado não acompanho o enredo. No momento em que a criança pergunta “Papai, por que você roubou a bicicleta?”, toda a farsa desmorona
  • Lendo para meus filhos dezenas de livros, incluindo os de Enid Blyton, consigo pensar ao mesmo tempo em trabalho, tarefas domésticas etc. Muitas vezes não acompanho nada do que li por alguns minutos e preciso recomeçar; parece que a rota dos olhos e da boca, o loop fonológico, funciona de forma independente das rotas cognitivas de memória, processamento e execução
  • Na escola, quando líamos o livro didático em rodízio, eu me concentrava apenas na voz e na entonação de acordo com a pontuação. Ao terminar um parágrafo, precisava relê-lo em silêncio para entender o conteúdo; até hoje, para ler em voz alta compreendendo textos complexos, preciso usar os dois fluxos de processamento
  • Quando uso mais recursos cognitivos em outro pensamento, às vezes percebo que continuei lendo em voz alta sem nenhum esforço consciente

• Como piloto e operador de radiocomunicação, sempre consegui processar dois fluxos de fala ao mesmo tempo, então o resultado não me surpreende

  • Controladores em centros de controle e TRACON monitoram várias frequências em ambos os ouvidos e precisam processá-las mesmo quando um piloto encobre a comunicação em outra frequência. Durante passagens de responsabilidade ainda precisam se comunicar internamente, e o conteúdo das transmissões não é conversa sobre churrasco de fim de semana: tem densidade de informação no nível de METAR
  • Como professor, há momentos em que converso com várias crianças ao mesmo tempo. É possível quando não exige concentração profunda, mas é cansativo, então tento evitar
  • Fico curioso se várias vozes no headset são ouvidas sobrepostas no centro ou em mono, ou se ficam separadas entre o ouvido esquerdo e o ouvido direito

• Várias práticas de mindfulness parecem tentar silenciar a voz interna ao colocar a atenção em dois lugares ao mesmo tempo. Em The Fourth Way, de George Gurdjieff, e nos registros de P. D. Ouspensky, descreve-se que focar em dois objetos e saturar o fluxo de atenção provoca uma mudança de consciência semelhante à meditação
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • Talvez seja por isso que ouvir uma fuga seja tão prazeroso

• Na época da faculdade, em festas, eu costumava participar de várias conversas ao mesmo tempo, circulando entre grupos. Não era por eu ter uma habilidade extraordinária, mas porque eu ouvia todas as conversas ao redor e, quando vários grupos falavam de coisas interessantes, eu não queria perder nenhum lado, então ficava indo e voltando entre conversas

• Se não conseguíssemos processar vários fluxos sensoriais, não poderíamos monitorar perigos no ambiente de fundo nem fazer troca de contexto. A experiência consciente e o processamento que acontece em segundo plano são coisas diferentes

  • Processar vários fluxos e processá-los continuamente ao mesmo tempo são coisas diferentes. Como uma CPU single-core lidando com várias threads, a primeira coisa pode ser feita por fatiamento de tempo, alternando rapidamente entre A e B
    Evidências de que o cérebro realmente processa e codifica vários fluxos de forma contínua e simultânea ajudam a entender o mecanismo exato da multitarefa; portanto, mesmo que o resultado pareça óbvio, vale a pena pesquisá-lo
  • O que se discute aqui não é processamento multissensorial em geral, mas o processamento de vários fluxos de fala
  • Entender o significado de um texto e identificar perigo em um sinal também estão em níveis qualitativos diferentes de processamento

• Achei que isso já fosse um fato bem conhecido. Meu problema é não conseguir ignorar o que outras pessoas dizem: mesmo conversando com alguém, acabo ouvindo cada palavra das conversas ao redor

• É famoso que as equipes de controle das missões Apollo foram treinadas para processar vários fluxos de conversa ao mesmo tempo, mas não conseguiam desligar isso, então coquetéis viravam um pesadelo

  • Controladores de aeroporto e profissionais semelhantes em ferrovias e metrôs provavelmente passam pela mesma dificuldade
  • Quando jantamos com parentes, todo mundo fala ao mesmo tempo e a maioria participa de duas conversas. Minha irmã mais nova, que saiu de casa por causa da faculdade, levou semanas para perder de novo esse hábito, então durante as visitas simplesmente não falava nada à mesa
  • Gostaria de um link para conferir a fonte dessa história

• Um dos poderes lendários de Pitágoras era a bilocação, aparecer e dar aulas em duas cidades ao mesmo tempo. Sempre que participo de várias conversas ao mesmo tempo em ocasiões sociais, lembro de Pitágoras

• Quando animação e som foram combinados pela primeira vez, se um som de “toc” fosse reproduzido exatamente no momento em que o pêndulo chegava ao fim do arco, as pessoas achavam que o som estava atrasado. Dizem que isso ocorre porque é preciso cerca de 1/16 de segundo para mudar a atenção de um estímulo para outro
  Outras observações sobre percepção do tempo podem ser vistas em https://en.wikipedia.org/wiki/Time_perception

  • A própria velocidade de propagação do som também é lenta
  • O tique-taque de um relógio real, de qualquer forma, acontece antes de o pêndulo chegar ao fim do arco