Ask HN: Como os navegadores separam o áudio interno da entrada do microfone?

• Ao usar simultaneamente, no Chrome e no Chromium, uma aba de chamada do Google Meet e uma aba reproduzindo YouTube, foi observado que o áudio interno do YouTube não entra na entrada de microfone do Google Meet
• Quando a mesma tarefa é dividida entre navegadores diferentes, por exemplo, com o Google Meet aberto no Chrome e o YouTube sendo reproduzido no Chromium, essa separação de áudio não acontece
• Como o Chromium é open source, a pessoa está procurando pistas técnicas sobre a localização no codebase ou a forma de implementação desse comportamento

[GN⁺]

Comentário do Hacker News

• Como remover música da voz comparando o atraso entre captura e reprodução de áudio

  • Remove a música encontrando e comparando o atraso entre o microfone e os alto-falantes
  • Dentro de um único processo, mantém o que foi reproduzido por algumas centenas de milissegundos e compara com a entrada do microfone para encontrar a correlação e remover
  • Entre processos não relacionados, isso pode ser removido se o SO fornecer uma API de captura ou usando um stream de loopback
  • Se não houver esses métodos, faz a remoção misturando diretamente a saída de áudio

• Acoustic Echo Cancellation (AEC)

  • Implementado no Chrome, incluído no WebRTC
  • Usa um filtro FIR para remover o máximo possível do som que sai pelos alto-falantes da entrada do microfone
  • É possível encontrar informações relacionadas procurando a flag de compilação CHROME_WIDE_ECHO_CANCELLATION no código-fonte do Chromium

• Problemas do Chrome com gravação e reprodução simultâneas

  • O Chrome não lida bem com gravação e reprodução simultâneas
  • Há um site que mostra claramente o problema: chrome-please-fix-your-audio.xyz

• Problemas comuns da Acoustic Echo Cancellation

  • É um problema comum em processamento de sinais
  • Acontece até em dispositivos simples, como telefones

• Tecnologia de separação de fontes do Google Meet

  • Usa redes neurais para separar voz de não voz e também separar diferentes falantes
  • A tecnologia melhorou bastante desde 2021, com o desenvolvimento de métodos de aprendizado semissupervisionado

• Efeitos colaterais da remoção de eco

  • O navegador sabe qual áudio está sendo reproduzido e o remove encontrando a correlação com a entrada do microfone
  • Isso é necessário para suprimir feedback quando não se usa fones de ouvido

• Função de bloqueio de áudio interno no Chrome e no Chromium

  • Mesmo se um vídeo do YouTube for reproduzido em outra aba durante uma chamada no Google Meet, o Meet não o reconhece
  • Como o Chromium é open source, é possível verificar os detalhes técnicos no código

• Pontos interessantes dos algoritmos de remoção de eco

  • Se os alto-falantes externos forem colocados um pouco afastados do microfone do computador, o algoritmo pode falhar

• Necessidade da remoção de eco durante reuniões

  • É necessária para evitar que os dados da reunião sejam realimentados
  • PulseAudio e PipeWire têm módulos de remoção de eco