Fazendo chamadas FaceTime com uma Game Boy Camera no iPadOS 17

 (macstories.net)
1 pontos por GN⁺ 2023-09-10 | 1 comentários | Compartilhar no WhatsApp
  • Com o suporte a UVC (USB Video Class) no iPadOS 17, o iPad passou a reconhecer diretamente webcams externas USB-C, câmeras e placas de captura de vídeo como dispositivos de entrada de vídeo
  • Ao conectar um dispositivo compatível, o FaceTime e apps com suporte às novas APIs mudam automaticamente para ele como fonte de vídeo padrão, sem configurações adicionais nem menu para escolher webcam
  • Com uma combinação de placa de captura NZXT, Elgato Cam Link e dock do Analogue Pocket, é possível enviar ao iPad Pro não só vídeo do Nintendo Switch e do Steam Deck, mas também da Game Boy Camera
  • O experimento com a Game Boy Camera funcionou no FaceTime graças à combinação da saída HDMI 1080p do Analogue Pocket com o Elgato Cam Link; o áudio foi complementado com AirPods Pro
  • Embora a baixa qualidade de imagem dificultasse identificar o rosto, o recurso de reações (reactions) do FaceTime reconheceu gestos e funcionou, mostrando que o suporte do iPadOS 17 a entradas de vídeo externas é mais amplo do que se esperava

Suporte a UVC no iPadOS 17

  • O iPadOS 17 introduz suporte a dispositivos UVC (USB Video Class), permitindo que o iPad reconheça dispositivos de vídeo externos conectados via USB-C
  • Webcams externas, câmeras, placas de captura de vídeo e outros dispositivos de vídeo USB podem ser usados no iPad
  • Quando uma câmera compatível é conectada ao iPad Pro, o FaceTime e apps com suporte às novas APIs do iPadOS 17 a usam como fonte de vídeo padrão
    • Não é necessária nenhuma configuração adicional
    • Também não há menu para escolher a webcam

Studio Display e uso em falso modo clamshell

  • Ao conectar um Apple Studio Display ao iPad Pro, é possível usar a webcam integrada do Studio Display em chamadas FaceTime
  • Esse recurso combina bem com um falso modo clamshell, em que o iPad Pro fica embaixo da mesa com a tampa do Magic Keyboard fechada
    • Mesmo que não seja possível usar a câmera do próprio iPad, dá para fazer chamadas FaceTime pela webcam do Studio Display conectado

Usando o iPad Pro como tela externa com placas de captura de jogos

  • Graças ao suporte a UVC, placas de captura de jogos ou acessórios de entrada de vídeo USB podem ser usados no iPadOS
  • Para ver as telas do Nintendo Switch e do Steam Deck no Retina Display do iPad Pro, foi usada uma placa de captura de jogos externa
  • Para ler no iPad o vídeo de um dispositivo UVC conectado, é necessário um app separado
    • O Capture Pro: UVC Viewer, de Jingcheng Tang, exibe e captura fontes de vídeo externas usando as APIs do iPadOS 17
    • O app está atualmente em beta

Conectando a Game Boy Camera como webcam do FaceTime

  • O FaceTime pode usar como fonte de vídeo não só a webcam do Studio Display, mas também a entrada de outros dispositivos UVC
  • Ao conectar o Steam Deck à placa de captura e abrir o FaceTime no iPad Pro, o vídeo de Elden Ring apareceu no FaceTime
  • O experimento com a Game Boy Camera foi feito com a seguinte combinação de dispositivos
    • Analogue Pocket: um aparelho moderno da família Game Boy capaz de rodar cartuchos originais de Game Boy
    • Dock do Analogue Pocket: saída para tela grande dos modos de upscaling dos gráficos de Game Boy do Pocket
    • Game Boy Camera: uma câmera criada pela Nintendo no fim dos anos 1990
  • Inicialmente, a placa de captura NZXT não conseguiu transmitir o vídeo do Pocket para o FaceTime, mas, ao usar o dongle Elgato Cam Link, funcionou imediatamente no iPad Pro
  • O Pocket emitiu um sinal de vídeo 1080p via HDMI, e o app FaceTime parece preferir esse sinal a uma fonte de vídeo 720p
  • Por causa da qualidade de imagem da Game Boy Camera, o rosto era quase impossível de reconhecer, mas esse era justamente o objetivo do experimento
  • O áudio foi tratado pelos AirPods Pro, permitindo realizar a chamada independentemente da baixa qualidade do vídeo

Efeitos de vídeo e reações do FaceTime

  • Mesmo enquanto a placa de captura fornecia vídeo ao FaceTime, os efeitos de vídeo continuavam ativos na Central de Controle
  • Portrait, Center Stage e Studio Light não funcionam com o vídeo da Game Boy Camera
  • O recurso de reações (reactions) do FaceTime funcionou normalmente
    • Ele reconhece certos gestos e exibe animações 3D, como balões ou corações
    • Ao se posicionar diante da Game Boy Camera e fazer o gesto de vitória, balões apareceram no FaceTime do iPhone da outra pessoa
  • Não é um caso de uso que usuários comuns provavelmente precisariam com frequência, mas mostra que o iPad Pro consegue receber a Game Boy Camera como se fosse uma webcam e usá-la no FaceTime

Leituras relacionadas

1 comentários

 
GN⁺ 2023-09-10
Opiniões no Hacker News

  • Em nome dos nerds retrô, obrigado. “Isto não serve para nada e gente normal provavelmente nunca vai usar”, mas felizmente este não é um site para gente normal™
    Seria legal se alguém fizesse um filtro desses… já existe: https://play.google.com/store/apps/details?id=com.bufolab.ca...

  • Fiz algo parecido, mas de um jeito um pouco mais barato. Se você garimpar bem no eBay por um SNES, um Super Game Boy e uma Game Boy Camera usados, e aceitar fazer um pouco de limpeza e reparo, dá para conseguir por um preço razoável
    Se você achar o ruído analógico aceitável, dá para capturar com um ADC barato de composto para USB, de menos de US$ 10 na Amazon. Separadamente, também tiro fotos com a Game Boy Camera, e o Operator, um dispositivo USB da Epilogue para dump de cartuchos, oferece suporte nativo à Game Boy Camera, permitindo extrair as fotos do cartucho para PNG pixel por pixel. O dithering de 2 bits é muito bom

    • Fazer a fiação por conta própria também não é tão terrível assim. No começo da pandemia, quando eu estava preso em casa e enlouquecendo, vi um post de blog com o link https://github.com/Dhole/gb-link-stm32f411 e comprei uma placa para rodar aquele código
      Não consegui encontrar uma forma de salvar os dados brutos como PNG, então escrevi meu próprio script de conversão. Hoje eu usaria o Operator, já que ele existe, mas, sem ele, o caminho do microcontrolador também é possível

  • Fiquei meio decepcionado porque não é uma conversão de protocolo de verdade, é só usar dispositivos prontos e uma placa de captura

    • A conversão de protocolo já foi resolvida pela Analogue, que fez um produto pronto bastante impressionante. É um produto que o autor já elogiou antes
      O que há de adicionalmente impressionante aqui é a melhoria no suporte a acessórios do iPadOS 17; viva os dongles
    • Não parece haver nada especialmente extraordinário. A Apple adicionou suporte a dispositivos de vídeo USB, e, ao conectar um dispositivo de vídeo USB ao iPad, ele funcionou como esperado
      Não é muito diferente de se surpreender ao conectá-lo a um PC e vê-lo funcionar no Discord ou algo do tipo

  • O trecho “em 2023, eu estava fazendo gestos diante de uma Game Boy Camera… se essa coisa absurda funciona, talvez o iPad também fique bom” me fez revirar os olhos como leitor
    Não curto esse estilo exagerado nem esse estranho tribalismo de marca. Tudo bem se empolgar com o conceito subjacente ou com os detalhes de implementação, mas se empolgar com uma marca é outra coisa. Isso parece mais propaganda do que entusiasmo geek

    • O autor criticou legitimamente o suporte a acessórios do iPad e encontrou um sinal encorajador em um lugar inesperado. Não precisa interpretar com tanta severidade
    • Seria bom deixar as pessoas serem apaixonadas por alguma coisa. Há tanto cinismo e sarcasmo nesta seção de comentários que chega a ser deprimente
    • O texto inteiro é basicamente “conectei uma webcam a um dispositivo”, com o acréscimo de “o hardware que grava é muito antigo!”

  • O “eu” aqui não sou eu, e sim o autor Federico Viticci @ MacStories(https://www.macstories.net/)

  • Há uns 20 anos, pensei em fazer uma webcam com Game Boy Camera de forma parecida, mas nunca consegui terminar
    O plano era colocar a Game Boy Camera em um Super Game Boy e conectar o SNES a uma placa de captura de vídeo no PC. Fico feliz em ver que alguém conseguiu fazer isso de verdade com tecnologia moderna

  • Espero que o USB-C do iPhone 15 também abra suporte a câmeras UVC no iOS 17. Assim, o iPhone se tornaria bastante útil como monitor portátil decente para câmeras digitais ou como gravador básico
    A linha Xperia da Sony já permite isso há alguns anos. O Xperia Pro começou com uma porta de entrada HDMI real e depois migrou para suporte a UVC via USB-C

  • Não sei bem como explicar a sensação mágica que a Game Boy Camera transmitia quando foi lançada no fim dos anos 90
    Ela tinha a limitação de ser em preto e branco, mas provavelmente foi a primeira câmera digital de muita gente. O software tornava tudo tão fácil que fiz muitas animações em stop motion, e havia muitos vídeos com LEGOs brigando ou action figures aparecendo. Também era fantástico poder imprimir quadros parados como adesivos na Game Boy Printer. A resolução era horrível e a taxa de quadros era baixa, mas parecia realmente mágico

  • Não sei se todo mundo deveria ficar surpreso porque a Apple começou a oferecer suporte a um formato de vídeo padrão
    Em 2023, é estranho dois dispositivos que usam o mesmo protocolo se comunicarem? Talvez por eu não usar produtos Apple nem Game Boy Camera, não consigo enxergar bem o que o autor vê de especial nisso

  • É engraçado. Mas agora fiquei estranhamente com vontade de ter um filtro de vídeo por software que reproduza, mesmo em uma webcam comum, o tom esverdeado, os 4 níveis de escala de cinza e até o dithering por matriz de Bayer

    • Por algum motivo, sinto que isso deve dar para fazer com um comando de uma linha no Linux
    • Pensei que bastaria ser um plugin do OBS