Keyboard Connect: plataforma de aulas remotas de piano baseada na Web MIDI API

 (keyboardconnect.com)
1 pontos por GN⁺ 2024-02-12 | 1 comentários | Compartilhar no WhatsApp
  • É um serviço que busca reduzir a dificuldade de lidar ao mesmo tempo com voz, vídeo e entrada do teclado em aulas remotas de piano por meio de videoconferência baseada na web e compartilhamento de MIDI
  • Os recursos centrais são Video Calling e MIDI Sharing, com ênfase em transmissão criptografada via P2P
  • File Sharing estará disponível em breve, e Lesson Planning e Record Playback aparecem como recursos planejados para mais tarde
  • Compara-se com configurações existentes como controlador MIDI + DAW + software de roteamento ou piano digital + interface de áudio, destacando alto custo e dificuldade de configuração
  • O Keyboard Connect reduz a barreira inicial com uma configuração centrada em controlador MIDI e webcam, e os tutores podem entrar em contato com a equipe por e-mail ou agendar uma chamada de 30 minutos

Recursos voltados para aulas remotas de piano

  • O Keyboard Connect é um serviço de videoconferência para tutores de piano, voltado a um ambiente de aula em que os alunos possam participar com mais foco nas aulas remotas

  • Principais recursos disponíveis atualmente

    • Video Calling

    • MIDI Sharing

      • Destaca P2P Encrypted Transmission como método de transmissão

  • Recursos planejados e ferramentas de aprendizado

    • File Sharing: em breve
    • Lesson Planning: disponível mais tarde
    • Practice Tools
    • Record Playback: disponível mais tarde
    • A proposta é ajudar os tutores a reter alunos com uma experiência de aula melhor e, para os alunos, aumentar o engajamento para melhorar os resultados de aprendizagem

Comparação de custos com configurações tradicionais de aula remota

  • O texto compara que, para um novo aluno transmitir ao mesmo tempo a voz e o som do piano em uma videochamada, antes era necessário um conjunto de equipamentos mais caro e complexo
    • MIDI controller + DAW + piano VST + routing software: cerca de $200
    • Digital piano + audio interface + routing software: cerca de $600
    • Acoustic piano + high quality mic + room treatment: cerca de $3000
  • O Keyboard Connect compara que é possível começar a partir de $60 com uma configuração que conecta apenas um MIDI controller
  • A configuração que mostra ao mesmo tempo o músico e a visão superior do piano também é usada para destacar a diferença de equipamento
    • Configuração tradicional: two cameras + mounting equipment + OBS/USB switcher, cerca de $150
    • Configuração do Keyboard Connect: webcam, $0–$40
  • Tutores de piano podem enviar os detalhes do trabalho para a equipe pelo e-mail jeremy@keyboardconnect.com ou por agendamento de uma chamada de 30 minutos

Leituras relacionadas

1 comentários

 
GN⁺ 2024-02-12
Comentários do Hacker News

  • Na época da pandemia, precisei preparar aulas remotas de piano e tentei combinar dois vídeos para mostrar ao mesmo tempo as mãos sobre o teclado e o rosto, mas na época a latência era grande demais
    No fim, usei só uma câmera de cima e coloquei uma placa de acrílico transparente em um ângulo de 45 graus na frente do notebook apoiado, iluminando o rosto do pianista. Esse efeito é chamado de Pepper's Ghost
    Graças a isso, o professor conseguia ver com uma única câmera tanto as mãos sobre o teclado quanto o rosto do músico, e o músico parecia estar olhando direto para a câmera, como em um teleprompter. Estou deixando isso aqui caso possa ajudar alguém

    • Parece bem interessante. Gostaria de ver como essa configuração funciona na prática ou algum exemplo
    • Fiquei curioso se “combinar dois vídeos causava latência demais” por causa de limitações da CPU
      O OBS consegue combinar várias fontes ao mesmo tempo sem tanta latência, e pelo menos dá para manter a sincronização com o áudio

  • Conceito realmente muito legal, e parabéns pelo lançamento
    Nos últimos anos venho criando meu próprio app Web MIDI [0] e também considerei recursos multiplayer por um bom tempo. Fiquei curioso sobre qual é a latência
    Acho que seria bom ter um vídeo de exemplo mostrando o app na landing page, e também parece melhor deixar o visitante experimentar o piano primeiro e só pedir login quando ele quiser usar os recursos remotos. Os botões que podem ser clicados/selecionados mas não fazem nada ao serem pressionados foram um pouco confusos
    No app, a conexão do teclado funcionou sem problemas e não houve pedido de permissão, mas seria bom ter algum indicador de que um dispositivo MIDI foi conectado. Clicar nas teclas com o mouse não produzia som, e quando eu pressionava com um teclado MIDI Yamaha P120, a tecla ficava travada como selecionada e só podia ser tocada uma vez. Parece que o evento noteOff não está sendo registrado, então eu recomendaria tratar noteOn com velocity 0 também como noteOff e, se chegar um noteOn para uma nota já tocando, chamar noteOff manualmente para evitar teclas presas
    Eu preferiria que o teclado não fosse ocultado automaticamente com base no tamanho da tela. Pode ficar visualmente melhor, mas é preciso pensar em quem vai tentar tocar em tablets ou celulares, onde não dá para ajustar o zoom. O conceito é muito bom mesmo, e desejo sorte no desenvolvimento. Se precisar de ajuda, pode entrar em contato :-)
    [0] app.midiano.com

    • Que bom ver outro usuário do HN na mesma sintonia :) Vou testar o app e enviar feedback. Enquanto isso, talvez também haja ideias aproveitáveis em pianojacq.com
    • Muito obrigado pelo feedback, e todas as sugestões foram úteis. Vou fazendo ajustes com base em cada uma delas
      Não medi a latência diretamente, mas testei com minha irmã, que mora do outro lado dos EUA, deixando uma chamada telefônica ligada ao mesmo tempo. Quando ela falava ou tocava uma nota, eu ouvia primeiro pelo app do que pela ligação, então pelo menos é melhor do que telefone

  • Parece realmente impressionante e eu gostaria de testar
    Do ponto de vista do aluno, não há muito interesse em uma plataforma de dois lados. É isso que parece estar sendo construído aqui, mas o que eu gostaria é poder agendar aulas de piano validadas no site e comprar o adaptador USB MIDI recomendado
    Como MVP de curto prazo, seria bom indicar adaptadores que já foram confirmados como funcionando em sites com programa de afiliados. No longo prazo, também daria para pensar em encontrar uma empresa que vendesse isso como white label para colocar seu logo e site, mas isso é bem menos importante do que as outras coisas que você está construindo agora, então pode ficar para depois
    Para as primeiras aulas e para a prática depois delas, seria bom ter aulas pré-gravadas automatizadas para aprender fundamentos ou treinar leitura rápida de partituras

    • Sobre “adaptador USB MIDI”, na prática USB MIDI é o mínimo denominador comum dos teclados MIDI. Se você pegar qualquer teclado MIDI usado dos últimos 10 anos, é bem provável que ele já tenha USB, e um de 40 a 60 dólares no Craigslist já resolve
      A maior escolha para iniciantes é a quantidade de teclas e o espaço disponível. Vai de 25 a 88 teclas
      Conforme o preço sobe, dependendo do modelo começam a aparecer entradas e saídas MIDI DIN de 5 pinos mais antigas, teclas sensíveis à velocity, teclas semi-pesadas ou com ação de martelo, aftertouch, entrada para pedal, pads/knobs/faders para controlar DAWs, sequenciador embutido, entradas e saídas para sincronização externa, além de saídas CV e gate para conectar equipamentos modulares
    • Isso já existe, e é um mercado bem sólido com vários fornecedores. Durante a pandemia usei https://pianomarvel.com/ por um tempo, e funcionou até certo ponto
    • As sugestões são muito boas e parecem apontar na direção certa. Vou explorar esse caminho para expandir a plataforma

  • Como professor e aluno, eu gostaria de dar feedback, mas no site não há como ver o que ele realmente faz nem como funciona além de algumas animações pequenas
    No mínimo, um vídeo de demonstração no YouTube ajudaria; idealmente, seria ainda melhor poder acessar diretamente uma interface de demonstração real
    Achei que o Getting Started talvez ajudasse, mas fui empurrado para um fluxo de cadastro obrigatório no qual não quero investir antes de entender melhor o resultado

    • Concordo. Fiquei incomodado com a exigência de login entre a landing page e o app. Vou criar um vídeo de demonstração mais completo e deixá-lo visível antes do cadastro

  • Pelo que ouvi dizer, um controlador MIDI não é tão bom para aprender piano. A ideia é que, para adquirir hábitos corretos e desenvolver a força dos dedos, é preciso ter teclas com ação de martelo e o teclado completo de 88 teclas
    Eu tive aulas presenciais em um piano de verdade, então não posso falar por experiência própria sobre aprender com controlador MIDI, mas isso parece plausível

    • Ser MIDI não significa automaticamente não ter teclas com ação de martelo
      Todo piano digital tem USB MIDI, e no Craigslist dá para encontrar facilmente usados com ação de martelo por algumas centenas de dólares
      Meu piano Yamaha U1 também veio com uma caixa que permite conectá-lo via MIDI
    • Acho que demora bastante até que fatores além de o aluno realmente se envolver com a prática e continuar com consistência passem a ser importantes
      Nesse sentido, um teclado MIDI barato de plástico, fácil de conseguir e deixar à mão, pode ser melhor do que um Steinway. Nessa fase, é mais importante estar ao alcance das mãos do que ser perfeitamente adequado
      Digo isso como alguém formado em música, embora obviamente não seja uma opinião universal
    • Também é possível comprar um teclado MIDI de 88 teclas com ação de martelo
      Até entre pianos elétricos como Wurlitzer ou Rhodes há muitos com menos de 88 teclas e apenas ação semipesada
    • Concordo que teclas com ação de martelo são melhores, mas o motivo não é a “força dos dedos”, e sim desenvolver a coordenação dos dedos
      Os dedos já são fortes o bastante para pressionar teclas com ação de martelo. Isso é ainda mais verdade quando se aprende a usar a gravidade na técnica
      Teclas com ação de martelo são importantes para desenvolver coordenação. A resistência das teclas ajuda a calibrar a ligação entre o toque e o som produzido. É preciso tanto feedback cinestésico quanto auditivo
    • Na verdade, cada piano tem uma sensação totalmente diferente. Uma das desvantagens desse instrumento é que muitas vezes você precisa tocar o piano que estiver disponível no local do evento. Os pianos digitais portáteis mencionados antes são uma exceção
      Mesmo que a única coisa que você tenha seja um teclado digital, espero que isso não faça você parar de aprender

  • Parabéns pelo lançamento
    Eu recomendaria gravar os vídeos do ponto de vista do músico. Do jeito atual, o aluno precisa inverter mentalmente a imagem ao assistir, o que adiciona uma etapa extra de abstração
    A menos que você também queira ensinar o aluno a interpretar um pianista do ponto de vista da plateia

  • Também existe https://plugandplink.com/. Ele inclui um componente de hardware que ajuda quem está aprendendo, e a “cobra” acende
    O app também vem com vídeos e lições prontas que interagem com o hardware. Escalas, arpejos e coisas assim
    Meu filho usa com um tutor remoto e funciona muito bem. Além disso, no restante da semana ele consegue conduzir a própria prática usando o app e a cobra

    • Legal, mas não existe uma versão para piano de tamanho completo? E 125 dólares?! Talvez seja por ser de primeira geração

  • Quando a pandemia começou, eu precisava de uma solução rápida para as aulas de piano da minha filha. Montei uma configuração com OBS, Synthesia e uma webcam antiga da Logitec que estava largada em casa. Na época era quase impossível conseguir uma webcam nova
    Eu enviava a imagem frontal do músico pela câmera do notebook e uma visão superior da parte central do teclado pela webcam. O campo de visão da câmera não era suficiente para mostrar o teclado inteiro. Também enviava o teclado virtual do Synthesia. No OBS, deixei prontos três layouts com esses elementos e fazia a troca com a barra de espaço
    No áudio, eu misturava o microfone do notebook para a voz com o som direto do piano eletrônico. Para aquela época, isso segurou bem
    Havia também limitações que uma solução melhor hoje talvez não teria: os professores não conseguiam se decidir por um único software de videoconferência, então minha configuração precisava ser independente. Por isso, o suporte a câmera virtual do OBS acabou sendo uma escolha quase óbvia

  • Do ponto de vista de marketing, eu mudaria para que, no vídeo em loop, o tutor também aparecesse com um teclado sob as mãos
    Normalmente, quando o tutor quer mostrar um erro, ele explica a parte tocada incorretamente e depois enfatiza mais a parte correta, tocando ele mesmo o trecho melhorado
    Do jeito que está, o vídeo em loop parece algo mais típico de YouTube ou de uma chamada de Zoom corporativa e formal. O que realmente há de especial nessa plataforma interessante é a sensação de conexão entre tutor e aluno, e isso aparece menos do que deveria
    Plataforma muito legal

    • Boa sugestão. Vou definitivamente levar isso em conta quando fizer um vídeo de demonstração adequado

  • Parece bem legal. Eu gostaria de ver uma demo curta no YouTube mostrando o produto funcionando de verdade. Fico curioso sobre qual é a maior vantagem do recurso MIDI no uso real

    • Com certeza vou fazer um vídeo de demonstração antes de exigir login. Mostrar MIDI em tempo real durante a chamada evita a dificuldade de ter que gravar ao mesmo tempo minha performance e quais notas estou tocando
      Além disso, como MIDI é representado digitalmente, também permite recursos como detecção de acordes/escalas, gravação e reprodução, e mostrar a performance em tempo real sobre a partitura