Touchpad baseado na boca, MouthPad ajuda pacientes com paralisia a usar o computador

 (news.mit.edu)
2 pontos por GN⁺ 2024-06-15 | 1 comentários | Compartilhar no WhatsApp
  • Para pessoas com dificuldade de usar as mãos, os dispositivos assistivos de voz tradicionais nem sempre são adequados, e o MouthPad da Augmental transforma movimentos dentro da boca em entradas para smartphones, computadores e tablets
  • Um touchpad sensível à pressão que encosta no céu da boca e dois sensores de movimento conectam gestos de língua e cabeça a movimento do cursor, rolagem e cliques via Bluetooth
  • Usuários com lesão na medula espinhal já usam o MouthPad diariamente, e um universitário com tetraplegia o utiliza em situações em que a voz é difícil, como estudar na biblioteca e escrever fórmulas
  • O produto é projetado sob medida com base em um modelo 3D criado a partir do escaneamento bucal do usuário, imprimindo primeiro um retentor com material odontológico em 3D e depois adicionando os componentes eletrônicos
  • A Augmental pretende obter aprovação da FDA no próximo ano para ampliar o uso a controle de cadeiras de rodas, braços robóticos e até reembolso por seguro, e também desenvolve uma próxima versão capaz de reconhecer movimentos ainda mais sutis dos órgãos da fala

Dispositivo de entrada para pessoas com dificuldade de usar as mãos

  • A Augmental é uma startup que ajuda pessoas com deficiência motora a interagir de forma mais natural com dispositivos pessoais de computação
  • Seu primeiro produto, o MouthPad, permite que o usuário controle computadores, smartphones e tablets com movimentos da língua e da cabeça
  • O objetivo é permitir que mesmo pessoas com comprometimento severo das funções das mãos consigam usar telefone ou tablet com a mesma destreza de quem usa as mãos

Como transforma movimentos da boca em cursor e cliques

  • O touchpad sensível à pressão do MouthPad fica posicionado de modo a tocar o céu da boca
  • O touchpad e dois sensores de movimento convertem gestos de língua e cabeça em sinais de entrada em tempo real via Bluetooth
    • Ao deslizar a língua, é possível rolar para cima, para baixo, para a esquerda e para a direita
    • Um gesto de sucção permite clicar com o botão direito
    • Pressionar o céu da boca permite clicar com o botão esquerdo
  • Usuários com dificuldade de controlar a língua podem usar saliva, mordida ou outros gestos
  • Usuários com maior controle do pescoço podem mover o cursor na tela com rastreamento de cabeça
  • A Augmental quer criar uma interface multimodal adequada às condições físicas de cada usuário

Por que escolher a língua como meio de entrada

  • O controle da posição da língua envolve uma grande área do cérebro
  • A língua é composta por oito músculos, e a maior parte de suas fibras musculares são fibras de contração lenta, que não se fatigam facilmente
  • Vega viu nessas características uma forma de aproveitá-la para interação com computadores e experimentou a boca como meio de entrada
  • Em seu último semestre no MIT, ele confirmou a viabilidade com um protótipo em formato de “pirulito” equipado com vários sensores

Usuários reais e casos de uso

  • Pessoas com lesão na medula espinhal usam o MouthPad diariamente para interagir de forma independente com seus dispositivos preferidos
  • Um usuário com tetraplegia que estuda matemática e ciência da computação na universidade escreve fórmulas e estuda na biblioteca com o MouthPad
    • Nessas situações, um dispositivo assistivo baseado em voz não era adequado
    • Ele também passou a conseguir usá-lo para anotações em aula e jogos com os amigos
  • Uma parte considerável dos usuários atuais tem lesão na medula espinhal; alguns não conseguem mover as mãos e outros não conseguem mover a cabeça
  • Gamers e programadores também usam o MouthPad
  • Os usuários mais frequentes interagem com o MouthPad por até 9 horas por dia

Como é feito sob medida e como surgiu no MIT

  • A Augmental cria um modelo 3D com base no escaneamento bucal do usuário e, a partir dele, gera o design do MouthPad
  • A equipe imprime em 3D um retentor com material odontológico e depois adiciona os componentes eletrônicos
  • Vega conheceu o cofundador Corten Singer enquanto estudava na UC Berkeley e depois se juntou ao grupo de pesquisa Fluid Interfaces do MIT Media Lab
  • No MIT, ele cursou disciplinas de microfabricação, processamento de sinais e eletrônica, além de desenvolver dispositivos vestíveis para ajudar no acesso à informação online, melhora do sono e regulação emocional
  • No desenvolvimento inicial, utilizou recursos do MIT como o Venture Mentoring Service, o MIT I-Corps program e o E14 Fund
  • A Augmental foi oficialmente lançada no fim de 2019, quando Vega se formou no MIT

A abordagem escolhida em vez de uma interface cérebro-máquina

  • Vega já teve interesse em interface cérebro-máquina, mas passou a buscar outra solução após um estágio na Neuralink
  • Implantes cerebrais têm grande potencial para ajudar pessoas no futuro, mas têm a limitação de exigir um longo tempo de desenvolvimento
  • Vega conheceu muitas pessoas que já precisavam de uma solução imediata e quis criar, no MIT, uma forma de manter o potencial dos implantes cerebrais evitando suas limitações

Aprovação da FDA e a próxima versão

  • A Augmental pretende obter aprovação da FDA nos Estados Unidos dentro de um ano para apoiar casos de uso como controle de cadeiras de rodas e braços robóticos
  • A aprovação da FDA pode viabilizar reembolso por seguro e aumentar a acessibilidade do produto
  • A empresa está desenvolvendo uma próxima versão que responde a sussurros e a movimentos ainda mais sutis dos órgãos internos da fala
  • Esse recurso é importante para seu grupo inicial de clientes, que perdeu ou teve comprometimento da função pulmonar
  • Vega também vê com otimismo os avanços em agentes de IA e no hardware relacionado, e espera que a Augmental se torne uma interface inteligente sempre disponível, robusta e privada

Leituras relacionadas

1 comentários

 
GN⁺ 2024-06-15
Opiniões do Hacker News

  • Por que algo assim não existia 10 a 15 anos atrás? Tenho a impressão de que tecnologias assistivas não são criadas por gente suficiente, nem recebem atenção suficiente, até afetarem diretamente a própria pessoa

    • Em um laboratório universitário, estamos criando um dispositivo assistivo de controle musical para músicos com deficiência. Pelo pouco que tenho visto, muitos desses projetos não fazem uma boa transição da área de pesquisa para um negócio realmente sustentável
      Como as características físicas e neurológicas variam muito, dispositivos assistivos muitas vezes precisam de customização, ajustes e suporte para usuários específicos, e por isso também tendem a ficar caros
    • Parece haver alguns motivos. O primeiro é a lacuna tecnológica: alguém que passa a precisar de tecnologia assistiva pode não saber como começar a criá-la por conta própria. O segundo é uma diferença de perspectiva: para um tecnólogo sem deficiência, é difícil entender bem o problema e criar o produto certo
      O terceiro é a comunicação: a pessoa que precisa precisa conseguir explicar suas necessidades, e isso pode exigir reflexão e um certo grau de conhecimento técnico. Por fim, há o dinheiro: quantas pessoas podem se dedicar por meses ou anos a um projeto que muito provavelmente não dará retorno financeiro?
    • Digitação por movimento dos olhos: https://www.optikey.org/
      Digitação com ponteiro de cabeça: https://www.alimed.com/adjustable-head-pointer.html
      Digitação com uma mão: há vários layouts de teclado https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      Também existem reconhecimento de voz, conversão de texto em fala e recursos de acessibilidade do Windows. Produtos de fato foram desenvolvidos e lançados, mas ainda é preciso mais trabalho, e este produto é uma nova opção bem-vinda
    • Tentei fazer isso há cerca de 9 anos e também publiquei a solução como open source. Na época, senti que o mercado não era grande o suficiente, então decidi deixar aberto para que qualquer pessoa pudesse construir algo a partir dos resultados da pesquisa
      http://pallette.io/instructions.html
    • Exato. É uma pena que o mundo funcione assim, mas espero que o MouthPad^ consiga mudar esse velho padrão
      O design universal beneficia não só pessoas em situações extremas, mas todos, e por isso todos deveriam se interessar. Um pequeno exemplo é a história das guias rebaixadas nas calçadas

  • Parece útil para qualquer pessoa que já tenha sofrido lesões por uso excessivo causadas pelo uso do computador. Tive uma tendinite severa que tornava muito doloroso usar mouse ou trackpad, e teria sido ótimo ter um dispositivo desses como mais uma opção

    • Fico me perguntando por que ninguém ainda vende um mouse operado com os pés. Para usuários comuns que digitam com as duas mãos, também seria bastante prático

  • O recém-lançado Vision Pro e o rastreamento ocular também oferecem um método de entrada relativamente de nicho, mas muito acessível. Já está sendo usado nesse contexto

    “Eu estava com dificuldade para me locomover naquele dia”, disse ele, então tirou o dia de folga e trabalhou para sua consultoria, Equal Accessibility, da cama, usando o Vision Pro, cercado por telas que controlava com os olhos e por uma série de sons bucais personalizados que acionavam seleções. “À medida que envelheço, e isso acontece comigo com mais frequência”, disse ele, “imagino que vou trabalhar virtualmente com o AVP ainda mais.”
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

  • Quero usar isso em jogos como uma opção extra de controle. Acho que daria para ficar bom em mirar com a língua. Como a distância do cérebro até a língua é menor do que do cérebro até a mão, será que o tempo de reação também seria mais rápido? Talvez controles com a língua dominem os e-sports ;) Acho que logo aparecem protetores bucais RGB

    • Há um streamer chamado RockyNoHands. Ele joga Warzone inteiro com a boca
      O controle tem tubos pelos quais ele sopra ou suga para controlar o personagem. É realmente impressionante vê-lo jogar ao vivo jogos altamente competitivos
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • Qual será a resistência da língua ou a destreza da língua de um gamer médio? Quanto treino seria necessário para melhorar o suficiente a ponto de ser realmente útil?
      Parece que dominar isso seria bem difícil
    • A foto do mouse de língua no artigo pode ser um render, mas parece ter algo como 16 dpi, então deve servir como mouse auxiliar para girar o mundo. Para clicar em pixels muito pequenos, eu provavelmente iria querer um dispositivo com algum tipo de ajuste de escala

  • Embora tecnologias assistivas para pessoas com deficiência sejam um uso mais importante para entrada pela boca, também seria legal ter um protetor bucal Bluetooth simples para esportes de ação, com controles de reprodução de mídia como reproduzir, pausar, avançar/voltar

    • Imagino algo exatamente assim: tocar uma vez o céu da boca para reproduzir/pausar; tocar a parte interna dos dentes superiores esquerdo/direito para anterior/próximo; arrastar a língua ao longo da parte interna dos dentes para avançar ou retroceder na reprodução; arrastar a língua para frente e para trás no céu da boca para controlar o volume
      Parece bastante intuitivo e provavelmente muito mais preciso do que os gestos com os dedos que uso hoje. Minhas preocupações seriam conforto, entradas acidentais e impacto na fala. Ainda assim, tem gente que usa joias dentárias, então não parece tão ruim
    • Dá para pensar em alguns exemplos de uso para isso?

  • Quem dera o brolylegs tivesse vivido para ver isso :( Ele usava um controle comum
    A propósito, a Microsoft também tem coisas legais para gamers com deficiência. Tem o Adaptive Controller, e também trabalhou com a Byowave no Proteus Controller, que será lançado em breve
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • Fugindo um pouco do assunto, não entendo por que camadas de teclado/mouse não se popularizaram mais. Desde que apoiei o UHK[1] no Kickstarter alguns anos atrás, não uso mais mouse
    Leva um tempinho para se acostumar, mas controlar o mouse pelo teclado é realmente excelente
    [1] Ultimate Hacking Keyboard

  • Também precisamos falar que o nome é perfeito. MouthPad soa como alguém com um MouthPad na boca tentando dizer “mouse pad”. Lindo

  • Li sobre uma tecnologia parecida muito tempo atrás. Provavelmente era esta
    https://www.researchgate.net/publication/224648269_Tongue_dr...