- O Project Gameface, anunciado no Google I/O 2023, virou open source
- Um “mouse” gamer hands-free que permite controlar o cursor do computador usando movimentos da cabeça e gestos faciais
- As pessoas podem clicar e arrastar levantando as sobrancelhas, ou mover o cursor abrindo a boca, aumentando a acessibilidade em jogos
- O projeto começou inspirado na história de Lance Carr, streamer de videogames que vive com tetraplegia devido a uma doença muscular
- Em colaboração com Lance, o Project Gameface se tornou realidade
Uso do projeto
- Agora, mais código está sendo disponibilizado como open source para ajudar desenvolvedores a criar aplicativos que tornem qualquer dispositivo Android mais acessível
- O sistema rastreia com fluidez expressões faciais e movimentos da cabeça pela câmera do dispositivo e os transforma em controles intuitivos e personalizados
- Desenvolvedores agora podem criar aplicativos em que usuários personalizam a experiência ajustando expressões faciais, tamanho dos gestos, velocidade do cursor e mais
Três princípios centrais ao criar o Project Gameface para Android
- Oferecer uma nova forma adicional para pessoas com deficiência operarem dispositivos Android
- Criar uma solução com bom custo-benefício que permita escalar
- Desenvolver o produto de forma amigável e personalizável com base nas lições e diretrizes obtidas com o primeiro lançamento do Gameface
Implementação do cursor em dispositivos Android
- Lançamento de uma nova forma de operar dispositivos Android
- Com base no feedback positivo sobre o Project Gameface, ficou claro que desenvolvedores e usuários valorizam muito a ideia de mover o cursor com a cabeça e executar ações com expressões faciais
- A mesma ideia foi replicada para levar um novo cursor virtual a dispositivos Android
- Foi criado um novo cursor com os serviços de acessibilidade do Android, usando a API Face Landmarks Detection do MediaPipe para programar o movimento do cursor conforme os movimentos da cabeça do usuário
- A API inclui 52 valores de face blendshapes que representam a expressividade de 52 gestos faciais, como levantar a sobrancelha esquerda ou abrir a boca
- Alguns desses valores foram usados para mapear e controlar com eficiência uma ampla gama de funções, ampliando as possibilidades de personalização e operação
- Além disso, os coeficientes de blendshapes permitem que desenvolvedores definam limites diferentes para cada expressão específica, ajudando a personalizar a experiência
Visualização do Project Gameface
- Os melhores recursos dos serviços de acessibilidade do Android foram incorporados ao Project Gameface
- Ações no celular
- Na versão Windows do Project Gameface, o usuário pode reproduzir ações comuns de clique
- No Android, porém, a variedade de funções que o usuário precisa executar é maior
- Há eventos de toque enviados ao sistema operacional e eventos de ação global, como “voltar”, “alternar multitarefa” e “início”
- A API de acessibilidade do Android foi usada para definir quais ações poderiam ser oferecidas ao usuário
- Atualmente, o Project Gameface para Android oferece suporte a GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS e GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
- Feed da câmera
- O feed da câmera melhora bastante a experiência do usuário, permitindo configurar limites com precisão e compreender melhor os gestos
- Também deixa claro para o usuário que a câmera está sendo usada ativamente para entender seus movimentos da cabeça e gestos
- Criar o feed da câmera apenas como overlay impediria o acesso a seções importantes, como as configurações do Android
- Por isso, o Project Gameface usa os serviços de acessibilidade do Android para manter a câmera visível também nas configurações do Android e em outras seções importantes
- Possibilidade de executar a “função de arrastar”
- Atualmente, os serviços de acessibilidade do Android não oferecem uma forma simples de realizar arrastos de tela com os quais o usuário interage em tempo real
- Porém, o produto foi aprimorado para incluir a função de arrastar, permitindo que o usuário defina os pontos de início e fim
- Como resultado, a ação de arrastar é executada de forma fluida ao longo do caminho definido
- Expectativas e abertura
- Há grande expectativa em torno do potencial do Project Gameface, e espera-se que desenvolvedores e empresas o usem para criar novas experiências
- O código do Gameface agora está disponível como open source no Github
Ainda não há comentários.