Apple revela novos recursos de acessibilidade
(apple.com)- Apple Intelligence passa a ser aplicado ao VoiceOver, Magnifier, Voice Control e Accessibility Reader, reforçando descrições de imagem, navegação em linguagem natural e apoio à leitura
- VoiceOver e Magnifier permitem fazer perguntas e receber respostas sobre o conteúdo visto pela câmera com Image Explorer e Live Recognition, mas não devem ser usados em situações de alto risco
- O Voice Control ajuda na navegação no iPhone e no iPad com comandos em linguagem natural como “tap the purple folder”, em vez de exigir rótulos ou números exatos
- Vídeos sem legendas passam a exibir legendas geradas no dispositivo automaticamente, com disponibilidade prevista para iPhone, iPad, Mac, Apple TV e Apple Vision Pro
- O Apple Vision Pro pode controlar sistemas alternativos de condução Tolt e LUCI por meio de rastreamento ocular, e o Hikawa Grip & Stand também será lançado globalmente
Cronograma de lançamento e privacidade
- Os novos recursos e as atualizações com Apple Intelligence devem chegar no fim deste ano
- A Apple afirma que, ao aplicar Apple Intelligence aos recursos de acessibilidade, mantém o princípio de privacy by design
- O Hikawa Grip & Stand for iPhone será lançado na Apple Store online em três novas cores
Exploração de informações visuais com VoiceOver e Magnifier
- VoiceOver e Magnifier oferecem descrições mais detalhadas das informações na tela e do ambiente ao redor para usuários cegos ou com baixa visão
- O Image Explorer do VoiceOver usa Apple Intelligence para fornecer descrições de imagens em todo o sistema, incluindo fotos, contas digitalizadas e registros pessoais
- Com a atualização do Live Recognition, usuários do VoiceOver podem pressionar o Action button do iPhone para perguntar sobre o que aparece no visor da câmera e receber respostas
- Os usuários podem continuar com perguntas de acompanhamento em suas próprias palavras para obter mais informações visuais
- O Magnifier oferece os mesmos recursos de navegação assistida e descrição visual em uma interface de alto contraste para usuários com baixa visão
- O Magnifier também se integra ao Action button e pode ser controlado por voz com pedidos como “zoom in” e “turn on flashlight”
- VoiceOver e Magnifier não devem ser usados em situações em que alguém possa se machucar ou sofrer danos, em cenários de alto risco, para navegação, nem para diagnóstico ou tratamento de condições médicas
Entrada em linguagem natural no Voice Control
- O Voice Control usa Apple Intelligence para permitir que usuários com deficiência física naveguem no iPhone e no iPad de forma mais intuitiva usando apenas a voz
- O novo recurso de entrada flexível permite operar botões e controles descrevendo-os em linguagem natural, em vez de depender de rótulos ou números exatos
- A abordagem “say what you see” pode ser usada em qualquer app, inclusive aqueles com layouts visuais como Apple Maps e Files
- Exemplos de comando incluem “tap the guide about best restaurants” e “tap the purple folder”, descrevendo diretamente os elementos visíveis na tela
- Isso também pode ajudar a reduzir barreiras quando os elementos não estão corretamente rotulados para acessibilidade
- O Voice Control com Apple Intelligence estará disponível em inglês para os Estados Unidos, Canadá, Reino Unido e Austrália
Accessibility Reader e legendas geradas
- O Accessibility Reader oferece uma experiência de leitura personalizada para usuários com diferentes deficiências, de dislexia a baixa visão
- Com Apple Intelligence, ele consegue processar materiais originais mais complexos, como artigos científicos
- Também pode lidar com textos que incluem várias colunas, imagens e tabelas
- O resumo sob demanda permite ver primeiro uma visão geral do documento antes de ler os detalhes
- A nova tradução integrada permite que o usuário leia o texto em seu idioma nativo mantendo formatação personalizada, fontes e cores
- As novas legendas geradas exibem automaticamente uma transcrição do áudio falado em vídeos sem captions ou subtitles
- Isso vale para clipes gravados no iPhone, vídeos recebidos de amigos e familiares e vídeos em streaming online
- As legendas são geradas de forma privada com reconhecimento de fala no dispositivo e aparecem automaticamente em vídeos sem legendas no iPhone, iPad, Mac, Apple TV e Apple Vision Pro
- A aparência das legendas pode ser personalizada no menu de reprodução do vídeo ou em Settings
- As legendas geradas estarão disponíveis em inglês para os Estados Unidos e Canadá
Controle de cadeira de rodas motorizada no Apple Vision Pro
- Alguns usuários de cadeiras de rodas motorizadas não conseguem dirigir com joystick, e controles alternativos de condução podem ser essenciais para a mobilidade independente
- O preciso sistema de rastreamento ocular do Apple Vision Pro é usado como uma forma de entrada altamente responsiva para sistemas compatíveis de condução alternativa
- O rastreamento ocular do Vision Pro funciona em diferentes condições de iluminação e não exige recalibração frequente
- O recurso será lançado nos Estados Unidos com os sistemas alternativos de condução Tolt e LUCI
- O suporte a acessórios inclui conexões Bluetooth e com fio, sendo que a conexão com fio exige a compra do Apple Vision Pro Developer Strap
- A Apple diz que continuará trabalhando com desenvolvedores para oferecer suporte a mais sistemas de condução para cadeiras de rodas
- Esse recurso e o Apple Vision Pro foram projetados para uso em ambientes controlados, com mais informações em support.apple.com/en-us/118507
- Pat Dolan, que vive com ALS há 10 anos, afirmou que ter uma opção para controlar sua cadeira de rodas motorizada por conta própria é “como ouro” para ele
Hikawa Grip & Stand for iPhone
- O Hikawa Grip & Stand for iPhone será lançado globalmente na Apple Store online em três novas cores
- É um acessório MagSafe criado pela designer Bailey Hikawa, de Los Angeles, com foco em acessibilidade
- Pessoas com diferentes deficiências que afetam pegada, força e mobilidade participaram do desenvolvimento
- Trata-se de uma empunhadura e suporte adaptável que ajuda o usuário a segurar o iPhone da forma que melhor lhe convier
- A colaboração entre Hikawa e PopSockets torna esse acessório adaptável disponível globalmente pela primeira vez
- A Apple The Grove, em Los Angeles, receberá uma sessão do Today at Apple com participação de Hikawa, Shane Burcaw e Alex Barone
- Os países com disponibilidade de compra são Australia, Austria, Belgium, Canada, China, Denmark, France, Hong Kong, Italy, Japan, the Netherlands, Singapore, South Korea, Spain, Sweden, Switzerland, Taiwan, the United Arab Emirates, the UK e the U.S., com compra em apple.com
Outras atualizações de acessibilidade
- O Vehicle Motion Cues chega ao visionOS para ajudar a reduzir enjoo ao usar o Apple Vision Pro como passageiro em um veículo em movimento
- O Vision Pro passa a oferecer suporte a gestos faciais para executar toques e ações do sistema
- O Vision Pro também ganha uma nova forma de selecionar elementos com os olhos durante o uso do Dwell Control
- O Touch Accommodations traz uma nova forma de personalizar ajustes do iOS e do iPadOS
- Os Made for iPhone hearing aids passam a oferecer emparelhamento e handoff mais confiáveis entre dispositivos Apple no iOS, iPadOS, macOS e visionOS, além de uma experiência de configuração aprimorada
- O suporte a Larger Text chega ao tvOS para permitir que espectadores com baixa visão aumentem o tamanho do texto na tela e leiam com mais facilidade
- O Name Recognition permite que usuários surdos ou com perda auditiva recebam um alerta quando alguém disser seu nome, funcionando em mais de 50 idiomas no mundo
- Uma nova API para desenvolvedores de apps de interpretação em língua de sinais permitirá adicionar um intérprete humano a chamadas de vídeo em andamento no FaceTime
- O Sony Access controller poderá ser conectado como game controller no iOS, iPadOS e macOS
- No Sony Access controller, é possível personalizar o layout configurando o analógico, 9 botões integrados e até 4 botões externos adicionais ou switches especiais
- Os usuários podem combinar dois controles para criar uma experiência de jogo ainda mais personalizada
Idiomas disponíveis e restrições regionais
- O Apple Intelligence é oferecido em beta e tem suporte para English, Danish, Dutch, French, German, Italian, Norwegian, Portuguese, Spanish, Swedish, Turkish, Vietnamese, Chinese (simplified), Chinese (traditional), Japanese e Korean
- Alguns recursos podem não estar disponíveis em todas as regiões ou idiomas
- A disponibilidade de recursos e idiomas, além dos requisitos de sistema, pode ser consultada em support.apple.com/en-us/121115
1 comentários
Comentários do Hacker News
A Apple gosta de inserir discretamente novas tecnologias em lugares comuns e testá-las meio às escondidas em público, então lançar IA agêntica primeiro como recurso de acessibilidade parece bem a cara da Apple
A Touch Bar não era só uma barra OLED simples, e sim o primeiro movimento em direção à transição do Mac para Apple Silicon; o chip Apple T1 do MacBook com Touch Bar de 2016 foi o primeiro processador totalmente projetado pela Apple a entrar num Mac
Ele assumiu do chipset da Intel funções como gerenciamento de energia, ventoinhas, repouso/despertar, acesso à câmera e ao microfone, e o Secure Enclave do Touch ID; depois o T2 também passou a cuidar da criptografia do SSD, gerenciamento de áudio, processamento de imagem da câmera e proteção do processo de boot contra adulteração
O iPhone 3G vinha com a ferramenta de ejeção do SIM em Liquidmetal, uma liga metálica personalizada quase impossível de dobrar à mão; depois a Apple nunca lançou um produto usando essa liga, mas quase 20 anos depois há rumores de que ela usará metal líquido num iPhone dobrável
O RealityKit também já tinha havia anos escaneamento 3D e vários recursos de AR cujo propósito não era claro até o lançamento do Apple Vision Pro
As pessoas odiavam a Touch Bar, e só anos depois ela ficou boa em casos em que entusiastas hackearam e ajustaram a tecnologia para adicionar funções mais profundas
Fazer uma ferramenta de ejeção de SIM com uma liga cara também não fazia sentido, e RealityKit e Vision parecem soluções em busca de problema, com o próprio Vision já indo mal
O 3D Touch também tinha problemas de descobribilidade e usabilidade, e há muitos outros exemplos assim
Não gosto muito de como um material que existe há décadas parece virar praticamente sinônimo da marca Apple
O motivo de ele não ser muito usado é principalmente o custo altíssimo, mas quando você está na posição da Apple, com demanda garantida de dezenas de milhões de peças, fica muito mais fácil fechar a conta
Li que, ao gravar vídeo ou tirar foto, a lente acende ou pisca de forma mais evidente do que na Meta, o que talvez ajude na questão de privacidade, e pelo menos não é a Meta
Eu gosto dos óculos inteligentes da Meta, mas os dois pares que tive quebraram e não há loja onde obter suporte, então quando sair um produto da Apple pretendo trocar rapidamente
Do ponto de vista de desenvolvedor, as APIs de acessibilidade em nível de sistema operacional da Apple são realmente boas
O ponto que quebra é a fronteira onde o WebKit é embutido dentro de apps nativos
Eu distribuí um app em Tauri com o editor Monaco dentro de um WKWebView e descobri do jeito difícil que o modo
accessibilitySupport: autodo VoiceOver silenciosamente quebra a seleção de texto retroativa no MonacoTive que configurar como
"off"para a seleção funcionar direito, e no fim precisei escolher entre seleção de texto normal e suporte ao VoiceOver; a resposta foi ficar com a seleçãoEm AppKit/UIKit é sólido, mas desmorona justamente na fronteira do WebView embutido onde a maioria dos apps desktop de hoje de fato se estabelece
Há algum tempo me cadastrei no Be My Eyes como uma pessoa vidente
Não recebi tantas chamadas quanto eu esperava, mas foi bom poder ajudar algumas vezes
Já li um envelope de correspondência, já li um frasco de remédio, e uma vez ajudei dois homens engraçados sentados numa grande poltrona macia com várias caixas de cereal em sacolas de compras, querendo saber qual era qual
Lembro que um deles realmente detestava um tipo específico
O app tinha um recurso curioso em que a pessoa vidente podia ligar a câmera da pessoa com deficiência visual
https://www.bemyeyes.com
Acho muito legal que a IA funcione bem o bastante para que pessoas com deficiência visual resolvam seus próprios problemas
Ainda assim, havia algo muito humano e bom em ajudar um estranho com uma tarefa pequena e aleatória
Tenho uma lembrança muito boa de uma senhora idosa que derrubou uma caixa de mirtilos no chão da cozinha, e eu fui orientando até ela encontrar todos
Foram 10 minutos divertidos conectando-se com uma desconhecida, e quatro anos depois isso ainda me aquece o coração
Como uma pessoa totalmente cega, comecei a usar o app depois da adição da IA, e ele funciona muito bem para coisas como ler rótulos de alimentos depois que as crianças mudam as coisas de lugar ou verificar se a TV está ligada
Se eu ainda morasse sozinho, provavelmente também usaria a função com voluntários, mas hoje não é o caso
É uma coisa boa, e não estou criticando isso, mas me inscrevi anos atrás, nunca recebi uma ligação e no fim apaguei o app
Uma coisa que a Apple realmente precisa acertar é a fala para texto
Em acessibilidade ela acertou bastante coisa, mas em transcrição de voz parece estar atrasada não 10 anos, mas pelo menos 5
Digitar no iPhone hoje em dia é horrível
A rejeição de toque da palma claramente piorou em relação ao passado, então os erros de toque são mais frequentes, e o algoritmo de autocorreção também ficou pior, muitas vezes alterando errado uma palavra várias posições antes de onde eu estava digitando
O reconhecimento de voz também não melhorou, e o próprio formato do telefone cansa os dedos
Gostaria que usar um iPhone deixasse de ser uma provação
A solução da Apple, em comparação, parece coisa do século passado
O mesmo vale para o texto para fala da Apple, num cenário em que ElevenLabs e OpenAI estão muito à frente
O que eu preciso é apenas que o iPhone ofereça esse tipo de recurso nativamente com a mesma qualidade, porque no ecossistema fechado da Apple é assim que ele pode ser usado em qualquer lugar
Ontem descobri outro “recurso” horrível de entrada no iPhone
Se você estiver navegando por uma lista num app de CarPlay de terceiros e, instantes antes de tocar para selecionar algo, pisar primeiro no acelerador, a lista é truncada para restarem só alguns itens e volta para o topo
Excelente forma de reduzir distrações ao volante. Da próxima vez, o destino no mapa muda quando o carro se mover?
Eu gostaria que a pesquisa em interação humano-computador fosse aplicada de forma mais ampla, e acho que ecossistemas como automóveis/CarPlay deveriam responder judicialmente quando fazem coisas tão idiotas
Já dirigi um carro em que a câmera de ré ficava escondida atrás de um aviso legal toda vez que era ativada, e aposto que pelo menos um pedestre foi atropelado por um carro dando ré enquanto aquela tela estava visível
O fabricante deveria ser 100% responsável por decisões de UI tão ruins
Também aprendi essa dica no HN
Basta abrir Ajustes, tocar em General, ir até Keyboard e desativar Slide to Type
Quase uma palavra sim, outra não eu preciso corrigir o que digitei, ou o que o iPhone acha que digitei
Enquanto corrijo, a autocorreção cria novos erros de digitação ainda mais incompreensíveis
Às vezes chega a um nível de insanidade tipo sonho febril em que de repente você não consegue mais fazer direito algo cotidiano
O pior é que antes era bom
No iPhone 4S eu digitava com velocidade e precisão quase de teclado completo
https://www.theregister.com/on-prem/2023/08/16/those-who-rel...
Eu gostaria que ao menos dois bugs grandes fossem corrigidos
Mesmo onde há suporte, a entrada falha de forma aparentemente aleatória, e muitos apps de grandes empresas, como o OneNote, não suportam ditado de jeito nenhum
Nesses casos deveria haver pelo menos um caminho alternativo, como havia décadas atrás com o Dragon Dictate
A capitalização ainda é aleatória, então continuam existindo muitos erros a corrigir
A Apple parece tratar acessibilidade menos como funcionalidade real e mais como material para viabilizar comunicados de imprensa exibicionistas
Fato curioso: este vídeo foi tornado acessível para pessoas videntes
Nenhuma pessoa cega de verdade ouviria fala nessa velocidade, e quando você vê como pessoas cegas usam computador fica impressionado com a capacidade delas de ouvir áudio em velocidades difíceis até de imaginar
Um exemplo que eu sempre cito é este vídeo de Saqib Shaikh, engenheiro de software cego da Microsoft, apresentando o Visual Studio
O link já aponta para esse momento específico
Fiquei absolutamente chocado com a velocidade com que o leitor de tela dele lia o conteúdo, e para mim era completamente impossível entender
A eficiência com que ele dominava atalhos de teclado faria até a elite do vim/emacs passar vergonha
Uma voz robótica muito rápida pode soar bastante áspera e irritante, e até pessoas cegas que dependem disso às vezes se sentem superestimuladas
Li sobre pessoas cegas que aprenderam ecolocalização com som, e isso parece um superpoder tão incrível que às vezes penso em desligar o monitor e aprender a usar as ferramentas do jeito certo
Uma colega cega com quem trabalhei há alguns anos sempre deixava a tela desligada, então a bateria do notebook dela durava quase o dobro da dos demais, o que por si só já era um ótimo recurso
Mesmo sem chegar a um nível absurdo de ecolocalização, já seria legal chegar à metade disso, e ainda haveria o bônus de conseguir fazer QA de mudanças de acessibilidade de verdade
Isto parece uma aplicação realmente útil de LLMs
Queria que mais empresas focassem em como ajudar as pessoas, em vez de substituir pessoas ou espremê-las ao máximo em nome da produtividade
Minha experiência se limita a pais idosos com visão debilitada, mas, se você ajusta o tamanho da fonte para o que a Apple permite, o celular se torna impossível de ler
Em todos os apps, tanto de primeira parte quanto de terceiros, o texto vaza para fora da tela
No exemplo da conta, o usuário é orientado a confirmar com o fornecedor, mas não entendo por que o sistema não liga para o número da própria conta
Em vez de mandar usar detecção de texto, por que não fazer isso diretamente? Se é Apple Intelligence, ela já deveria ter essa capacidade
Temo que, no melhor cenário, isso acabe sendo só um recurso de fachada
Dito isso, a pegada parece boa, e espero que não coloquem o imposto Apple nisso
Ela trata o avanço de novas indústrias como tecnologia, não como o produto em si
IA não será o produto, e sim uma funcionalidade para melhorar a experiência do cliente
Só espero muito que o problema desta outra postagem(https://news.ycombinator.com/item?id=48178378) não se torne comum a ponto de colocar esse tipo de recurso útil em risco
No curto prazo isso parece improvável, mas à medida que os casos de uso aumentam, também aumentam os agentes mal-intencionados
É elogiável que a Apple use essa tecnologia para ajudar quem precisa
Mas não precisamos fingir desconhecer por que a maioria das empresas não investe nesse caminho
Todo mundo sabe muito bem o motivo, e esse tipo de coisa sempre acaba sendo empurrado para um vago “outra pessoa” resolver
Parece que todo mundo pulou essa parte, mas o controle por olhar para cadeiras de rodas motorizadas parece uma ideia muito boa
Pode ser só impressão minha, e talvez até já seja uma ideia antiga
VR completo não decolou bem, mas isso me faz continuar pensando se existe um mercado para dispositivos mais leves e finos
Se couber em algo do tamanho de óculos normais, eu poderia me interessar por um dispositivo de controle pelo olhar
Se tiver um sistema HUD, melhor ainda, mesmo que seja algo bem básico mostrando só alguns símbolos
Se tiver áudio básico também, melhor, mas manter o formato de óculos normais importa mais do que HUD ou áudio
Seguindo o link da referência, há exemplos como https://www.tolt.tech
O interessante é que a Apple integrou isso ao sistema operacional
Dá muito a impressão de ser um daqueles recursos que a Apple lança antes para amadurecer, antes de o hardware oficial estar pronto
O valor total desta conta é $83.89. Antes de pagar, confirme esse valor com a empresa de serviços públicos ou use o Text Detection para verificar esse valor
Talvez seja melhor pedir a alguém de confiança para ler os números do que ligar para a empresa, mas nem todo mundo tem essa opção
Essa frase obviamente precisa estar ali; é parecido com o ChatGPT escrever no rodapé “verifique tudo o que informamos”
Algo como: “O valor total desta conta é $83.89, 4% acima da conta do mês passado da mesma empresa”
É uma pena que a Apple tenha removido do vídeo publicitário no YouTube a narração do leitor de tela dizendo “the Apple logo”
https://www.youtube.com/watch?v=B3SmsSCvoss
Na minha opinião, essa parte era o que dava destaque ao anúncio
"English descriptive"Sinceramente, como pessoa cega e desenvolvedor cego, no melhor cenário a maior parte desses recursos me deixa indiferente
Apps de terceiros como Seeing AI, Envision AI, BeMyEyes e Aira já fazem a maior parte disso
Então, no melhor dos casos, isso só faria mais rápido e on-device o que esses apps já fazem, o que também pode significar menos precisão, então é preciso ver
Enquanto isso, o VoiceOver do macOS, que é o leitor de tela da plataforma, foi deixado praticamente em modo de manutenção, e usuários precisaram criar por conta própria soluções de terceiros bastante impressionantes para adicionar recursos que leitores de tela equivalentes no Windows já tinham havia muito tempo
Desse ponto de vista, tudo isso parece um tanto performático, embora eu ainda possa acabar me surpreendendo positivamente
O que me anima um pouco são melhorias no Voice Control
Porque não parece nada agradável ter que ficar adivinhando o nome programático dos botões ou usar grade numérica para mirar elementos
Quanto à velocidade da voz, aumentar bastante a velocidade exige prática considerável, e trocar de voz também requer algum reaprendizado
Vozes mais “humanas” muitas vezes ficam mais difíceis de acompanhar em velocidades muito altas, então muita gente prefere vozes mais robóticas, mas consistentes, e ainda não confia em TTS baseado em IA
Esse tipo de voz costuma desmoronar com frequência quando você aumenta demais a taxa de fala
A questão de esperar o julgamento do público-alvo real é muito importante
Cada vez mais empresas e pessoas falam sobre acessibilidade, criam soluções de acessibilidade e evangelizam IA para acessibilidade sem nunca sequer conversar com as pessoas que dizem querer ajudar
Isso quase certamente leva a erros, e em casos mais graves pode causar mais dano do que ajuda
Para fazer acessibilidade direito, inclusive em produtos de IA, é preciso contratar pessoas com experiência vivida real
Caso contrário, o resultado são textos de tradução automática, segurança que bloqueia hackers com um clique e cafeterias com IA que pedem milhares de luvas de borracha
Por acaso, acrescentando: no momento eu tenho tempo para um projeto novo :P
Como alguém fazendo a transição de uma visão “ruim, mas corrigível” para baixa visão, isso também teve valor para mim
Eu não conhecia esses apps, e estava justamente procurando esse tipo de tecnologia assistiva
A Apple parece construir esse tipo de produto sem jamais falar com pessoas que têm o problema em questão
Curiosamente, estamos desenvolvendo um concorrente para os apps de terceiros mencionados, e meu colega tem bastante experiência por ter pais cegos
Há um MVP online, mas ainda não é nada demais, e eu não quero ser o cara do “ah, eu fiz esse app, viu?”
Só fiquei confuso com o ponto de que o processamento on-device pode acabar sendo fachada
De forma ingênua, eu imaginava que isso fosse uma grande vantagem justamente por significar que sempre funcionaria, independentemente do serviço de telefonia
Em metrô, avião, lugares remotos etc.
Em separado, tenho curiosidade de saber qual app faz mais diferença no dia a dia