Apple quer IA rodando diretamente no próprio hardware, não na nuvem

Apple quer executar IA diretamente no hardware, e não na nuvem

• A Apple apresentou recentemente, por meio de uma pesquisa, uma forma de executar grandes modelos de linguagem em smartphones, revelando assim seu plano de alcançar os concorrentes no campo da inteligência artificial
• O artigo de pesquisa "LLM in a Flash" propõe uma solução para os atuais gargalos computacionais e abre caminho para inferência eficiente de LLMs em dispositivos com memória limitada
• Essa abordagem abre caminho para a forma como grandes repositórios de dados que alimentam apps como o ChatGPT respondem às perguntas dos usuários, ou seja, como realizam inferência

Pesquisa de IA da Apple e perspectivas de mercado

• A Apple vem mostrando novos movimentos em pesquisa de IA, como permitir que o modelo de geração de imagens Stable Diffusion rode em seus próprios chips
• Fabricantes de smartphones e de chips esperam que novos recursos de IA revitalizem o mercado de smartphones e, segundo a Counterpoint Research, mais de 100 milhões de smartphones centrados em IA devem ser enviados em 2024
• Embora tenha lançado a Siri em 2011, existe a percepção de que a Apple ficou um pouco à margem do entusiasmo com inteligência artificial que tomou o Vale do Silício após o lançamento do ChatGPT, da OpenAI

Desafios técnicos e privacidade

• Executar grandes modelos de IA como o ChatGPT ou o Bard, do Google, em dispositivos pessoais é algo tecnicamente muito desafiador, já que smartphones não têm os vastos recursos computacionais e energéticos de data centers
• Resolver esse problema pode permitir que assistentes de IA respondam mais rápido do que via nuvem e funcionem offline; além disso, ao responder perguntas no próprio dispositivo, os dados não precisariam ser enviados à nuvem, o que também pode ajudar na privacidade

Conclusão do artigo

• Os pesquisadores da Apple dizem o seguinte na conclusão do artigo

  “Nossa pesquisa não apenas oferece uma solução para os gargalos computacionais atuais, como também estabelece um precedente para pesquisas futuras. Acreditamos que, à medida que a escala e a complexidade dos LLMs continuarem a crescer, abordagens como este trabalho serão essenciais para aproveitar plenamente o potencial dos LLMs em uma ampla gama de dispositivos e aplicações”

Opinião do GN⁺

• Esta pesquisa da Apple abre a possibilidade de oferecer aos usuários de smartphones uma experiência de IA mais rápida e mais pessoal.
• Considerando as preocupações dos usuários com privacidade, processar dados no dispositivo pessoal em vez de na nuvem pode ser uma alternativa atraente para muitas pessoas.
• Se essa tecnologia for comercializada, espera-se que os usuários possam usar recursos avançados de IA mesmo sem conexão com a internet, melhorando bastante a usabilidade e a conveniência dos smartphones.

[GN⁺]

Comentários do Hacker News

• Dizer que a Apple ficou para trás em inteligência artificial (IA) é loucura.

  • A OpenAI está chamando atenção, mas a busca se baseia em anúncios de links e venda de dados, o que a torna menos promissora para IA.
  • A IA "grande" atual está limitada pelos custos de nuvem para treinamento, e os grandes players estão se esforçando para levar software ao hardware.
  • A OpenAI fala sobre AGI (inteligência artificial geral) enquanto trabalha com parceiros comerciais no mundo todo, mas isso não é mais realista do que criptomoedas substituindo bancos centrais.
  • Enquanto isso, a Apple já equipa seus dispositivos com processadores neurais há mais de 4 anos, e recursos de IA estão presentes em todas as campanhas de marketing.
  • A realidade aumentada do VisionOS oferece um novo espaço para utilidades de IA, com foco não só em diversão, mas também no trabalho, à medida que o trabalho remoto se torna a regra.
  • A Apple é o único ecossistema seguro e que preserva a privacidade que existe.

• Fico feliz em ver IA rodando no hardware como parte das versões mais recentes do iOS.

  • A pessoa compartilha uma experiência em que a Siri descreveu corretamente o conteúdo de uma foto ao receber uma mensagem enquanto dirigia.
  • Como esse recurso é criptografado de ponta a ponta (E2E), a identificação provavelmente aconteceu localmente, e não enquanto a mensagem era transmitida.
  • Isso é interessante como uma atualização de melhoria de qualidade, e há expectativa de que cresça à medida que a IA passe a fazer mais processamento no hardware.

• Recomenda-se experimentar o Mistral 7B em dispositivos móveis.

  • A pessoa diz ter usado o app em um iPhone 15 e avalia o desempenho como muito bom.
  • O ponto negativo é que o app precisa de quase toda a memória do telefone; se você trocar para outro app e voltar, o estado é reiniciado e o modelo precisa ser carregado novamente do zero.

• Com os celulares/dispositivos poderosos do mundo atual, rodar IA no dispositivo parece ser o próximo passo.

  • A pessoa usa um celular de 2021 com especificações fortes e acredita que a Apple vai querer descarregar apps de IA caros nesses dispositivos potentes dos usuários.
  • Isso parece uma vitória para a privacidade para quem não quer que seus dados pessoais sejam usados em treinamento, além de permitir maior controle sobre qual modelo usar e quais princípios éticos ele segue.

• A biblioteca CoreML da Apple já existe há alguns anos e inclui modelos BERT.

  • Há expectativa de que iOS e iPadOS passem a adotar modelos transformer mais avançados do que o BERT.
  • O iPad Pro tem 16 GB de RAM e consegue rodar modelos 13B.
  • Depois de comprar um Mac Mini com 32 GB, a pessoa sentiu que os modelos que consegue executar melhoraram muito em apenas 6 semanas.
  • A expectativa para o futuro é alta.

• É interessante que a IA tenha potencial para criar um novo ciclo de upgrades de smartphones.

  • Ainda não está claro se os recursos de IA realmente vão justificar um upgrade; se impactarem a duração da bateria, a proposta de valor pode não mudar muito.

• Diante dos riscos de privacidade apresentados pela IA, rodar localmente parece ser a melhor abordagem.

  • No futuro, a pessoa quer ampliar sua capacidade cognitiva em 10 vezes com IA, e para isso as informações precisariam ser trocadas com o cérebro em tempo real.
  • Não quer isso conectado a sincronização de dados em nuvem para que anunciantes e agências de espionagem possam bisbilhotar seus pensamentos.

• A Apple reduz o custo de operar infraestrutura para oferecer opções de IA/ML aos usuários de iPhone.

  • Isso economiza custos ao distribuir o processamento e aproveitar o investimento já feito na fabricação dos dispositivos.
  • Também oferece privacidade ao consumidor, já que os dados não saem do telefone.

• Fico curioso sobre como empresas como a OpenAI reagirão se a IA no dispositivo se tornar dominante.

  • Como o modelo de negócios delas é baseado em acesso via API, talvez comecem a vender modelos offline.
  • Mas, nesse caso, pode surgir um problema de pirataria.

• A Apple deixou explícita a intenção de rodar IA no dispositivo, embora tenha destinado pouco espaço adicional no die ao Neural Engine nas gerações mais recentes.

  • Há algumas explicações possíveis para isso, e a pessoa gostaria de ouvir a visão de quem entende melhor do assunto.
  • Talvez a Apple ache que o hardware atual já seja suficientemente poderoso, ou que o nível de utilização do ANE não justifique mais recursos.
  • Também pode estar planejando generalizar o cálculo de IA novamente por meio de coisas como operações vetoriais.
  • No cenário mais pessimista, talvez esteja guardando um grande salto para quando precisar forçar upgrades.