Tensor G3 do Pixel 8 Pro transfere tarefas de IA generativa para a nuvem

 (notebookcheck.net)
1 pontos por GN⁺ 2023-10-23 | 1 comentários | Compartilhar no WhatsApp
  • Os novos recursos de IA generativa do Pixel 8 Pro não são processados diretamente no Tensor G3, mas passam pelos servidores do Google, revelando a lacuna entre o marketing do Google centrado em chips de IA e a experiência real percebida
  • AI Wallpaper e Magic Editor exigem conexão permanente com a internet, e o ponto central da discussão é que as tarefas solicitadas pelo usuário são processadas na nuvem, não dentro do aparelho
  • O Google apresentou o Tensor G3 como um chip “AI-first”, enfatizando machine learning on-device e uma base para IA generativa, mas alguns recursos emblemáticos estão longe de rodar localmente
  • O Notebookcheck adicionou um breve vídeo de confirmação mostrando que Magic Editor e AI Wallpaper exigem conexão contínua com a internet para processamento baseado na nuvem
  • Segundo o Geekbench 6, apesar de contar com uma arquitetura de CPU moderna, o Tensor G3 fica mais próximo do Snapdragon 7+ Gen 2 do que do Snapdragon 8 Gen 2, colocando em evidência tanto a promoção dos recursos de IA quanto a discussão sobre o desempenho do chip

Lançamento do Pixel 8 Pro e críticas ao Tensor G3

  • O Pixel 8 Pro é tratado como um caso de lançamento mais turbulento do que o habitual para a linha flagship do Google
  • Arun Maini, conhecido como @Mrwhosetheboss, concedeu ao Pixel 7 Pro do ano anterior o prêmio de “Best Smartphone of 2022”, mas não dedicou o mesmo nível de elogios ao Pixel 8 Pro
  • Também houve elementos vistos de forma positiva na série Pixel 8
    • Design
    • Acabamento em vidro fosco na traseira do Pixel 8 Pro
    • Software avançado
    • Desempenho em fotos estáticas
    • Recursos baseados em IA como Best Photo, Magic Editor e Audio Magic Eraser
  • Entre os pontos decepcionantes, foram citados o comportamento estranho do zoom durante a troca de lentes e a estabilização de vídeo com aparência artificial
  • A maior crítica se concentrou no processador Tensor G3 da série Pixel 8

Dependência de servidores nos recursos de IA generativa

  • Maini considera que novos recursos de IA generativa como AI Wallpaper e Magic Editor exigem mais computação do que o SoC Tensor G3 é capaz de oferecer
  • Esses recursos exigem conexão permanente com a internet
    • Todas as ações do usuário precisam passar pelos servidores do Google
    • Ele avalia que a lentidão é perceptível a ponto de deixar claro que os recursos não rodam no próprio aparelho
  • O sentido da citação de Maini é o seguinte
    • Recursos que criam algo com IA generativa exigem conexão permanente com a internet
    • As tarefas são processadas pelos servidores do Google
    • Ele afirma que isso faz perceber que o Tensor G3 não está no nível de um flagship

Conflito com o marketing do Google para o Tensor G3

  • O Google promove o Tensor G3 como “AI-first”, enfatizando sua capacidade de processamento de IA
  • Em um post no blog oficial do Google, Monika Gupta, VP de Gerenciamento de Produto do Google, apresentou os seguintes pontos
    • Grande parte das inovações recentes em IA foi construída sobre capacidade computacional de nível de data center
    • Para usar o poder transformador da IA no cotidiano, ele precisa estar acessível nos dispositivos usados todos os dias
    • O Tensor G3 é o chip de silício personalizado mais recente do Google
  • O Google explica que o Tensor G3 expande os limites do machine learning on-device
    • A empresa afirma que ele leva diretamente ao Pixel 8 e ao Pixel 8 Pro os resultados mais recentes da pesquisa em IA do Google
    • Diz que o objetivo do Tensor não é velocidade ou métricas tradicionais de desempenho, mas avançar a experiência de computação móvel
    • Explica que os principais subsistemas foram atualizados e que foi criada uma base para IA generativa on-device
    • Inclui CPUs Arm modernas, GPU atualizada, novo ISP e Imaging DSP, além de uma TPU de próxima geração projetada para executar modelos de IA do Google

A questão da IA on-device vista pela explicação da Arm

  • A forma como as tarefas de IA generativa do Pixel 8 Pro são processadas entra em conflito com a mensagem de IA on-device enfatizada pelo Google
  • Embora o Google minimize a importância das métricas de desempenho, a Arm enfatiza o papel da CPU e da GPU em tarefas de IA
  • A Arm explica que, à medida que as operações de IA se movem da nuvem para o local onde os dados são coletados, as tecnologias de CPU e MCU da Arm processam a maior parte das cargas de trabalho de IA e ML na borda e nos endpoints
  • Segundo a explicação da Arm, a CPU está no centro de todos os sistemas de IA, seja processando IA sozinha, seja lidando com tarefas específicas junto com processadores auxiliares como GPU ou NPU
  • Nesse contexto, há uma diferença entre a explicação do Google, que faz parecer que as tarefas de IA são tratadas apenas pela TPU, e a explicação da Arm

Bloqueio de benchmarks e resultados no Geekbench 6

  • Durante o período de embargo das análises, não era fácil instalar apps populares de benchmark pela Play Store
  • Essa restrição continuou após o lançamento, mas, depois da matéria do Notebookcheck, o Google removeu o bloqueio
  • No benchmark multiplataforma Geekbench 6, da Primate Labs, o Tensor G3 apresentou pontuações de CPU abaixo do esperado, apesar de contar com uma arquitetura de CPU moderna
  • O desempenho do Tensor G3 se mostrou mais próximo do chip intermediário Snapdragon 7+ Gen 2 do que do chip flagship atual Snapdragon 8 Gen 2
  • Vídeos curtos adicionados em uma atualização confirmam que os novos recursos de IA do Pixel 8 Pro, incluindo Magic Editor e AI Wallpaper, exigem conexão contínua com a internet

Leituras relacionadas

1 comentários

 
GN⁺ 2023-10-23
Opiniões no Hacker News

  • O Google disse o seguinte: “No novo chip Tensor G3, atualizamos todos os principais subsistemas para abrir caminho para a IA generativa on-device”
    Isso certamente é uma formulação com margem para escapar, e não precisa significar que, de fato, toda IA generativa rode no Tensor G3. Também dá para argumentar que o trabalho feito no G3 foi uma preparação para chips futuros. Ainda assim, executar IA generativa em um SoC móvel, especialmente on-device com desempenho e consumo de energia decentes, ainda parece bem forçado

    • No iOS há apps que executam localmente no aparelho modelos do tipo Stable Diffusion
      https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
      O chip Tensor também parece ter desempenho suficiente para fazer a mesma coisa, mas acho que evitam a execução local por baixa eficiência
    • Não entendo por que essa é a principal reclamação. O embargo pós-lançamento para esconder dos consumidores o desempenho real é um problema muito maior

  • Olhando a citação do Google, eles disseram que “o Tensor não tem a ver com velocidade nem métricas tradicionais de desempenho, mas com impulsionar a experiência de computação móvel… abre caminho para a IA generativa on-device… traz uma TPU de última geração projetada sob medida para executar modelos de IA do Google”
    Então por que é necessária uma conexão com a internet? Fico curioso se isso falhou no último minuto e eles tiveram que lançar assim, ou se desde o início era só texto publicitário

    • Mesmo dizendo que “o Tensor não tem a ver com velocidade nem métricas tradicionais de desempenho”, em [1] eles dizem que “o Pixel 8 e o Pixel 8 Pro vêm com o Google Tensor G3, o chip mais rápido, eficiente e seguro do Google… todos os principais componentes foram atualizados para melhorar desempenho e eficiência… o número de modelos de machine learning on-device mais que dobrou desde 2021, e a complexidade e sofisticação também aumentaram”
      Isso soa bastante como uma conversa sobre desempenho
      [1] https://store.google.com/intl/en/ideas/articles/google-tenso...
    • Parece bem provável. Se o desempenho do chip ficar abaixo do esperado, é só bloquear o uso de apps de benchmark e dizer à imprensa que, para começo de conversa, eles nunca se importaram com velocidade. Problema resolvido
    • Um chip on-device para algumas tarefas de IA é bem diferente de placas de vídeo, GPUs e aceleradores avançados de nível servidor que consomem centenas de watts para rodar IA generativa
      Mesmo o estado da arte em IA generativa de baixo nível hoje é rodar modelos otimizados em GPUs de classe desktop e obter resultados não muito bons. Um celular tem dificuldade para fazer isso. Muito machine learning roda no aparelho, e mais coisas estão migrando para lá, mas IA generativa ainda não parece estar nesse ponto
    • É bem claro. Algumas tarefas de machine learning são fáceis o bastante para um celular, por exemplo reconhecimento de voz. Outras não, por exemplo inpainting
      Embora o Google use uma linguagem um pouco escorregadia, não é surpreendente que um modelo de machine learning que exige uma GTX 4090 não rode em um celular
    • Foi exatamente a mesma dinâmica da negative latency do Stadia, e aquilo nunca foi implementado de fato até o Stadia ser encerrado

  • Alguém verificou o tráfego de rede para ver se, ao usar o Magic Editor, o processamento é de fato enviado para fora? Ou é uma conclusão inferida pelo fato de exigir conexão com a internet?
    Não existe a possibilidade de que a internet seja necessária apenas para baixar um novo modelo, enquanto o processamento ainda aconteça no aparelho?

    • O Magic Editor, ou seja, o botão de arco-íris do Google Fotos, só funciona se o backup na nuvem estiver ativado, então dá para assumir que sim
    • Essa parece ser a resposta mais plausível, mas por aqui parece não estar recebendo muita atenção

  • Até certo ponto faz sentido. IA generativa tem custo muito alto
    Mas geração é apenas uma categoria de tarefas de IA, e previsão/inferência provavelmente é a área em que o Tensor é usado principalmente. No Magic Eraser, “encontrar objetos na foto” pode ser feito no aparelho, e “decidir o que preencher depois de apagar o objeto” pode ser feito no servidor

    • Existem inferência e treinamento, e generativa também é inferência

  • Se estão mandando para a nuvem, então para que exatamente serve o processador de IA do Tensor G3?

    • Ele é usado para algumas tarefas não generativas, como reconhecimento de voz, mas outros chips também conseguem fazer esse tipo de tarefa
      A única parte em que o Tensor G3 parece melhor é evitar o hábito da Qualcomm de descontinuar cedo chips de smartphone para consumidores
    • Não sei se ele oferece aceleração por hardware para operações HTTP
    • Credibilidade para marketing

  • Segundo a resposta de IA do Google, o Google Pixel 8 Pro consegue executar modelos de IA generativa localmente no aparelho, mas não todos
    No evento Made by Google de outubro de 2023, o Google anunciou que o chip Tensor G3 personalizado do Pixel 8 Pro consegue executar versões destiladas dos modelos de geração de texto e imagem do Google. Esses modelos podem alimentar recursos como edição de imagem e respostas inteligentes do Gboard. Porém, algumas tarefas de IA generativa, como executar grandes modelos de linguagem como o Bard, ainda exigem poder computacional demais para rodar localmente em um smartphone e são enviadas para a nuvem
    Como exemplos executáveis localmente, são listados Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies e resumos por IA do Google Recorder. Dizem que, com a melhoria dos chips Tensor, mais recursos de IA generativa poderão rodar on-device em Pixels futuros ʘ ‿ ʘ

  • Não é o “Tensor” que faz offload de alguma coisa; quem envia esse trabalho para o Google Cloud são os apps Android. Não sei bem o que o SoC tem a ver com isso

    • Quem criou esse app Android?
    • Então por que esses apps não usam o motor de IA local?

  • Assim que vi o título, pensei na Juicero
    Como é possível anunciar algo como on-device e, logo em seguida, enviar os dados para outro lugar?

  • Não é óbvio? Se recursos generativos de alta qualidade rodassem on-device, isso sim seria um avanço enorme

  • “Acho ok dizer que recursos de IA generativa que de fato precisam criar algo com IA, como gerar AI Wallpaper ou Magic Editor, exigem uma conexão permanente com a internet… eles são lentos demais, então você fica percebendo o tempo todo que não estão rodando on-device”
    O motivo pelo qual a IA generativa ficou boa é que ela ficou enorme e consome muitos recursos. Ela não é particularmente rápida nem em GPUs de consumo de mais de US$ 1.000. Reduzir essas tarefas generativas para caber em um ambiente pequeno on-device, mesmo sabendo que o resultado ficará muito pior, parece um enorme desperdício de tempo e esforço. Só que, nesse caso, continua a dúvida sobre o que exatamente o Tensor faz bem na borda, e é uma pergunta bem incômoda, já que fabricantes de chips como AMD, Qualcomm e ARM também estão colocando grandes redes neurais e Tensor cores

    • Literalmente qualquer coisa sensível a latência é adequada para processamento na borda. Reconhecimento de voz off-device vira uma experiência horrível quando a conexão não é perfeita
      Imagine clicar em um objeto no Photoshop e usar IA para encontrar as bordas, mas, a cada clique, ter que empacotar a imagem e enviá-la para a nuvem, esperando 5 segundos a cada seleção para agendamento, processamento e retorno. Também não faz sentido o foco de reconhecimento de objetos por machine learning no app da câmera se a nuvem estiver rastreando os objetos no visor com 3 segundos de atraso
    • Mesmo que isso seja aceitável, significa que é um processador fraco que não consegue fazer o que foi anunciado. Em desempenho, o G3 é pior que o Snapdragon Gen 2 e talvez esteja mais perto do Gen 1. Não tenho certeza se o consumo de bateria é parecido, e o Snapdragon Gen 3 deve sair em breve
    • Há reconhecimento de voz, detecção de palavra de ativação, reconhecimento de objetos, autocompletar etc.
      Em especial, a detecção de palavra de ativação é um processo de rodar continuamente uma rede neural convolucional relativamente pequena sobre uma janela fixa, então a eficiência energética é muito importante
    • Se estão anunciando essa “mágica” como on-device, então não está ok
      Pouco antes do lançamento do Pixel 8, li os artigos RealFill[0] e Break-A-Scene[1] publicados por pesquisadores do Google e, depois de tentar implementar rapidamente um ensemble de modelos, imaginei que os Tensor cores do G3 teriam dado um salto como os núcleos de processamento de linguagem natural e reconhecimento de contexto do Moto X de 2013[2], ou que entregariam um desempenho de inferência incrivelmente bom como o Coral[3], a edge TPU desenvolvida pelo Google. O Moto X oferecia implementações de Active Display, reconhecimento de gestos e reconhecimento de voz em ambientes barulhentos melhores que as de 95% dos dispositivos móveis atuais; o Coral também era excelente, mas, por causa da escassez de chips, do comportamento volúvel da empresa e da saída do IoT, a produção de hardware passou para a ASUS em 2022
      O ponto é que as suposições sobre desempenho de inferência em hardware de mais de US$ 1.000 estavam fundamentalmente erradas. Pelo jeito, ao se apoiar no termo da moda “generativo”, eles aprenderam as lições erradas com influenciadores do Twitter ou com tentativas recentes de implantação de grandes modelos de linguagem. Mesmo em dispositivos móveis, hardware customizado para tarefas específicas já foi possível no passado e chegou a ser desenvolvido de fato. Se não conseguiam cumprir os requisitos de desempenho, energia e tempo de processamento, deveriam ter ajustado o texto de marketing em vez de se expor de uma forma que poderia levar a uma ação coletiva relacionada ao hardware
      [0] https://realfill.github.io/
      [1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
      [2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
      [3] https://coral.ai/