Resumo do Google Web AI Summit 2024: IA no lado do cliente para desenvolvedores

• Em 18 de outubro de 2024, o Google realizou o primeiro Web AI Summit
• No lado do cliente, o uso de modelos de machine learning no navegador oferece inferência de baixa latência mesmo offline, redução de custos e proteção de privacidade

Resumo das principais sessões anunciadas

• Transformers.js: machine learning moderno para a web

  • Transformers.js é uma biblioteca JavaScript funcionalmente equivalente à biblioteca Python Transformers da Hugging Face, podendo ser usada diretamente na web
  • Suporta mais de 1.000 modelos pré-treinados e cobre diversas tarefas e modalidades, como texto, imagem e voz
  • Os usuários podem escolher modelos pré-treinados ou executar modelos personalizados diretamente no navegador
  • Com suporte a WebGPU, é possível aproveitar recursos modernos de GPU para execução rápida e eficiente de modelos

• API Web Neural Network (WebNN): presente e futuro

  • A API WebNN é uma nova API proposta como padrão web, uma ferramenta para executar tarefas de machine learning no lado do cliente de forma rápida e eficiente
  • Fornece recursos de aceleração de IA no navegador usando WebAssembly e WebGPU
  • Suporta aceleradores de hardware como CPU, GPU e NPU para executar tarefas de IA em vários dispositivos
  • Aborda os desenvolvimentos mais recentes da API, suporte a dispositivos, compatibilidade com frameworks e implementação nos navegadores

• Tecnologia Web AI PC da Intel

  • A Intel usa a API WebNN para oferecer aceleração de web ML no lado do cliente, permitindo execução de alto desempenho em CPU, GPU e NPU
  • Atualmente está disponível em versão developer preview nos navegadores Chrome e Edge
  • Integrada ao ONNX Runtime Web, pode ser usada com vários frameworks de machine learning
  • Por meio de demos e feedback inicial de usuários, demonstrou desempenho “próximo ao nativo” e o potencial de novas experiências web

• ml5.js: machine learning amigável para a web

  • ml5.js é uma biblioteca open source criada com base no TensorFlow.js e projetada para tornar o machine learning mais acessível
  • Oferece uma interface simples e intuitiva voltada para artistas, coders criativos e estudantes
  • Herdando a filosofia do p5.js e do Processing, aumenta a acessibilidade do código e facilita o processo de aprendizado
  • Inclui vários recursos, como reconhecimento de imagem, análise de texto e estimativa de pose, sendo fácil de usar até para iniciantes

• WebLLM: motor de inferência de LLM de alto desempenho no navegador

  • WebLLM é um motor de inferência de alto desempenho que permite executar grandes modelos de linguagem (LLMs) diretamente no navegador
  • Usa aceleração por GPU via WebGPU para oferecer inferência rápida
  • Todo o processamento acontece no lado do cliente, reforçando a privacidade e dispensando configuração
  • Oferece uma interface no estilo da API da OpenAI, permitindo integração padronizada e casos de uso variados, como aplicações de chat e geração de JSON estruturado

• Melhorando aplicações de LLM no navegador com LangChain

  • LangChain é um framework para desenvolver aplicações que usam pequenos LLMs executados no navegador
  • Para superar as limitações de modelos pequenos, usa LangGraph.js para projetar aplicações baseadas em estado e oferece técnicas de prompt otimizadas
  • Apresenta metodologias para aproveitar vantagens dos LLMs locais, como baixa latência e privacidade, ao mesmo tempo em que lida com limitações de desempenho

• Visual Blocks: prototipagem visual de pipelines de IA

  • Visual Blocks é uma plataforma de programação visual que permite prototipar rapidamente pipelines de IA com uma interface simples de arrastar e soltar
  • Permite aumento de dados e testes em tempo real, além de desenvolver soluções criativas com vários nós personalizados e pipelines
  • Demonstrou várias aplicações de IA, como gráficos interativos, cadeias de LLM, visão computacional e soluções multimodais
  • Busca construir um ecossistema mais rico de pipelines de ML ao incentivar contribuições da comunidade

• Visão geral dos recursos de IA integrados do Chrome

  • Compartilhou o estado atual da Prompt API e das APIs de tarefas de alto nível (resumo, reescrita de texto etc.), além do feedback inicial de usuários
  • Explicou diversas aplicações que usam os recursos de IA integrados do Chrome e os planos futuros
  • Apresentou otimizações e melhorias nas APIs para alto desempenho e estabilidade

• TensorFlow.js e casos de uso na indústria de bens de consumo

  • Caso em que uma grande empresa brasileira de bens de consumo usou TensorFlow.js para melhorar estratégias de marketing nas lojas
  • Uso de tecnologia de IA para identificar e analisar produtos em tempo real
  • O projeto foi disponibilizado como open source, permitindo uso por outras empresas e expansão para vários casos de aplicação no setor

• Experiência de uso das APIs integradas do Chrome

  • Explicou a experiência de desenvolver aplicações de IA com as APIs do Chrome e as lições aprendidas
  • Apresentou técnicas de otimização de desempenho e ajuste de prompt para apps baseados em IA
  • Compartilhou formas flexíveis de usar a Prompt API e dicas práticas por meio do caso do app Synonym Finder

• Possibilidades de uso de IA em extensões web

  • As extensões do Chrome permitem controlar o navegador, observar conteúdo da web e adicionar UI, oferecendo utilidade e escalabilidade quando combinadas com recursos de IA
  • Explicou exemplos de extensões com IA atualmente publicadas na Web Store e possibilidades futuras
  • Mostrou como a integração entre IA e extensões do Chrome pode melhorar a experiência de navegação e aumentar a produtividade

• Inovação em acessibilidade à saúde com WebAI

  • Com tecnologia WebAI, a IncludeHealth oferece fisioterapia de forma virtual, permitindo que pacientes recebam tratamento personalizado a qualquer hora e em qualquer lugar
  • Rompe barreiras de custo e acesso, abrindo a possibilidade de mais pacientes receberem tratamento
  • Usa dados personalizados para oferecer tratamentos mais precisos e eficazes

• Simple ML para Google Sheets

  • Simple ML, oferecido como complemento do Google Sheets, permite que usuários executem tarefas de machine learning diretamente na planilha
  • Usa WebAssembly, JavaScript e a IA integrada do Chrome para realizar tarefas complexas de machine learning de forma simples
  • Também apoia outros desenvolvedores, por meio de bibliotecas open source, a criar facilmente suas próprias soluções de ML

[brain1401]

Adoro JS