Google Chrome adiciona o modelo de IA Gemini Nano `window.ai` no navegador

• A partir da versão 127 do Chrome, o modelo de IA Gemini Nano pode ser usado no navegador por meio de window.ai
• O site de demonstração do chatbot foi criado usando Next.js + Vercel AI SDK
• Exemplo de uso

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Só para constar, o arquivo do modelo foi extraído há algum tempo.

[edunga1]

https://developer.chrome.com/docs/ai/built-in

Parece que é preciso fazer uma solicitação separada para testar.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Comentários do Hacker News

• É positivo que o navegador venha com um recurso nativo que pode aplicar aos usuários da web a estratégia de IA da Apple

  • Usar um modelo local pode reforçar a privacidade e a segurança
  • Se o Google implementar isso bem, será muito interessante

• A Vercel apresentou sua própria abstração ao anunciar window.ai, em vez de usar a API do Chrome

  • A API window.ai é muito simples, então não precisa de wrapper
  • Código de exemplo:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• O fato de a API do Google não permitir especificar o modelo é uma grande falha

  • Se o modelo continuar sendo atualizado, testes e manutenção ficarão difíceis
  • Código proposto:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• É problemático que sites usem a CPU do usuário para processamento distribuído de LLM

• Falta documentação pública sobre a API window.ai

  • Não está claro qual é a versão do modelo Gemini Nano

• Com a tecnologia atual, modelos instruct são menos úteis do que modelos base

  • São necessários recursos como execução de LoRAs, ajuste de temperatura e configuração de templates de prompt
  • A tecnologia está mudando tão rápido que pode ser cedo demais para integrá-la ao navegador
  • O modelo deveria ser separado da interface para também permitir o uso de outros modelos locais

• Falta padronização

  • É necessário um enfoque como o WebNN da Microsoft
  • Outros fornecedores precisam viabilizar isso, como na tentativa da Apple de expor o Metal via WebGPU

• O recurso "Create theme with AI" do Chrome não é diferente de escolher um tema aleatório

  • Há planos de criar uma API que retorne imagens aleatórias do pixabay

• Quanto maior o modelo de propósito geral, mais útil ele é

  • Modelos on-device ajustados finamente para tarefas específicas são mais precisos

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))