Web LLM - suporte inicial ao Llama2 7B/13B

• Serviço que executa LLMs como Llama, RedPajama e Vicuna em WASM no navegador, sem servidor
• Suporte inicial ao Llama 2 7B/13B
• Também oferece suporte ao Llama 2 70B, mas só pode ser usado em Macs com Apple Silicon + 64 GB de RAM ou mais
• Aceleração com WebGPU

[freejack]

• Como alguém que não entende muito de IA, testei por curiosidade, mesmo em um PC de baixa especificação - primeiro modelo da Chat Demo (configuração do PC: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
• Na primeira pergunta, ele baixou cerca de 4 GB e inicializou; no meu ambiente, isso levou cerca de 11 minutos.
• Em cada pergunta, usou em média mais de 60% da GPU e respondeu como se estivesse digitando lentamente. (Foi bem irritante...)
• Como teste, fiz a pergunta "show me the earth picture"; ele até respondeu com uma URL da NASA, mas não foi possível ver a imagem. (Invalid URL)
• Também reconheceu perguntas em coreano, mas só respondia em inglês.

[cosine20]

Porque é uma 750Ti....

[laeyoung]

Coisas que saem no output de URL frequentemente quebram até no ChatGPT mesmo. Acho que é isso.

[kuroneko]

Achei muito impressionante ver o Stable Diffusion rodando na web,
será que o WebGPU realmente consegue unificar de vez as APIs de GPU?

[ragingwind]

Incrível mesmo.

[xguru]

Web LLM - suporte ao Llama2 7B/13B começa