Secret Llama - implementação de chatbot Llama 3 no navegador com WebGPU

• Um chatbot LLM com privacidade garantida que funciona totalmente no navegador
• Suporta modelos open source como Llama 3 e Mistral
• Os dados das conversas nunca saem do computador, garantindo privacidade total
• Como roda no navegador, não precisa de servidor nem instalação e também funciona offline
• Oferece uma interface fácil de usar, em nível equivalente ao ChatGPT, mas voltada para LLMs open source
• Modelos suportados atualmente
  • TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k 600MB
  • Llama-3-8B-Instruct-q4f16_1 4.3GB
  • Phi1.5-q4f16_1-1k 1.2GB
  • Mistral-7B-Instruct-v0.2-q4f16_1 4GB

[bizring]

É possível conversar em coreano?