Alpaca.cpp - Executando um modelo como o ChatGPT em um notebook pessoal
(github.com/antimatter15)- Uma combinação ajustada de LLaMA, Alpaca e llama.cpp, com uma interface de chat adicionada
- Usa o modelo Alpaca-7b-q4
- Gera em velocidade bastante boa até mesmo em um MacBook Air com M2
6 comentários
https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/…
Pensei que poderia ter gente procurando o modelo..
Ultimamente parece mesmo que tem uma guerra acontecendo, acompanhar as notícias tá difícil demais aff
Uau~ parece mesmo que a singularidade chegou....
É impressionante mesmo, caramba, e agora o Apple Silicon acabou virando o padrão de especificações de hardware, caramba.
Com essa velocidade, não fica devendo em nada até mesmo em comparação com o modelo ChatGPT Turbo. É realmente impressionante.
Nossa, de um dia para o outro está surgindo uma enxurrada de novidades.
O momento Stable Diffusion está chegando para os LLMs