- Suporta executar LLMs facilmente na maioria dos computadores sem instalação, usando 1 único arquivo
- Um framework que combina
llama.cpp e Cosmopolitan Libc
- Com 1 único build, é possível rodar em vários sistemas operacionais e diferentes arquiteturas de CPU
- Fornece o modelo LLaVA, com suporte a chat e reconhecimento de imagem, como exemplo
- Basta baixar e executar o arquivo de 4 GB
llava-v1.5-7b-q4-server.llamafile
- No Mac/Linux/BSD, faça
chmod +x e execute diretamente
- No Windows, basta adicionar
.exe ao final da extensão e executar diretamente
- Quando executado, o navegador abre automaticamente e exibe a interface de chat
- Além disso, também são fornecidos outros llamafiles, como Mistral-7B-Instruct e WizardCoder-Python-13B
4 comentários
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileFiquei muito surpreso que, com um único comando
curl, dá para executar imediatamente...Uau, isso é sensacional kkk
Dá para executar de um jeito realmente muito fácil.
Foi publicado no GN⁺, mas como parece que a apresentação pelo resumo de IA não foi suficiente e não fez muito sucesso, organizei novamente aqui. Acho que é uma tentativa bem interessante.
Com o "Llamafile", é possível distribuir e executar um LLM em um único arquivo
Modelo base: LLaVA: Visual Instruction Tuning
Na época do lançamento, Cosmopolitan e RedBean pareciam meio brincadeira, mas veja só como isso também pode ser usado. Parece um caso de uso excelente.