llamafile - Como implantar e executar LLMs em um único arquivo

• Suporta executar LLMs facilmente na maioria dos computadores sem instalação, usando 1 único arquivo
• Um framework que combina llama.cpp e Cosmopolitan Libc
  • Com 1 único build, é possível rodar em vários sistemas operacionais e diferentes arquiteturas de CPU
• Fornece o modelo LLaVA, com suporte a chat e reconhecimento de imagem, como exemplo
  • Basta baixar e executar o arquivo de 4 GB llava-v1.5-7b-q4-server.llamafile
  • No Mac/Linux/BSD, faça chmod +x e execute diretamente
  • No Windows, basta adicionar .exe ao final da extensão e executar diretamente
  • Quando executado, o navegador abre automaticamente e exibe a interface de chat
• Além disso, também são fornecidos outros llamafiles, como Mistral-7B-Instruct e WizardCoder-Python-13B

[edunga1]

curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafile

Fiquei muito surpreso que, com um único comando curl, dá para executar imediatamente...

[cosine20]

Uau, isso é sensacional kkk

[ragingwind]

Dá para executar de um jeito realmente muito fácil.

[xguru]

Foi publicado no GN⁺, mas como parece que a apresentação pelo resumo de IA não foi suficiente e não fez muito sucesso, organizei novamente aqui. Acho que é uma tentativa bem interessante.
Com o "Llamafile", é possível distribuir e executar um LLM em um único arquivo

Modelo base: LLaVA: Visual Instruction Tuning

Na época do lançamento, Cosmopolitan e RedBean pareciam meio brincadeira, mas veja só como isso também pode ser usado. Parece um caso de uso excelente.

• Cosmopolitan v3.0 - "Build Once Anywhere, Run Anywhere C/C++"
• Cosmopolitan libc - Build-Once Run-Anywhere C
• Lançamento do Cosmopolitan v1.0
• Lançamento do Cosmopolitan v2.0
• Redbean - servidor web executado a partir de um único arquivo
• Lançamento do Redbean 2.0