Llama.ttf - uma fonte com recursos de LLM

• Llama.ttf é um arquivo de fonte, mas também um grande modelo de linguagem (LLM) e o mecanismo de inferência desse modelo
• O Harfbuzz, motor de modelagem de fontes usado no Firefox/Chrome, permite "modelar" texto com código arbitrário por meio do Wasm shaper
  • Esse código "arbitrário" pode ser o mecanismo completo de inferência de um LLM, incluindo os parâmetros treinados, usado para inicializar o LLM e gerar texto
  • Aqui foi usado um LLM chamado Llama, daí o nome llama.ttf
• Em outras palavras, é possível executar um LLM e fazer geração de texto usando essa fonte em aplicações baseadas em Harfbuzz com Wasm ativado
  • Não é preciso esperar que o fornecedor implemente algo como um "Copilot"; tudo roda localmente
  • Com essa fonte, você também pode conversar com a própria fonte
• Como usar:
  • Basta baixar o arquivo llama.ttf e usá-lo como qualquer outra fonte
  • Compile o Harfbuzz com Dwasm=enabled, compile o wasm-micro-runtime, adicione a biblioteca compartilhada resultante à variável de ambiente LD_PRELOAD e depois execute uma aplicação baseada em Harfbuzz, como gedit ou GIMP
• Também são apresentados outros experimentos interessantes usando fontes e LLMs
  • Linguagem de formatação de texto com LLM, inspirada no documento de speedrun de Super Metroid do tom7
  • Apresentação do Erk sobre fontes programáveis com Harfbuzz-Wasm
  • Fontemon - um jogo totalmente jogável em estilo Pokémon embutido dentro de uma fonte

Opinião do GN⁺

• llama.ttf é uma abordagem inovadora para executar um LLM por meio de um arquivo de fonte.
• Como roda localmente, oferece vantagens em privacidade e desempenho.
• Como exige entendimento de Harfbuzz e Wasm, pode ser um pouco difícil para engenheiros iniciantes.

[qyurila]

No corpo do texto, abaixo do subtítulo "Why?", não tem nada escrito 🤣

[GN⁺]

Comentários do Hacker News

• Opinião de que seria bom ter um programa semanal de TV com conteúdo estranho e divertido.
• Apresentação de um projeto que coloca um LLM e um mecanismo de inferência dentro de uma fonte, como se Tetris tivesse sido transformado em fonte, permitindo conversar ou escrever textos.
• Observação de que o projeto é incrível, mas aponta o tamanho de 280GB do arquivo TTF e problemas de compatibilidade com outras fontes.
• Compartilhamento de um link de site com jogos embutidos em fontes.
• Explicação de que o mecanismo Harfbuzz oferece um recurso que permite “moldar” texto usando um Wasm shaper.
• Aviso de que o trabalho foi salvo no arquivo e agradecimento.
• Opinião de que seria bom conseguir demonstrar isso facilmente compilando Harfbuzz e wasm-micro-runtime e adicionando-os à variável de ambiente LD_PRELOAD.
• Espanto por nunca ter imaginado um futuro em que PDFs pudessem conversar.
• Opinião de que esta é a coisa mais legal que viu nesta semana.
• Pergunta sobre por que a fonte sempre gera a mesma string e se o LLM não deveria produzir um novo "raciocínio".
• Opinião perguntando se seria possível uma fonte gerar automaticamente estilos de texto.