Pergunta no HN: Alguém está desenvolvendo projetos interessantes com Tiny Language Models?

• Discussão sobre modelos na faixa de 0,5B a 3B que podem ser usados no Ollama
• Pergunta se alguém construiu ferramentas interessantes que usem esses modelos como parte do fluxo de trabalho

[GN⁺]

Opinião do Hacker News

• Configurou o ollama para responder a mensagens SMS de spam. Atribui a cada número uma persona, como um amigo millennial da academia ou um cavalheiro britânico do século XIX

• Usa um modelo Llama para identificar avisos de cookies em sites e adicionar regras de filtro ao EasyList Cookie. A maioria dos avisos de cookies tem HTML/CSS parecido, então é possível pegar o innerText e usar um LLM pequeno para filtrar falsos positivos. Um modelo 3B mostra desempenho razoável com bastante prompt engineering, e um 7B quase não tem falsos positivos sem custo adicional. O código e os prompts estão disponíveis no GitHub

• Usa um mini PC com CPU n100 para gerar histórias de vários gêneros e estilos. O ventilador da CPU não superaquece e, embora não seja produtivo, é divertido

• Usa um pequeno script em fish para gerar três mensagens de commit com base no git diff atual. Está testando vários modelos, e isso é útil quando precisa de ideias. O script e os exemplos estão disponíveis no GitHub

• Tem um pequeno dispositivo que tenta declarar um "vencedor" durante conversas

• Recomenda a palestra de Jamie Brew, "Comedy Writing With Small Generative Models". Vale a pena esperar até ele pegar o violão e tocar

• A Microsoft apresentou o modelo FLAME (60M parâmetros). Ele supera modelos muito maiores (mais de 100B parâmetros) em correção/completar fórmulas do Excel

• Micro Wake Word é um conjunto de modelos de dispositivo e uma biblioteca para ativação por voz em ESPs. Foi implantado recentemente em Home Assistants como uma alternativa totalmente local à Alexa

• Ajustou finamente o Gemma 2B para identificar mensagens urgentes de novas gestantes em uma linha telefônica pública de aconselhamento sobre saúde materna

• Criou um modelo de cerca de 1m de parâmetros para gerar cartas aleatórias de Magic the Gathering. É baseado no nanogpt do Karpathy com alguns recursos adicionados. Se você tiver um Mac com Apple Silicon, pode gerar o modelo diretamente pelo GitHub