Bonsai 27B - um modelo de classe 27B que roda no celular

• Enquanto modelos 27B existentes ainda ocupam cerca de 18 GB mesmo reduzidos para 4 bits, a PrismML adaptou o Bonsai 27B, baseado no Qwen3.6 27B e com suporte a inferência, chamada de ferramentas, visão e uso do computador, ao limite de memória do iPhone
• O modelo Ternary, focado em qualidade, usa 1,71 bits por peso e tem 5,9 GB; o modelo de 1 bit, focado em tamanho, usa 1,125 bits e tem 3,9 GB, aplicando representação de baixo bit a toda a rede de linguagem
• Em 15 benchmarks no modo de raciocínio, o modelo Ternary manteve 95% do desempenho da precisão total, e o modelo de 1 bit manteve 90%; as pontuações gerais foram 80,5 e 76,1, respectivamente
• Registrou até 163 tok/s na NVIDIA GeForce RTX 5090 e até 87 tok/s no M5 Max, com suporte a contexto de 262K tokens, torre de visão em 4 bits e decodificação especulativa
• A execução local elimina o custo de API por etapa e a transferência de dados em tarefas repetitivas com agentes, além de permitir uma implantação híbrida em que tarefas sensíveis ficam no dispositivo e só as etapas mais difíceis vão para a nuvem

---

Como colocar um modelo de classe 27B em um celular

• Um modelo 27B tradicional ocupa cerca de 54 GB em precisão de 16 bits e ainda requer 18 GB em uma build comum de 4 bits, o que dificulta a implantação local em celulares e na maioria dos notebooks
• O Bonsai 27B, baseado no Qwen3.6 27B, oferece suporte a raciocínio em múltiplas etapas, chamada estruturada de ferramentas, tarefas de visão e um loop de agente para uso do computador que mantém consistência ao longo de várias etapas
• As duas configurações de baixo bit foram feitas para diferentes ambientes de implantação
  • Ternary Bonsai 27B usa pesos {−1, 0, +1} e escalonamento por grupo em FP16, alcançando 1,71 bits efetivos por peso e tamanho de 5,9 GB
  • Mira qualidade de nível notebook e oferece inferência completa, chamada de ferramentas e recursos de agente
  • 1-bit Bonsai 27B usa pesos {−1, +1} com o mesmo escalonamento por grupo, alcançando 1,125 bits efetivos por peso e tamanho de 3,9 GB
  • Foca em um tamanho de nível celular que cabe no orçamento de memória do iPhone 17 Pro

Estrutura multimodal de baixo bit de ponta a ponta

• A representação de baixo bit é aplicada a toda a rede de linguagem, incluindo embeddings, attention, MLP e LM head, sem contornar certas partes com precisão mais alta
• Ambos os modelos são multimodais, e a torre de visão é fornecida em formato comprimido de 4 bits, permitindo processar capturas de tela, documentos e entrada da câmera no dispositivo
• Suporta até 262K tokens de contexto
• É possível usar decodificação especulativa, um método de aceleração sem perdas que gera um rascunho e depois o valida
• Os pesos do modelo são distribuídos sob a licença Apache 2.0 License

Desempenho mantido em 15 benchmarks

• No modo de raciocínio, que usa a capacidade completa de inferência do modelo, foram avaliados 15 benchmarks cobrindo conhecimento, raciocínio, matemática, programação, seguimento de instruções, chamada de ferramentas e visão
• A pontuação geral do Qwen3.6 27B em precisão total foi 85,0; o Ternary Bonsai 27B marcou 80,5, e o 1-bit Bonsai 27B marcou 76,1
  • O modelo Ternary manteve 95% do desempenho de referência em precisão total
  • O modelo de 1 bit manteve 90% do desempenho de referência
• As pontuações por área foram as seguintes
  • Matemática — GSM8K, MATH-500, AIME25, AIME26: precisão total 95,3, Ternary 93,4, 1-bit 91,7
  • Programação — HumanEval+, MBPP+, LiveCodeBench: precisão total 88,7, Ternary 86,0, 1-bit 81,9
  • Agentes e chamada de ferramentas — BFCL v3, TauBench: precisão total 80,0, Ternary 74,0, 1-bit 66,0
  • Seguimento de instruções — IFEval, IFBench: precisão total 78,4, Ternary 71,8, 1-bit 65,8
  • Conhecimento e STEM — MMLU-Redux, MuSR: precisão total 83,1, Ternary 77,0, 1-bit 73,4
  • Visão — MMMU Pro, OCRBench: precisão total 72,6, Ternary 65,2, 1-bit 59,6
• Em matemática e programação, a queda de desempenho foi relativamente pequena, e o desempenho de chamada de ferramentas do modelo Ternary também permaneceu próximo ao da precisão total
• A build genérica de baixo bit mais agressiva aplicada ao mesmo modelo base usa 2,5x mais memória que o 1-bit Bonsai 27B e ainda assim obteve pontuação menor

Densidade de inteligência por gigabyte

• O 1-bit Bonsai 27B oferece desempenho de classe 27B em um tamanho menor que o de um modelo 2B em precisão total
• Pela métrica de densidade de inteligência introduzida pela PrismML no 1-bit Bonsai 8B, o 1-bit Bonsai 27B registra 0,53 por GB
  • Mais de 10 vezes acima da referência em precisão total
  • Cerca de 2,7 vezes acima da melhor alternativa de baixo bit disponível
• Nessa distinção, a capacidade absoluta do modelo determina quais tarefas ele consegue executar, enquanto a densidade de inteligência define em quais dispositivos e ambientes essas tarefas podem rodar

Levando tarefas persistentes de agentes para execução local

• O trabalho com IA está saindo de respostas isoladas e migrando para tarefas persistentes, como assistentes que usam ferramentas reais, fluxos de trabalho autônomos e pesquisas que sintetizam dezenas de documentos
• Agentes não chamam o modelo uma vez, mas centenas de vezes, passando contexto a cada etapa, produzindo saídas estruturadas e usando-as como entrada da etapa seguinte
• APIs em nuvem ainda fazem sentido para muitos produtos, mas executar tarefas de agentes apenas na nuvem cria limitações estruturais
  • Cada etapa é tratada como uma requisição remota
  • O custo de tokens se acumula a cada iteração
  • Não só planejamento, chamadas de ferramentas e resultados intermediários, mas também arquivos pessoais, telas e dados do usuário passam pela rede
• Executar um modelo suficientemente capaz no dispositivo permite manter o agente dentro do produto
  • Mesmo em um loop de 100 etapas, não há custo adicional por chamadas ao modelo
  • Os dados do usuário não saem do dispositivo
  • Isso permite agentes persistentes on-device, assistentes offline e assistentes que operam diretamente sobre dados locais e privados
• Uma arquitetura híbrida pode reduzir o custo por tarefa em sistemas de agentes: tarefas sensíveis ou que não exigem desempenho de ponta ficam no modelo local, e só as etapas mais difíceis vão para um modelo em nuvem

Velocidade de execução e limites de memória no celular

• As velocidades máximas de geração medidas na NVIDIA GeForce RTX 5090 foram as seguintes
  • Modelo de 1 bit: 163 tok/s
  • Modelo Ternary: 134 tok/s
• As velocidades máximas de geração medidas no M5 Max foram as seguintes
  • Modelo de 1 bit: 87 tok/s
  • Modelo Ternary: 58 tok/s
• Um app no celular não pode usar toda a memória do dispositivo; mesmo em um iPhone de 12 GB, a memória disponível para o modelo é de cerca de 6 GB
• Esse orçamento precisa acomodar não só os pesos do modelo, mas também KV cache e ativações, então reduzir apenas o tamanho do arquivo armazenado não basta
• Com cerca de 4 GB, o 1-bit Bonsai 27B atende a esse limite de memória deixando margem para a tarefa
• A demonstração de agente multimodal no iPhone 17 Pro Max roda em modo de demonstração usando cache e contexto de imagem pré-carregado

Plataformas compatíveis e formas de implantação

• Em dispositivos Apple, roda nativamente em Mac, iPhone e iPad por meio do MLX
• Em GPUs NVIDIA, usa CUDA
• Em ambas as plataformas, aproveita kernels personalizados de baixo bit feitos para a arquitetura de atenção híbrida
• Por tempo limitado, a empresa oferece uma API de prévia para desenvolvedores gratuita para que desenvolvedores possam testar o modelo
• Os detalhes técnicos completos do processo de compressão, avaliação e benchmarking podem ser consultados no whitepaper do Bonsai 27B

Modelos maiores e novas arquiteturas

• O Bonsai 27B reduz os recursos de modelos modernos — incluindo raciocínio, compreensão multimodal, visão e uso de ferramentas — a um tamanho que pode rodar em dispositivos que usuários comuns já possuem
• A metodologia de compressão não depende de uma arquitetura específica, e a PrismML está desenvolvendo modelos maiores e novas arquiteturas
• À medida que a densidade de inteligência aumenta, a faixa de dispositivos, produtos e ambientes capazes de executar IA avançada se amplia, de celulares a servidores com uma única GPU

[GN⁺]

Comentários do Hacker News

• A comparação que eu mais quero ver é com a versão QAT de 4 bits do Gemma 4 12B. Ela fica em menos de 7 GB, então é só um pouco maior que este modelo, roda em praticamente qualquer dispositivo recente e é surpreendentemente inteligente para o tamanho
  A capacidade de usar ferramentas é excelente, e o desempenho em visão também é impressionante para esse porte. Ainda estou tentando entender quanto desempenho se perde a cada redução de precisão, mas as versões QAT do Google parecem mostrar que a perda em 4 bits é muito pequena

  • Cruzando os números divulgados com os resultados do Gemma, este modelo fica bem à frente em matemática e código em relação ao Gemma 4 12B, fica um pouco atrás em conhecimento e chamada de ferramentas, e é consideravelmente pior em tarefas de visão
  • Seria ótimo se também fizessem uma versão binária de 1 bit do Gemma 4 12B ;)
  • Em muitas famílias de modelos, 4 bits é o ponto de corte, mas isso depende se o que está sendo quantizado para 4 bits são pesos, pesos e ativações, ou o cache KV. Também depende do tamanho do modelo e da tarefa, então a quantização tem bem mais nuances do que parece
    Uma boa avaliação publicada em 2024 é https://arxiv.org/pdf/2402.18158. Não sou o autor original, mas estou preparando uma versão atualizada e, como ainda não fiz uma revisão bibliográfica mais séria, queria saber se alguém conhece levantamentos semelhantes

• Do ponto de vista de investidor, isso é uma verdadeira mudança de paradigma. Startups europeias que se vendem com o argumento de privacidade, mas na prática só empacotam grandes modelos hospedados, podem desaparecer em massa
  Se for possível rodar tudo localmente no notebook, não há motivo algum para usar empresas do tipo “Privacy GPT™”. Bancos e outros setores regulados também podem fazer self-hosting desse nível de inteligência, então deixam de depender dessas empresas

• Preciso de ajuda para entender. Pelo que entendi, o ponto principal aqui é que, por meio de quantização, reduziram 50 GB para 4 GB preservando a maior parte da inteligência dentro da faixa ótima de Pareto, e compararam a inteligência por tamanho com a de outros modelos quantizados. Mas parece que o aspecto que mais se degradou foi a performance de chamada de ferramentas, que já é um problema em outros modelos pequenos
  Como este modelo se compara com outros modelos recentes de 4 GB? Como dá para saber se ele realmente preserva a inteligência do modelo-pai ou se foi ajustado para ir bem em benchmarks?
  Não estou tentando desmerecer; adoraria que fosse um resultado realmente incrível, mas, com o conhecimento limitado que tenho, me parece faltar um gráfico de comparação justa, e os gráficos existentes também parecem fáceis de interpretar errado. Se alguém puder explicar onde estou entendendo errado, eu agradeceria

  • Pelo que entendi, a PrismML não faz quantização no sentido usual de cortar bits de um modelo treinado em FP16 para reduzir VRAM; ela treina desde o início com pesos de 1 bit
    O artigo entra em mais detalhes e fala de técnicas como manter um peso FP16 para cada bloco de 128 pesos de 1 bit, entre outras formas de carregar mais informação

• Dizem que a Apple está em negociações com a PrismML: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

  • Isso foi dito diretamente pelo CEO da PrismML, Babak Hassibi, à CNBC, então pode ser mentira ou pode ter vazado a negociação e reduzido por conta própria as chances de fechar o acordo

• Pode parecer uma crítica pequena, mas, na demonstração, o prato sugerido pelo modelo não parece muito apetitoso, e o cálculo de macronutrientes também parece completamente errado. “Espaguete, cenoura, pimentão, alho e ervas” com 25 g de proteína?

  • Um bom espaguete tem 15% de proteína, ou seja, 15 g por 100 g, e mesmo os produtos de pior qualidade têm pelo menos 12 g por 100 g
  • Eu pessoalmente não gosto muito de cenoura, mas não parece sem gosto. Com molho de tomate ficaria bem melhor, mas aparentemente essa opção não estava na imagem fornecida
    Os 25 g de proteína talvez assumam uma massa rica em proteína, tipo de grão-de-bico, mas ainda assim parece um número errado
  • 200 g de espaguete de fato têm cerca de 25 g de proteína
  • Não entendo por que uma pergunta tão comum precisaria ser resolvida com IA no celular. Para esse tipo de coisa, não precisa nem de IA, muito menos de IA local; uma busca básica no Google já resolve há anos
    Para uma IA do tamanho de um celular ser útil, ela precisa lidar com tarefas que só a IA consegue fazer. Ela consegue receber documentos escaneados pela câmera do celular? Consegue fazer tradução em tempo real? Conselhos de receita já são algo amplamente resolvido por outros meios, então não há muito motivo para perguntar isso

• O modelo está sendo publicado no Hugging Face em https://huggingface.co/prism-ml/models
  Tentei os modelos GGUF e MLX no LM Studio, mas nenhum dos dois funcionou. Talvez o LM Studio precise primeiro atualizar o engine do llama.cpp ou do MLX; queria saber se alguém conseguiu rodar

  • O modelo anterior foi executado no fork customizado do llama.cpp da PrismML em https://github.com/PrismML-Eng/llama.cpp. Ainda não testei este modelo, mas pretendo arrumar um tempo esta semana para fazer benchmark
    Pelo que parece, patches para os backends Metal e CPU também entraram no llama.cpp principal, então, se você tiver um Mac ou CPU e memória suficientemente rápidos, talvez dê para usar só o llama.cpp mais recente
  • Dependendo do modelo que você quiser executar, pode ser necessário um fork customizado; mais detalhes estão em https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README....
  • Não sei se existe uma forma de rodar o fork do llama.cpp da PrismML dentro do LM Studio
    O fork em si roda bem, mas em um teste simples o modelo entrou fortemente em loop de inferência. Pode ser o mesmo problema que aparece quando a intensidade de raciocínio é configurada muito alta
    No M1 Max, Qwen 3.6 MoE e Gemma 4 ainda parecem ser as melhores opções. Também não tenho certeza sobre a afirmação de que 35B é de fato pior; no meu ambiente de uso, ele entra em loop de inferência muito menos do que 27B
  • Baixei os dois modelos oficiais no LM Studio, e ambos tinham 3.6GB, mas não consegui carregar nenhum deles
  • Também não funcionou no Unsloth, mas há uma grande chance de isso ser corrigido em um ou dois dias quando sair o próximo pacote de atualizações

• Muito legal! Estou esperando há mais de um ano pela ampliação de escala de modelos ternários[1]. O Qwen 27B comum é pesado demais para rodar em velocidade razoável em hardware local, então estou animado para experimentar isso pessoalmente
  [1] https://jackson.dev/post/dont-sleep-on-bitnet/

  • Eu também. Estou animado com um modelo que talvez seja utilizável em um notebook com 16GB

• Alcançar 90% do desempenho com um modelo de 1 bit já é, antes de tudo, um resultado impressionante
  Mas, nas últimas duas semanas, este já é o quinto anúncio de produto, e todos dizem que a forma de usar IA mudou e que seu próprio conjunto de trade-offs é a resposta perfeita. Mudanças de paradigma não acontecem em textos de anúncio de lançamento
  Parece que existe uma espécie de estilo de escrita típico de IA que faz todo post de lançamento soar como uma mudança de paradigma

  • Todo anúncio técnico é assim. Independentemente da realidade, o marketing faz marketing

• Mesmo com o comprimento total de contexto, o uso de memória do cache KV parece surpreendentemente baixo. Por isso, pode ser especialmente útil para fluxos de trabalho de coding com múltiplos agentes
  Seria bom se novos anúncios e demos de modelos tratassem com mais clareza do uso de memória do cache KV e das otimizações relacionadas

  • Quantizar o cache KV piora o desempenho de atenção e de recuperação, e esse impacto também prejudica tarefas longas. Cada família e tamanho de modelo tolera de forma diferente a quantização de cada parte, e isso também varia conforme a tarefa-alvo

• Fato que descobri hoje: modelos de 1 bit na verdade usam três valores, +1, 0, -1, então são modelos de 1.58 bits

  • Há duas variantes nisso. Brincando, dá para dizer que escolheram valores de bit bem grandes
    O Ternary Bonsai 27B usa pesos ternários {-1, 0, +1} e escalonamento por grupo em FP16, resultando em 1.71 bits efetivos por peso. O 1-bit Bonsai 27B usa pesos binários {-1, +1} e o mesmo escalonamento por grupo, resultando em 1.125 bits efetivos por peso
  • Se calcular pela forma mais prática de colocar 5 números de 3 estados em 1 byte, dá 1.6 bits. Mas, na prática, normalmente se agrupam 4 números de 4 estados
  • É uma convenção infeliz que vem desde os primeiros modelos “de 1 bit”. Ainda assim, o Bonsai tem tanto uma versão ternária quanto uma versão realmente de 1 bit