33 pontos por GN⁺ 26 일 전 | 5 comentários | Compartilhar no WhatsApp
  • Projeto open source que permite usar diretamente a LLM on-device da Apple incluída em Macs Apple Silicon com macOS 26 ou superior
  • Abre o modelo baseado em FoundationModels.framework em formato de CLI, servidor HTTP e chat interativo, com compatibilidade com a API da OpenAI
  • Todo o processamento é feito localmente, com custo zero, sem risco de vazamento de dados, além de oferecer contexto de 4096 tokens e suporte multilíngue
  • Oferece várias ferramentas auxiliares, como cmd, oneliner, explain e gitsum, para resumo de código/comandos e automação
  • Abre completamente o modelo Apple Intelligence já presente no macOS, permitindo que desenvolvedores executem IA de forma independente no próprio hardware

Visão geral do apfel

  • apfel é uma ferramenta que permite usar diretamente a LLM on-device da Apple integrada aos Macs Apple Silicon com macOS 26 (Tahoe) ou superior
  • Abre o modelo de linguagem baseado em FoundationModels.framework, que a Apple usava de forma limitada apenas no Siri e em recursos do sistema, em formato de CLI, servidor HTTP e chat interativo
  • Oferece execução 100% on-device, custo zero e compatibilidade com a API da OpenAI
  • Pode ser instalado via Homebrew e é distribuído como open source sob licença MIT

Principais características

  • Uso de IA on-device: usa a LLM já incluída no macOS, sem necessidade de chamadas de rede nem chave de API
  • Segurança: todos os tokens são processados localmente, sem envio de dados para fora
  • Especificações de desempenho

    • Cerca de 3 bilhões de parâmetros
    • Janela de contexto de 4096 tokens
    • Quantização de precisão mista de 2/4 bits

      • Execução baseada no Neural Engine
      • Suporte a inglês, alemão, espanhol, francês, italiano, japonês, coreano, português e chinês

Formas de uso

  • Ferramenta CLI

    • Ferramenta de linha de comando no estilo UNIX, com suporte a stdin/stdout, saída JSON, anexo de arquivos e códigos de saída adequados
    • Pode ser combinada com jq, xargs e scripts de shell
    • Exemplo:
      $ apfel "What is the capital of Austria?"  
      The capital of Austria is Vienna.  
      
  • Servidor compatível com OpenAI

    • Funciona em localhost:11434 como servidor substituto da API da OpenAI
    • Suporta Streaming (SSE), Tool Calling, CORS, response_format: json_object e mais
    • Basta trocar o base_url do SDK da OpenAI para usar o mesmo código
    • Exemplo:
      client = OpenAI(base_url="http://localhost:11434/v1", api_key="unused")  
      
  • Chat interativo

    • Suporta conversas multi-turno, gerenciamento automático de contexto, prompt de sistema e 5 estratégias de trimming
    • Exemplo:
      $ apfel --chat -s "You are a coding assistant"  
      > How do I reverse a list in Python?  
      

Estrutura interna

  • Acessa diretamente a LLM integrada da Apple por meio de FoundationModels.framework
  • O modelo que a Apple usava apenas no Siri, Writing Tools e outros recursos é encapsulado pelo apfel como um binário Swift 6.3, envolvendo LanguageModelSession para fornecer uma interface de acesso direto
  • Inclui um servidor HTTP embutido baseado em Hummingbird
  • Para contornar o limite de 4096 tokens, inclui 5 estratégias de trimming de contexto e contagem precisa de tokens
  • Converte o OpenAI Tool Schema para o formato Transcript.ToolDefinition da Apple

Ferramentas auxiliares incluídas

  • cmd

    • Converte linguagem natural em comandos de shell
    • Ex.: "find all .log files modified today" → saída real do comando
  • oneliner

    • Gera pipelines com awk, sed, sort, uniq e outros a partir de linguagem natural
  • mac-narrator

    • Explica em formato de narração a atividade do sistema no Mac
  • explain

    • Explica em linguagem simples comandos ou trechos de código
  • wtd

    • Resume e descreve a base de código do diretório atual
  • gitsum

    • Gera resumos de commits recentes do git

Compatibilidade completa com a API da OpenAI

  • Suporta endpoints principais como /v1/chat/completions e /v1/models
  • Permite usar parâmetros como temperature, max_tokens e seed
  • Suporta CORS para clientes em navegador
  • Pode ser integrado da mesma forma com OpenAI SDK, LangChain, LlamaIndex e outros

Popularidade no GitHub e distribuição

  • Registra 1.030 estrelas e 27 forks
  • Ganhou 818 estrelas em um único dia, em 3 de abril de 2026
  • Recebeu estrelas de engenheiros da Apple, Google, VMware, NVIDIA e Grafana
  • Comando de instalação:
    $ brew install Arthur-Ficial/tap/apfel  
    $ apfel "Hello, Mac!"  
    
  • Para build a partir do código-fonte, é necessário o SDK do macOS 26.4

Projetos de expansão

  • apfel-gui

    • GUI para macOS baseada em SwiftUI

      • Oferece chat com Apple Intelligence, logs de requisição/resposta e entrada/saída por voz
      • Lançamento previsto
  • apfel-clip

    • Ferramenta de ações de IA baseada em clipboard

      • Executa com um clique na barra de menus funções como correção gramatical, tradução, explicação de código e resumo
      • Em desenvolvimento

Resumo técnico

  • Hardware: Apple Silicon (Neural Engine + GPU)
  • Modelo: LLM da Apple integrada ao macOS
  • SDK: FoundationModels.framework
  • Linguagem: Swift 6.3, sem necessidade de Xcode
  • Licença: MIT
  • Janela de tokens: 4096 (entrada + saída combinadas)
  • Quantidade de modelos: 1 fixo

Valor central

  • Abre completamente o modelo Apple Intelligence já presente no macOS
  • Oferece um ambiente local de IA sem custo, permitindo que desenvolvedores e usuários executem IA diretamente no próprio hardware
  • Uma interface open source de IA exclusiva para Mac que reúne segurança, velocidade e independência

5 comentários

 
xguru 26 일 전

Parece que vai ser divertido, mas por algum motivo o suporte a coreano não funciona muito bem. Estou baixando o código-fonte e analisando junto com o Codex, e a própria resposta do Foundation Model está meio estranha em coreano. Vou testar mais um pouco, mas se alguém conseguiu fazer funcionar, avise nos comentários haha

 
xguru 26 일 전

apfel "Me diga a receita de Currywurst"
error: [guardrail] The request was blocked by Apple's safety guardrails. Try rephrasing.

Ué, então não funciona? pensei, mas isto funciona

apfel "Me diga a receita de kimchi jjigae"
Kimchi jjigae é um dos pratos tradicionais coreanos do tipo ensopado, simples de fazer e com um sabor profundo. Abaixo está a receita de kimchi jjigae:...

apfel "Olá. Você pode me falar sobre kimchi jjigae?"
Olá! Kimchi jjigae é um dos pratos coreanos mais representativos à base de caldo, feito com kimchi e carne. Normalmente, o kimchi jjigae leva porco, boi ou frango, resultando em um caldo encorpado com sabores variados. Além disso, diversos vegetais e temperos são adicionados para intensificar ainda mais o sabor.

apfel "Olá? Você sabe falar coreano?" ou apfel "Você pode me falar sobre a capital da Áustria?"
Para perguntas assim, ele responde com a seguinte resposta papagaio
Você pode saber mais sobre recursos inteligentes no site da Apple.

Parece que há algo estranho na forma como esse guardrail está configurado.

 
xguru 26 일 전

Fiz o Codex ajustar com base no conteúdo desta conversa, e funcionou bem com uma leve modificação.

"Siga exatamente os requisitos da pergunta, mas, se não houver especificação em contrário, responda diretamente em coreano."

Se você colocar um adaptador e, quando sair uma resposta com esse tipo de recurso inteligente, acrescentar o prompt acima, a resposta sai direitinho. Parece que ainda está um pouco incompleto.

apfel "Olá? Você consegue falar coreano?" Olá! Sim, também consigo falar coreano. Como posso ajudar?

apfel "Você pode me falar sobre a capital da Áustria?" A capital da Áustria é Viena. Viena é conhecida como o centro político, cultural e econômico da Áustria.

 
ilotoki0804 25 일 전

Até eu experimentar, fiquei meio em dúvida sobre quais vantagens ele teria em comparação com outras ferramentas que rodam LLMs locais, como o ollama, mas usando na prática vi que ele alucina bastante e é meio burrinho.
Por outro lado, enquanto outras ferramentas de LLM local usam a GPU para entregar mais potência, mas consomem muitos recursos, neste caso parece haver a vantagem de consumir relativamente menos recursos e também menos energia por aproveitar bem o Neural Engine.
Pelo que sei, a proposta do Apple Intelligence em si é rodar uma IA leve em vários tipos de dispositivos, incluindo aparelhos móveis, então me parece que ele combina bem com esse conceito.
Ainda assim, por mais que seja um modelo leve, acho que o desempenho precisaria ser melhor do que isso para ser minimamente mais útil. No momento, ele é burro demais.

 
GN⁺ 26 일 전
Opiniões no Hacker News
  • Gosto da abordagem de executar tudo localmente
    Acho que a importância dos modelos locais vai crescer cada vez mais do ponto de vista da privacidade
    À medida que aumentam os casos em que pessoas passam informações de contexto demais para modelos na nuvem e isso causa incidentes, a necessidade de execução local só vai ficar mais evidente

    • Isso é apenas meia solução
      Se o modelo for treinado de forma fechada, ele pode incorporar valores que o usuário não deseja
      Por exemplo, se você perguntar sobre o Massacre da Praça da Paz Celestial a um modelo aberto chinês, ele pode dar uma resposta censurada
      Portanto, a solução real é combinar treinamento aberto verificável com execução local
    • Por outro ângulo, há problemas ao enviar conteúdo não confiável para serviços de IA
      Ao lidar com dados externos, como em web crawling ou detecção de spam, existe o risco de violar os ToS ou até de ser denunciado erroneamente a autoridades policiais
    • Fico curioso se existem serviços de inferência criptografada (encrypted inferencing)
      Quando converso casualmente com um modelo, não quero enviar esse conteúdo em texto puro para um servidor
      Por isso prefiro a execução local
    • Na comunidade do HN esse tipo de discussão é bem ativo, mas usuários comuns não ligam muito para privacidade
    • O local é o melhor para privacidade, mas não necessariamente a única resposta
      Anthropic, Google e OpenAI, entre outras, abriram mão da privacidade em planos de IA para consumidores
      O motivo é coleta de dados e moderação
      Mas, com tecnologias de garantias criptográficas (cryptographic attestation) como AWS Nitro Enclaves, ainda é possível proteger bem a privacidade mesmo na nuvem
  • O ponto central é se a Apple conseguirá distribuir novos modelos continuamente
    O modelo atual está no nível do Qwen-3-4B e é de um ano atrás
    Pela página de pesquisa dos Apple Foundation Models, a diferença para os mais recentes Qwen-3.5-4B ou Gemma 4 é grande
    É bom poder usar sem baixar nada, mas eu queria usar modelos mais novos

    • Na prática, isso é só uma questão de download de arquivos, então não há motivo para a Apple não conseguir fazer
      Só que a Apple não é uma empresa que se move rápido, e há grandes chances de manter os recursos de IA em áreas limitadas (retoque de fotos, perguntas para a Siri etc.)
      Pessoalmente, mesmo sem ativar o Apple Intelligence, já há muitos recursos úteis
  • Vi projetos que expõem os modelos da Apple como servidores de rede
    O problema é que esses servidores também podem ser acessados por outros apps, como o navegador, via porta local
    O JavaScript de uma página maliciosa pode enviar comandos para essa porta
    Alguns projetos até permitem CORS, o que é ainda mais perigoso
    Também estou revisando o código do Apfel antes de testar

    • Ainda bem que a configuração padrão é false
      Continua sendo uma opção footgun, mas parece uma das abordagens mais seguras que já vi até agora
    • A maioria dos navegadores provavelmente bloquearia requisições POST para 127.0.0.1 vindas de sites arbitrários
      Então fico curioso sobre qual seria exatamente o modelo de ameaça real
    • Vejo esse tipo de erro de segurança com frequência em projetos de IA ou MCP
      Até engenheiros experientes deixam esse vetor de ataque passar despercebido
    • Também confirmei que existe uma opção de autenticação com token Bearer
  • Por causa de um bug recente no Claude, meus tokens estavam sendo consumidos rápido demais, então testei outros modelos
    A maioria era praticamente intercambiável
    Fico curioso para ver como um mercado com baixa lealdade à marca e baixo custo de troca vai evoluir
    Espero que LLMs locais logo se tornem uma alternativa prática

    • Na prática, quase não há diferenciação entre os modelos
      Talvez por isso OpenAI e Meta estejam tentando se diferenciar com a estratégia de conexão emocional (chatbots no estilo amigo ou parceiro romântico)
  • Vi isso em outra thread e instalei na hora
    Usei como prompt de teste para LLM: “que horas são nos EUA, horário do Pacífico, quando em Taiwan são 9:30am”,
    e os resultados foram todos diferentes e todos errados
    Rodando com o Apfel CLI, cada modelo calculou uma diferença de 11 a 13 horas de um jeito diferente

  • Estou usando desde o começo da semana
    Comparei uma ferramenta de backtest de previsão de preços que eu rodava na nuvem com modelos locais,
    e o modelo da Apple foi o mais preciso em 6 de 10 rodadas
    A velocidade também é suficientemente boa para talvez substituir todo o fluxo de trabalho
    Com Sonnet eu gastaria milhares de dólares por mês, com DeepSeek centenas, enquanto localmente sai quase de graça
    Mas outros modelos locais ainda deixaram a desejar em velocidade ou precisão

  • Dizer que “o Apfel desbloqueia o que a Apple trancou atrás da Siri” soa como marketing exagerado
    Na prática, ele apenas expõe o framework FoundationModels do Apple Intelligence via CLI e API REST
    E a afirmação de que “roda no Neural Engine” também é incerta
    Nos meus testes, funcionou na GPU (Metal)

  • Sou usuário de Linux e queria algo parecido, então acabei criando eu mesmo um projeto chamado TalkType
    Ele roda o Whisper localmente para fazer reconhecimento de voz offline
    Como eu não queria enviar minha voz para um servidor, escolhi a abordagem local desde o início
    Fico feliz em ver essa ideia se espalhando também no Mac

  • Obrigado por disponibilizar isso como open source
    Ele até instala no macOS 15, mas trava na execução,
    então enviei um PR para que só possa ser instalado no macOS 26 (Tahoe) ou superior

  • Quero criar um mecanismo alternativo ao Grammarly que sublinhe erros gramaticais em todos os apps e navegadores
    Seria uma ferramenta totalmente focada em privacidade, sem nem precisar de LLM

    • É uma ideia realmente muito boa
      Se alguém fizer isso, eu com certeza gostaria de usar