1 pontos por GN⁺ 4 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Com o aumento da demanda por equipamentos dedicados para rodar agentes de IA por longos períodos, o Mac mini e o Mac Studio vêm chamando atenção como desktops para desenvolvedores
  • Trabalhos agentic exigem um sistema separado da máquina principal, controlado diretamente pelo usuário e capaz de rodar 24 horas por dia, 7 dias por semana
  • Com muitas ferramentas de IA Mac-first ou Mac-only, e com o Mac se tornando comum também entre desenvolvedores de laboratórios de IA de fronteira, a posição do ecossistema Mac se fortalece
  • Brooks vê a IA agentic não como um simples problema de GPU, mas como uma questão de projeto do chip como um todo, envolvendo execução de LLMs, chamadas de ferramentas e processamento de workflows
  • A Apple conecta IA on-device a privacidade, segurança e custos de inferência, e prevê uma execução híbrida em que dispositivos e nuvem dividem papéis

A demanda por agentes de IA que se volta para o Mac mini e o Mac Studio

  • Doug Brooks, gerente sênior de produto da Apple Silicon, abordou a estratégia de chips da Apple e a demanda por IA em entrevista ao The Deep View pouco antes da WWDC 2026
  • A Apple observa uma “demanda incrível” pelo Mac mini e pelo Mac Studio
  • Para workloads agentic, as seguintes condições são importantes
    • Um sistema que o usuário possa controlar diretamente
    • Um ambiente separado da máquina de uso principal
    • Um equipamento capaz de rodar 24 horas por dia, 7 dias por semana
  • Brooks avaliou que, nessas condições, o Mac mini é um “sistema incrível”
  • Muitas ferramentas de IA são oferecidas como Mac-first ou Mac-only, e o Mac também é citado como um ambiente frequentemente usado em laboratórios de IA de fronteira

A IA on-device que a Apple Silicon mira

  • Brooks não vê a IA agentic apenas como uma tarefa centrada em GPU
    • Não basta que a GPU processe a execução de LLMs
    • Várias partes do chip também participam de chamadas de ferramentas e tarefas ao redor do workflow
    • Essa estrutura se conecta aos pontos fortes da Apple Silicon
  • As vantagens da Apple relacionadas a IA estão ligadas a decisões de projeto de chips anteriores ao surgimento de LLMs como o ChatGPT
    • O Neural Engine foi projetado para operações matriciais com eficiência energética
    • Aceleradores neurais menos conhecidos dentro da CPU lidam com tarefas sensíveis ao tempo, como voz
    • Mais recentemente, aceleradores neurais também foram adicionados à GPU, ampliando o desempenho de IA desde chips de nível iPhone até os silícios maiores do Mac
  • A Apple mantém a abordagem de criar chips sob medida para máquinas específicas e desenvolver hardware e software em conjunto
  • A execução de IA mostra um movimento de migração parcial da nuvem para o local, e Brooks cita como pano de fundo privacidade, segurança e o aumento dos custos de inferência causado pelo maior uso de tokens por agentes
  • O futuro da execução de IA está mais próximo de um modelo híbrido, em que o agente decide quais tarefas processar no dispositivo e quais enviar para a nuvem, do que de uma transição completa para execução local
  • No iPhone e no iPad, a ênfase recai sobre a “IA transparente”
    • O termo se refere a recursos que funcionam discretamente em várias partes do sistema operacional e de apps de terceiros, sem colocar em evidência que são IA
    • O gerador de imagens Draw Things, que funciona no iPhone, iPad e Mac, é citado como exemplo
    • O SwingVision, que analisa em tempo real partidas de tênis e pickleball com a câmera do iPhone, também aparece como caso
  • Brooks descreve o ritmo atual de desenvolvimento de IA como “simplesmente louco” e diz que é difícil prever não só um ano à frente, mas também daqui a três meses ou um mês

1 comentários

 
GN⁺ 4 시간 전
Opiniões no Hacker News
  • A Apple até agora apresentou pouquíssimas experiências de IA interessantes, mas ainda assim acho bem provável que, daqui a 5 anos, ela se torne a provedora dominante de IA
    Com apenas mais um ou dois avanços em chips ou modelos, ou em ambos, dispositivos Apple intermediários provavelmente conseguirão rodar modelos locais bastante bons de graça; nesse ponto, a combinação de privacidade, custo e latência parece difícil para OpenAI/Anthropic/Google superarem
    Deixo registrado para ser elogiado ou ridicularizado daqui a 5 anos

    • Na verdade, gosto do fato de a Apple não estar transformando todos os seus negócios em algo centrado em IA
      Já está ficando cansativo. No trabalho, uso por necessidade prática, e isso vem tirando a parte interessante e divertida; se eu usar tanto fora do trabalho, acho que vai acontecer a mesma coisa
    • Há dois grandes motivos pelos quais a inferência local terá dificuldade para competir com a nuvem por um bom tempo
      Primeiro, a maioria das tarefas úteis com LLMs é processada em paralelo. Um Mac Mini consegue rodar uma thread de inferência de LLM por vez, enquanto a nuvem consegue subir dezenas delas e fazer processamento em lote de forma eficiente por toda a frota de hardware
      Segundo, hardwares de inferência mais rápidos, como Cerebras ou Groq, não podem ser usados localmente. A vantagem de ter uma taxa de processamento de tokens por thread 5 vezes maior ou mais é difícil de subestimar, e, somando isso à vantagem de múltiplas threads, vira um golpe decisivo contra LLMs locais
      A inferência local também tem seu papel. Se você lida com algo extremamente sensível, ou quer usar um modelo sem censura para conversas sexuais ou gerar imagens NSFW, o local é a única opção. A Apple e outras empresas provavelmente continuarão rodando localmente muitas tarefas úteis, como sugestões de edição de texto, reconhecimento de fala, síntese de voz e manipulação de imagens; conforme o hardware local melhorar, esses recursos também vão melhorar
      Mas, para a maioria das tarefas com LLMs, acho que a nuvem continuará dominante por muito tempo, talvez para sempre
    • A integração sutil de machine learning no app Fotos é boa. Identificação de plantas, reconhecimento facial, remoção de fundo, busca de texto por OCR e até busca em texto manuscrito estão bem implementadas
    • Antes de ser tudo local ou tudo online, acho que virá primeiro um modelo híbrido
      O modelo local fica com o controle ou delegação do computador, enquanto o modelo online cuida das tarefas que exigem raciocínio forte, planejamento e acesso a conhecimento. Ficaria feliz se estivesse errado, mas acho que os modelos estão crescendo mais rápido que o hardware
    • Em abril de 2023, escrevi: “todos nós deveríamos comprar um Mac Studio no máximo de configuração, com 128 GB de RAM, 20 núcleos de CPU e muitos núcleos de GPU e Neural”
      Estamos atrasados e adiantados ao mesmo tempo
      https://news.ycombinator.com/item?id=35527692
  • Se a Apple projetar o Private Cloud Compute como um ambiente de execução dedicado para indivíduos, acho que poderia vender máquinas a partir de 10 mil dólares
    No fim, precisaria haver um caminho para baixar isso para 2.500 dólares, mas esse nicho parece difícil para qualquer marca voltada ao consumidor que não seja a Apple
    [1] https://security.apple.com/blog/private-cloud-compute/

    • Modelos esgotados do M3 Ultra Mac Studio com largura de banda de memória acima de 800 GB/s estão sendo negociados no eBay por 24.000 dólares, então é perfeitamente possível
    • Quando o iCloud Drive estava em desenvolvimento, pedi à Apple, por meio de um vendedor que veio à empresa apresentar um app médico interno para iPad, que fizesse algo assim para o iCloud
      Eu teria pagado facilmente 50 mil dólares por um Mac Pro montável em rack para o qual dispositivos “gerenciados” pudessem apontar, mas a Apple simplesmente não entendeu a demanda
    • Antigamente, sempre que saía um Mac novo, eu e meus colegas tentávamos montar a configuração mais cara possível
      Em certa época, passava facilmente dos seis dígitos em dólares, mas foi baixando com o tempo
    • A Apple é bastante hostil a usuários profissionais, então acho que não
    • Isso está mais para uso corporativo. É difícil imaginar um caso de uso em computação pessoal que justifique uma máquina de 10 mil dólares
  • Se a ideia é usar softwares como Claude Code ou openclaw apenas via API de LLM ou assinatura, sem rodar modelos locais, e só obter um fluxo de trabalho de “segundo cérebro” com sistema de arquivos local e sempre ligado, não sei se um Mac mini é realmente necessário
    Parece algo que rodaria até em um Raspberry Pi ou notebook antigo; fico curioso se alguém já fez isso na prática

    • Não entendo muito a moda do Mac mini
      Acho que é uma de duas coisas. 1) Pessoas que ouvem que “Mac é bom para IA”, compram um e na prática fazem a inferência no Claude, sem saber que dá para chamar a API da Anthropic até de um secador de cabelo, desde que tenha conexão à internet. 2) Pessoas que querem que o agente tenha balões azuis do iMessage
      É difícil acreditar que pessoas comuns estejam fazendo tanta inferência no dispositivo a ponto de o Mac Mini esgotar; e mesmo que estejam, o Mac mini não é uma plataforma tão boa assim para esse uso
    • Só para esse uso, um Mac Mini não é necessário, mas o preço era bem baixo e a qualidade é boa
      Quem compra talvez nem use todo o desempenho, mas tende a valorizar mais a conveniência do que o item mais barato possível
      Supondo que vá durar bastante e também seja usado para outras coisas, dá para justificar até certo ponto
    • Porque no Mac mini dá para enviar mensagens via iMessage. É só isso
    • Exato. Para tarefas como rodar um navegador, um pouco de folga de desempenho ajuda, mas, se a ideia é gastar pouco, um recondicionado ou um mini PC de marcas como Minisforum ou GMKTec também dá conta muito bem
      Memória: no mínimo 16 GB; se possível, 32 GB
    • Se você só vai usar openclaw e APIs, não precisa de um PC grande
      Rodo coisas leves em um RPI4 de 8 GB. Muita gente roda LLMs locais; nesses casos, um Mac é útil. Sinceramente, acho difícil bater o custo-benefício de uma assinatura do OpenRouter e chamadas de API
  • Se eu tivesse capital, gostaria de criar um appliance de inferência doméstico
    Não teria periféricos além de Ethernet; seria uma configuração com uma unidade computacional integrada de CPU+GPU+memória, armazenamento auxiliar, placa-mãe e fonte de alimentação. A ideia é deixar apenas o hardware mínimo necessário para rodar modelos como um utilitário, sem enfeites
    O painel frontal também seria legal se fosse um display mostrando o status, como nos antigos aparelhos estéreo Hi-Fi
    Para acrescentar, imagino algo como uma série de módulos com CPU RISC-V + Vortex GPGPU + memória

    • No inverno daria para aquecer a casa e, no verão, aquecer a piscina
    • Isso soa como um Mac mini/Studio com apenas uma pequena mudança no visual
    • Não é isso que o George Hotz está fazendo na tiny? https://tinycorp.myshopify.com/
    • Entre o que existe hoje, o mais próximo parece ser o ASIC para LLM projetado pela Taalas
      https://taalas.com/products/
      Infelizmente, o chatbot dessa empresa é surpreendentemente rápido, mas não sabe absolutamente nada sobre a própria empresa que o opera
      De todo modo, um ASIC para rodar modelos de linguagem de difusão localmente não pareceria uma má ideia. Mesmo que um dia fique obsoleto, é melhor do que deixar tudo nas mãos de uma empresa que funciona com dinheiro de venture capital e pode desaparecer no futuro ou, pior, dominar o mercado e cobrar quanto quiser
    • Estou de olho na Tenstorrent para esse uso
      O preço deve ficar em algum ponto entre uma plataforma de memória unificada com alta densidade de memória e uma GPU especializada para uma finalidade específica
      Fica meio no limite do que faz sentido em casa, mas é interessante
  • Rodar modelos on-device no Mac é bem incômodo
    Só descobrir o que vai funcionar — BF16, FP8, BF16+FP8, NVFP4, INT8, GGUF etc. — já é pouco claro, para dizer o mínimo. A Apple quase não oferece suporte de ferramentas. Existe o MLX, mas, se você não pretende converter o modelo para esse formato por conta própria, acaba ficando bem para trás
    Apps como LM Studio, Ollama e Draw Things simplificam bem, mas ainda assim é trabalhoso

    • Não sei exatamente o que é incômodo. É só um processo de aprendizado, e em um ou dois dias você se acostuma
      Parece que as pessoas esqueceram que, nos últimos 50 anos, fazer qualquer coisa com computadores era tedioso e complicado, e que só fazer algo rodar já tomava muito tempo. Meu primeiro computador tinha 48 KB de RAM, e para jogar era preciso carregar o jogo de uma fita cassete por 5 minutos. Aquilo sim era incômodo
      Em comparação, o LM Studio baixar e carregar modelos para você conversar ou conectar agentes é muito fácil e não exige esforço
    • Uso o LM Studio com bastante frequência, e a equipe do MLX e a comunidade geralmente publicam uma versão MLX um ou dois dias depois do lançamento de um novo modelo
    • Fico curioso para saber que problema você está enfrentando. Estou rodando localmente vários agentes next com Qwen Coder, e funciona bem
    • Converter um modelo para MLX é literalmente fazer git clone e executar mlx_lm.convert
      Depois do clone, é uma tarefa de 5 minutos
    • Por outro lado, estou usando com satisfação este LLM local do antirez, famoso pelo Redis
      [1] https://github.com/antirez/ds4
  • O ponto principal não é a inferência de IA, mas sim chamadas de ferramentas, tarefas em apps de GUI no desktop e execução de navegadores
    Ainda não há um modelo on-device bom o suficiente para fazer trabalho real em um Mac Mini de entrada. Mas, para rodar alguns navegadores e apps com GUI, comprar um Mac Mini é muito melhor do que pagar por contêineres na nuvem que são mais caros e têm desempenho pior
    Navegadores não foram projetados para rodar em contêineres Linux e funcionam melhor em um sistema operacional desktop bare-metal. O M4 Mac Mini tem desempenho single-core melhor, em termos de poder computacional bruto por dólar — isto é, pontuação no Geekbench — do que qualquer VM que se possa alugar na nuvem

    • Pelo preço original, um pacote de 4 máquinas era uma solução muito boa para o requisito de tokens por segundo por dólar
  • O link submetido deveria ter sido este artigo editorial original
    https://www.thedeepview.com/articles/how-apple-s-decade-long...

  • A afirmação de que “segundo Doug Brooks, gerente sênior de produto do Apple silicon, o Mac mini e o Mac Studio da Apple se tornaram as máquinas preferidas para rodar agentes de IA” é em grande parte um fenômeno dos EUA
    Por aqui não há Mac mini nem Mac Studio, apenas notebooks ThinkPad e MacBook conectados a hyperscalers

    • Não sei onde é esse “por aqui”. No Reino Unido, como a eletricidade é absurdamente cara, eles são bem populares como uma das opções de baixo consumo para LLMs locais
      Se você não está no meio de LLMs locais, é claro que não vai ver. É parecido com dizer “tênis não é popular por aqui” sem nem ir a uma quadra de tênis
  • Assim como as pessoas compravam carros a diesel porque eram mais econômicos que os a gasolina, em vários países a eletricidade é muito cara, então elas estão comprando máquinas com memória unificada da Apple, que têm custo operacional menor do que configurações com Nvidia
    Quando houver mais opções de memória unificada que não sejam da Apple, muita gente vai passar a escolher essas alternativas

  • Este texto é uma reescrita de https://www.thedeepview.com/articles/how-apple-s-decade-long...