1 pontos por GN⁺ 2025-03-06 | 1 comentários | Compartilhar no WhatsApp
  • A Apple apresentou o M3 Ultra, seu chip topo de linha para Mac, reforçando ainda mais o Mac Studio como uma workstation para grandes cargas de trabalho de IA, gráficos e vídeo
  • As especificações principais incluem CPU de 32 núcleos, GPU de até 80 núcleos, Neural Engine de 32 núcleos, Thunderbolt 5 e até 512 GB de memória unificada
  • Em comparação com a geração anterior do Mac Studio, a Apple afirma que a CPU é até 1,5x mais rápida que a do M2 Ultra, e a GPU é até 2x mais rápida que a do M2 Ultra
  • O UltraFusion une dois dies do M3 Max com mais de 10.000 conexões de alta velocidade, fazendo com que o software o veja como um único chip
  • Com largura de banda de memória acima de 800 GB/s e até 512 GB de memória, ele mira renderização 3D, efeitos visuais, IA e a execução on-device de LLMs com mais de 600 bilhões de parâmetros

Papel do M3 Ultra e especificações básicas

  • A Apple apresentou o M3 Ultra como o chip de maior desempenho que já criou
  • Ele é posicionado como o chip com a CPU e a GPU mais poderosas do Mac, Neural Engine de 32 núcleos e a maior quantidade de memória unificada já oferecida em um computador pessoal
  • A configuração principal é a seguinte
    • até CPU de 32 núcleos
    • até GPU de 80 núcleos
    • Neural Engine de 32 núcleos

    • Thunderbolt 5

      • até 512 GB de memória unificada
      • O M3 Ultra é usado como o chip que impulsiona o desempenho do novo Mac Studio

Desempenho e cargas de trabalho de IA

  • A CPU é composta por 24 núcleos de desempenho e 8 núcleos de eficiência, oferecendo desempenho até 1,5x maior que o M2 Ultra e até 1,8x maior que o M1 Ultra
  • A GPU é a maior já criada em um chip da Apple, com até 80 núcleos gráficos, e é até 2x mais rápida que a do M2 Ultra e até 2,6x mais rápida que a do M1 Ultra
  • A base de comparação de desempenho é o sistema Mac Studio da geração anterior
    • M1 Ultra: CPU de 20 núcleos, GPU de 64 núcleos, 128 GB de RAM
    • M2 Ultra: CPU de 24 núcleos, GPU de 76 núcleos, 192 GB de RAM
  • A arquitetura gráfica inclui cache dinâmico, mesh shading com aceleração por hardware e ray tracing
  • Em tarefas de IA e machine learning, trabalham em conjunto os aceleradores de ML da CPU, a GPU, o Neural Engine e a largura de banda de memória acima de 800 GB/s
  • O Mac Studio com M3 Ultra pode executar diretamente no dispositivo modelos de linguagem de grande porte com mais de 600 bilhões de parâmetros

Memória unificada e trabalhos de grande porte

  • A arquitetura de memória unificada do M3 Ultra prioriza alta largura de banda e baixa latência
  • A memória começa em 96 GB e pode ser configurada até 512 GB
  • A Apple afirma que essa capacidade supera a memória oferecida pelas atuais placas gráficas de workstations avançadas
  • O objetivo é reduzir gargalos em trabalhos profissionais como renderização 3D, efeitos visuais e IA, que exigem grandes volumes de memória gráfica

Thunderbolt 5 e expansibilidade

  • O M3 Ultra leva o Thunderbolt 5 ao Mac Studio, oferecendo velocidades de transferência de dados de até 120 Gb/s
  • A largura de banda é mais que o dobro da do Thunderbolt 4
  • Cada porta Thunderbolt 5 é suportada por um controlador projetado pela própria Apple e localizado diretamente no chip
  • A largura de banda dedicada por porta mira usuários profissionais que usam armazenamento externo, docks, hubs e gabinetes de expansão de próxima geração
  • Também é possível conectar vários sistemas Mac Studio por meio do Thunderbolt 5

Tecnologias internas do chip

  • O UltraFusion usa um interposer de silício integrado para conectar dois dies do M3 Max com mais de 10.000 sinais
    • a largura de banda entre os dies, com baixa latência, é de mais de 2,5 TB/s
    • para o software, o M3 Ultra aparece como um único chip
  • O media engine tem o dobro dos recursos do M3 Max e oferece suporte a mais processamento simultâneo de vídeo
    • fornece aceleração por hardware para H.264, HEVC e quatro motores de codificação e decodificação ProRes
    • permite reproduzir até 24 streams de ProRes 422 em 8K
  • O display engine suporta até 8 Pro Display XDR e pode acionar mais de 160 milhões de pixels
  • O Secure Enclave funciona com inicialização segura verificada por hardware e tecnologias de proteção contra exploração em tempo de execução

Eficiência energética e metas ambientais

  • A eficiência energética do M3 Ultra ajuda o novo Mac Studio a atender aos padrões de eficiência energética da Apple
  • Também contribui para reduzir a quantidade total de energia consumida ao longo da vida útil do produto
  • A Apple afirma que suas operações corporativas globais já são neutras em carbono e, sob a meta Apple 2030, planeja alcançar neutralidade de carbono em toda a sua pegada de carbono até o fim de 2030

1 comentários

 
GN⁺ 2025-03-06
Opiniões no Hacker News
  • 512 GB de memória unificada realmente chega ao ponto de abrir um novo território
    Eu me perguntava quando a Apple superaria as limitações de memória, e agora a memória unificada chegou a 0,5 TB. É muito prático para rodar grandes modelos de IA localmente, e é interessante a abordagem de integrar tanta memória de alta eficiência em um único chip em comparação com a solução ao estilo da NVIDIA. Ainda assim, fico curioso para ver que desempenho o projeto de “colar” dois M3 Max terá em termos de calor e consumo de energia

    • A largura de banda de memória não aumentou; é um nível de largura de banda que já era possível no M2 Studio. Claro, pagando US$ 10 mil, dá para ter 512 GB de memória unificada
      O problema é se, nessa escala, grandes modelos de linguagem rodam com desempenho utilizável. Mesmo com memória unificada suficiente, se a largura de banda de memória for a mesma, o aumento no desempenho de processamento de IA do novo chip sofre retornos decrescentes. No fim, deve haver alguma proporção ideal entre largura de banda de memória em relação ao desempenho de processamento e o tamanho do pool de memória
    • Não sei bem se memória unificada é especialmente relevante aqui. Por exemplo, no zen4/zen5 Epyc, o desempenho aritmético é suficiente, então a inferência de LLM vira puramente um gargalo de largura de banda de memória
      Um dual SP5 Epyc parece ter largura de banda de memória maior do que esse produto da Apple, e, na faixa de preço da Apple, provavelmente dá para colocar algo como o dobro de RAM. Talvez a solução da Apple seja mais eficiente em energia
    • Fico curioso se isso é memória on-chip. A 800 GB/s, parece mais próximo de um barramento de 512 bits para módulos DDR5, ou seja, 8 canais. Com quad-channel quase daria também, mas seria empurrar até o limite; ainda assim, é uma configuração decente
      Em termos de praticidade, fico me perguntando quais apps mainstream se beneficiariam da combinação dessa quantidade de memória com um desempenho de computação decente, mas relativamente intermediário. Na faixa de preço de um sistema completo de US$ 14 mil, talvez eu preferisse algo como dois NVIDIA Project DIGITS
    • Fico curioso se colocar RAM no mesmo chip do processador é econômico
      Eu imaginaria que, para processamento, você quer poupar o melhor nó de fabricação, e para RAM usar um processo mais barato
  • Surpreende ser M3, e não M4. Basicamente fico pensando se é aproveitamento de rendimento por binning, mas acho que li em algum lugar que o interposer que possibilitou isso nos chips M1 não existe mais
    Mesmo assim, 512 GB de RAM unificada acessível pela NPU é uma mudança completa de jogo. Parece que a Apple desenvolveu esse chip para seus trabalhos internos de IA e agora chegou ao ponto de disponibilizá-lo para outras pessoas. Só que esse hardware realmente precisa de um form factor de rack 2U. Hoje, o sistema operacional está segurando esse hardware

    • Se a Apple desse suporte nativo a Linux, especialmente em modo headless, e permitisse colocar o M4 Pro em um rack, eu usaria direto em um centro de colocation
      A CPU tem pouquíssimos concorrentes em velocidade e largura de banda de memória. Ainda me surpreende que outras empresas não tenham conseguido criar um chip Arm para servidor competitivo
    • O sistema operacional está mesmo segurando tudo. Mesmo que a Apple não ressuscite uma variante antiga do XServe OS, seria bom se ao menos colaborasse com desenvolvedores de Linux ou BSD para trazer um sistema operacional de servidor adequado a essa pilha de hardware
      Como sistema operacional de consumidor, ele é melhor que Windows para o meu gosto pessoal, mas está ficando cada vez mais cheio de coisas desnecessárias e resíduos antigos, tornando-se difícil de tolerar para workloads de servidor em produção. Se houvesse um SO de servidor capaz de tratar o hardware subjacente como um hipervisor, anexando ou compartilhando vários componentes com VMs e contêineres, isso teria enorme valor em pequenos datacenters ou ambientes de borda. Uma NPU on-premises com essa quantidade de RAM ajudaria muito na aceleração local de IA compartilhada por vários usuários em uma LAN
    • Gosto e respeito as pessoas que escrevem posts de “rumores da Apple”, mas isso sempre pareceu mais o tipo de coisa de “li cinco blogs sobre design de CPU e virei especialista”
      A base da especulação era que não se via um interposer nas fotos do die do M3 Max, mas isso na prática não significa quase nada sobre se ele poderia ser compatível com uma configuração M3 Ultra. O anúncio de hoje é a prova
    • A Apple poderia criar hardware de rack 2U e dar suporte a Linux, ou poderia fornecer uma build do Darwin que rode headless. Só que, no segundo caso, não haveria muito software utilizável
      Ainda assim, as pessoas acabariam começando a portar, e, como já existem MacPorts e Homebrew, eles poderiam ser adaptados para rodar nessa plataforma também. Mas a Apple não parece interessada nesse mercado, então provavelmente isso não vai se concretizar
    • Fiquei curioso sobre binning de rendimento, então reuni o quanto os chips Max da Apple foram cortados nas configurações comercializadas
      O M1 Max tinha de 24 a 32 núcleos de GPU, o M2 Max de 30 a 38, o M3 Max de 30 a 40, e o M4 Max de 32 a 40. Olhando as datas de anúncio: M1 Max em 18 de outubro de 2021; M1 Ultra em 8 de março de 2022; M2 Max em 17 de janeiro de 2023; M2 Ultra em 5 de junho de 2023; M3 Max em 30 de outubro de 2023; M3 Ultra em 12 de março de 2025; e M4 Max em 30 de outubro de 2024. Considerando o atraso adicional entre o anúncio do M3 Max e do Ultra, a especulação de que a Apple desenvolveu esse chip para trabalhos internos de IA parece bastante plausível
  • A memória máxima do modelo M2 Ultra anterior era de 192 GB, e nos modelos Pro ou em alguns M3 era de 128 GB. Acho que isso já era suficiente para 99,9% dos trabalhos profissionais
    Mas agora subiram para 512 GB, e o preço de um Mac Studio com 512 GB também está num nível insano: US$ 9.499. Isso é quase certamente efeito da corrida do ouro da IA

    • Todas as empresas de IA do mundo devem estar avaliando se o desempenho computacional é suficiente para que isso se torne um caminho razoável para IA. Se a resposta for sim, US$ 10 mil é absolutamente barato
    • LLMs consomem muita RAM com facilidade, e esses sistemas são muito, muito mais baratos do que configurações de GPU com a mesma quantidade de RAM. Claro, são mais lentos
      Por exemplo, o modelo quantizado em 4 bits do Llama-3.1 405B deve caber bem
    • O ponto-chave é o desempenho. DeepSeek e Llama 405B parecem ter mostrado a necessidade de mais memória
      Mesmo hoje, as pessoas conseguem montar sistemas Epyc com esse tanto de RAM, ou mais, por um custo bem menor e rodar o DeepSeek a cerca de 6 tokens por segundo. Só que nem todo mundo gosta de montar e ajustar sistemas, então existe um mercado para quem quer evitar esse trabalho chato. Falam da “corrida do ouro da IA” como se fosse algo ruim, mas não é necessariamente o caso
    • Essa RAM também é VRAM ao mesmo tempo, então 0,5 TB de VRAM não é nada barato. Em comparação, a Apple até parece bem em conta
    • A grande pergunta é se o preço de US$ 10 mil já inclui as tarifas de Trump sobre a China, ou se o preço ainda vai subir
  • Atualmente, o Docker não oferece suporte a GPU Metal
    Ao executar LLMs via Docker em chips Apple M3 ou M4, como o Docker só oferece suporte a GPUs Nvidia e Radeon, ele roda em modo CPU independentemente da categoria do chip. Se você desenvolve LLMs no Docker, é melhor considerar um notebook Framework com GPU Nvidia ou Radeon. Como referência, estou desenvolvendo um framework de agentes de IA que executa LLMs dentro do Docker em um M3 Max: https://kdeps.com

  • Se o Studio foi atualizado agora para o M3 Ultra, o M4 Ultra talvez vá direto para o Mac Pro na WWDC. O timing é interessante, e talvez mudem também o formato do Mac Pro
    Além disso, este deve ser um produto de volume muito baixo, então o fato de usar o processo N3B provavelmente não será fatal. Ao mesmo tempo, esses chips devem ser caríssimos de fabricar, então faz algum sentido combiná-los com configurações caras de RAM

    • Curiosamente, parece que a Apple confirmou em seu site francês que o M4 não tem o interconnect para criar uma versão “Ultra” [0][1]. Ao contrário do que se pensava, talvez o M4 Ultra nem saia
      É preciso ver essa reportagem com cautela, mas dizem que a informação veio diretamente da Apple. Nesse caso, fica ainda mais misterioso o que pretendem fazer com o M2 Mac Pro
      [0] https://www.numerama.com/tech/1919213-m4-max-et-m3-ultra-let...
      [1] Contexto adicional do MacRumors: https://www.macrumors.com/2025/03/05/apple-confirms-m4-max-l...
    • A Apple disse que nem toda geração terá uma variante “Ultra”: https://arstechnica.com/apple/2025/03/apple-announces-m3-ult...
    • Entendo que a Apple queria encontrar uma forma de criar sistemas com múltiplos SoCs para substituir os chips Ultra
      O método atual exige que o chip Max seja projetado em torno do interconnect. Em teoria, uma configuração com múltiplos SoCs também poderia se expandir para além de dois chips e para uma linha de produtos mais ampla
    • Francamente, acho que este ano talvez nem vejamos um M4 Ultra. O fato de terem colocado o M3 Ultra no Studio parece indicar que o M4 Ultra é caro demais ou que falta capacidade de produção
      De qualquer forma, o M2 Mac Pro parecia um produto em que a Apple perguntava aos clientes: “Vocês conseguem fazer algo interessante com esses slots PCIe? Porque a gente não consegue pensar em nada além de expansão de conectividade”. A menos que redesenhe o Apple Silicon para dar suporte a GPUs atualizáveis, o Mac Pro parece acabado
    • Acho que vão mudar o formato do Mac Pro, ou então eliminá-lo de vez. O modelo atual tem um design muito pela metade e, comparado ao Studio, tem uma relação custo-benefício ostensivamente ruim
      Parece um produto de fim de linha para segurar os usuários de PCIe até que migrem tudo para Thunderbolt. Reaproveitaram um design feito para comportar várias GPUs grandes, mas agora que ele não dá suporte a GPUs, a maior parte da refrigeração e da alimentação fica só como vestígio. Além disso, a expansão PCIe também foi discretamente rebaixada, e como o Apple Silicon não tem muitas lanes PCIe, os slots ficam fortemente sobrevendidos por meio de um switch PCIe
  • Para trabalhos de IA, 512 GB de memória unificada é algo realmente enorme. Comparando com a quantidade de GPUs NVIDIA necessária, o preço até parece quase razoável

    • Para obter 512 GB de RAM de alta largura de banda endereçável por GPU em um servidor, provavelmente seria um custo de seis dígitos em dólares. Se a limitação for memória, este certamente é o servidor certo
      O que eu queria dizer é que os núcleos de NPU e GPU precisam acessar essa RAM, e o desempenho também precisa ser razoável
    • Se de qualquer forma você vai mudar todo o workflow de IA para usar outra API, acho que uma placa aceleradora AMD Instinct faria mais sentido
      Embora seja cara, é muito mais rápida, e você não precisa passar pelo trabalho de adaptar o código para rodar no macOS
    • Um Mac Studio totalmente configurado custa US$ 14 mil
  • Se você precisa do máximo de memória, 512 GB, para rodar modelos de IA, e não se importa em conectar um drive externo para armazenar os pesos do modelo, dá para comprar por um pouco menos de US$ 10 mil. É uma máquina dos sonhos.
    O NVIDIA Project DIGITS está anunciado para sair “em breve” por US$ 3 mil, mas um Mac com as mesmas especificações de 128 GB e 4 TB pode ser comprado por cerca de US$ 4.700, entregue de fato em até uma semana, e ainda roda macOS. Não sei qual é a diferença de desempenho. Quero muito ver logo alguém testando o modelo DeepSeek completo nisso, e talvez ele possa ser o primeiro pequeno dispositivo pessoal de IA que você possui de fato e usa como quiser.

    • Nessa faixa de preço, também há o argumento de que seria melhor ter peças de PC substituíveis. Mas a Apple normalmente oferece muitos anos de durabilidade em seus PCs.
      Se for um tijolo de IA da Apple, deve durar bastante.
    • O modelo DeepSeek R1 completo precisa de mais memória do que 512 GB. Só o modelo tem 720 GB.
      Neste dispositivo, dá para rodar uma versão quantizada, mas não o modelo completo.
    • Com largura de banda de 819 GB/s, a experiência com o modelo DeepSeek completo seria horrível.
  • Thunderbolt 5 é bastante útil. Dá para usar um notebook muito fino e leve e, quando necessário, acessar uma GPU externa ou eGPU via TB 5 [1].
    Agora dá para ter ao mesmo tempo a vantagem de um notebook leve e a de uma GPU potente.
    [1] A Asus anunciou a primeira eGPU Thunderbolt 5 do mundo:
    https://www.theverge.com/24336135/asus-thunderbolt-5-externa...

    • O problema é que você fica preso ao macOS, que não tem drivers para GPUs da NVIDIA, AMD ou Intel.
    • Apple Silicon não funciona com eGPU.
    • eGPU sempre foi muito problemática no macOS. Usei por alguns anos, e no Silicon provavelmente seria ainda pior.
      Em compensação, o modo de compartilhamento de tela de alto desempenho, relativamente novo, adicionado no Sonoma, é realmente excelente. Ao conectar um MacBook a um Mac Studio, você pode selecionar esse modo e mudar as configurações de tela para resolução dinâmica. Assim, o “thin client” usa a tela 16:10 inteira do MacBook em tela cheia, consegue desempenho de 60 fps com baixa latência até em jogos reais, o áudio também é transmitido, permitindo participar de reuniões, e a tela do Mac Studio host fica desligada. São coisas que não eram possíveis com VNC; RDP também é bem melhor, mas esse novo compartilhamento de tela de alto desempenho é mais poderoso. Sempre achei que um notebook fino e leve acessando remotamente uma máquina potente é uma forma de alta mobilidade melhor do que sofrer tentando rodar tudo localmente no notebook. Com alguns ajustes no firewall, funciona até por LTE.
  • Talvez a Apple devesse reconsiderar o Xserve.
    A Apple provavelmente tem alguma forma de equipe de infraestrutura de servidores, mas construir sua própria infraestrutura de servidores com hardware e software próprios é algo que valeria explorar. Se ela vinculasse o ecossistema de apps aos servidores da Apple e oferecesse isso como nuvem, ou permitisse compra direta, poderia ser um negócio de serviços muito interessante. Especialmente agora que até o iPad usa chips M, considerando o desempenho do hardware, a App Store precisa de apps melhores. Um serviço de hardware e software baseado em nuvem, projetado para o ecossistema de apps, seria bastante atraente.
    Na Apple, o hardware avançou mais rápido que o software. Na maioria das empresas de tecnologia, normalmente é o hardware que não acompanha o software; na Apple, é o contrário.

  • Fico me perguntando quando chegará o dia em que o Apple Silicon terá suporte nativo a sistemas operacionais como Linux.
    A Apple parece relutante em publicar documentação técnica detalhada de referência para os SoCs da série M, e isso dificulta rodar Linux nativamente no Apple Silicon.

    • Provavelmente nunca. iPhones e iPads também não têm suporte oficial a Linux, então é difícil esperar que a Apple mude de postura.
    • https://asahilinux.org/
    • Isso também me parece estranho. Como o macOS já vem junto com o hardware, a Apple não perderia vendas de macOS.
      Se alguém compra hardware da Apple para rodar Linux, isso não deveria ter impacto negativo para a AAPL, mas mesmo assim.
    • Rodar Darwin não é uma opção? Fico curioso sobre o que o Linux oferece a mais em comparação com o Darwin.