- Para reduzir o peso de montar manualmente um ambiente local de desenvolvimento de IA, o Ryzen AI Halo entrega um mini PC com Ryzen AI Max+ 395 junto com ROCm, drivers, modelos e ferramentas de desenvolvimento em um pacote
- A configuração única traz CPU Zen 5 de 16 núcleos/32 threads, GPU integrada Radeon 8060S, NPU XDNA 2, 128GB de memória unificada LPDDR5x-8000 e SSD de 2TB, com preço de US$ 3.999,99
- No llama-bench, o Mac Studio com Apple Silicon ficou à frente do equipamento com Ryzen AI Max+ 395, especialmente na geração de tokens, mostrando desempenho 2 a 3 vezes maior no Gemma 4 por causa da diferença de largura de banda de memória
- O diferencial do Halo não está em um processador novo, mas em oferecer um ponto de partida com compatibilidade ajustada, como o AMD Ryzen AI Developer Center, Best Known Configurations e AMD AI Playbooks
- Com AMD Lemonade e FastFlowLM, foi possível executar o gpt-oss-20b-FLM na NPU XDNA 2, confirmando consumo de até 35W e geração de 20 tokens/s com uso quase nulo de CPU/GPU
Mini kit de desenvolvimento de IA baseado no Ryzen AI Max+ 395
- O AMD Ryzen AI Halo é um PC compacto criado em torno do processador AMD Ryzen AI Max+ 395, baseado em Zen 5, projetado para facilitar o início no aprendizado de desenvolvimento de IA com ROCm ou hardware da AMD
- O processador tem configuração de 16 núcleos/32 threads, e a maior parte das tarefas de IA fica a cargo da GPU integrada Radeon 8060S
- A NPU, que até então não tinha muitos casos reais de uso, pôde de fato ser utilizada neste dispositivo
- O produto é vendido em uma única configuração de hardware, com os seguintes destaques
- SSD M.2 de 2TB removível
- 128GB de memória unificada LPDDR5x-8000
- 256GB/s de largura de banda de memória
- Os 2TB de armazenamento são suficientes para acumular modelos locais, e os 128GB de memória permitem carregar alguns modelos de tamanho razoável sem comprometer o espaço necessário para o sistema
- O preço de venda é US$ 3.999,99, com opção de compra em configuração única com Windows 11 Pro ou Linux pré-instalado
- O usuário pode instalar o sistema operacional que quiser depois de receber o equipamento, mas a AMD aparentemente não deve fornecer separadamente imagens Linux/Windows de fábrica nem pacotes com drivers, programas e modelos
- A unidade de teste era a versão Linux, executando uma distribuição Linux personalizada da AMD baseada no Debian 13.4
Chassi pequeno e possibilidade de expansão
- Apesar das imagens de marketing, o Halo é um dispositivo em formato de caixa muito pequeno, com área de base de cerca de 15 cm quadrados e menos de 5 cm de altura
- O peso é de 1,2 kg, mas para transportar é preciso considerar também o adaptador de energia de 240W, que é parte essencial do conjunto
- O botão de energia e as portas ficam todos na traseira
- 4 portas USB 3.2 Type-C
- 1 porta HDMI 2.1
- 1 porta Ethernet 10GbE
- Wi‑Fi 7 e Bluetooth 5.4
- A porta USB-C mais próxima do botão de energia é exclusiva para entrada USB-C Power Delivery
- Não há uma estrutura de empilhamento clara, mas os apoios nos cantos e as entradas de ar em todos os lados deixam margem para empilhar unidades, seja para usar Windows e Linux separadamente ou montar um cluster
- A refrigeração usa dois ventiladores tipo blower, que puxam ar pela parte superior e lateral, fazem o ar passar pelo dissipador e o expulsam pela traseira
- No uso comum ele é silencioso, mas a rotação das ventoinhas pode subir quando precisa lidar com o TDP de 120W do processador interno
- O anel de luz branca na parte inferior pisca em azul no modo de espera, e a iluminação pode ser desligada
Desmontagem e componentes internos
- Como é um mini PC de construção densa, não há muito o que inspecionar diretamente por dentro, mas é possível abrir a tampa inferior removendo quatro parafusos sob a base magnética destacável
- O SSD M.2 2280 fica facilmente acessível sem necessidade de desmontagem adicional
- Para remover a carcaça superior e expor o núcleo computacional, é preciso soltar mais alguns conectores
- O núcleo em si pode ser retirado, mas não há muitos outros pontos que o usuário possa modificar
- A chapa metálica visível ao abrir a parte inferior do gabinete pela primeira vez pode ser removida com quatro parafusos, mas não foi retirada para evitar mexer no material térmico
Desempenho de LLM visto pelo llama-bench
- O Ryzen AI Max+ 395, codinome Strix Halo, já era um processador disponível desde a primavera de 2025, então o Halo não traz novidade de desempenho nesse aspecto
- Outros hardwares com o mesmo processador incluem Framework Desktop, Beelink GTR9 Pro, X+ Rival e ACEMAGIC M1A PRO
- Os testes de desempenho servem para verificar se o produto entrega o nível esperado antes de avaliar a pilha de software, que é seu ponto principal
- Os testes foram centrados no llama-bench, incluído no llama.cpp
- O llama.cpp é um motor de inferência open source que carrega e executa modelos de linguagem de grande porte no formato GGUF
- O llama-bench mede processamento de prompt (prompt processing, pre-fill) e geração de tokens (token generation, decoding)
- O desempenho em tokens por segundo de LLMs é sensível a diferenças de compatibilidade e variação, então os resultados devem ser lidos junto com outras fontes
Resultados básicos do llama-bench
- O teste básico usou a configuração pp512/tg128, simulando uma situação em que o usuário insere 512 tokens e o modelo gera 128 tokens
- Foram usados três modelos recentes na faixa de 17 a 32GB
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Os dispositivos comparados foram
- AMD Ryzen AI Halo: AI Max+ 395, 128GB
- Framework Desktop: AI Max+ 395, 128GB
- Mac Studio M2 Ultra: GPU de 76 núcleos, 128GB de memória unificada
- Mac Studio M3 Ultra: GPU de 80 núcleos, 512GB de memória unificada
- No Halo e no Framework Desktop foram usados os runtimes ROCm/HIP e Vulkan
- O Mac Studio com Apple Silicon apresentou desempenho superior ao equipamento com AMD Ryzen AI Max+ 395, e a principal diferença vem dos cerca de 800GB/s de largura de banda de memória do Mac contra 256GB/s no Max+ 395
- A etapa de processamento de prompt normalmente é mais limitada por computação, e no Gemma 4, que é um modelo denso, a diferença entre Apple Silicon e Max+ 395 foi menor do que a simples comparação de largura de banda de memória sugeriria
- No processamento de prompt de modelos sparse Mixture of Experts como Qwen 3.6 35B A3B e GLM 4.7 Flash, a dependência de computação é menor, então a vantagem de largura de banda de memória do Mac aparece com mais força
- A geração de tokens normalmente é muito mais limitada por largura de banda de memória, e no Gemma 4 os dispositivos com Apple Silicon mostraram desempenho em tokens por segundo 2 a 3 vezes maior
- No Ryzen AI Max+ 395 não houve um vencedor claro entre Vulkan e ROCm/HIP
- O backend mais rápido varia conforme compatibilidade, estrutura do modelo, tamanho de contexto, hardware e otimizações de software
- Ambos os backends continuam sendo atualizados
- Os testes foram feitos com Flash Attention ativado, mas como essa configuração nem sempre garante o melhor desempenho, vale testar diretamente em cada sistema
Aumento de contexto e simulação de uso com agentes
- Com o crescimento do uso de LLMs com agentes, foram adicionados testes no llama-bench para observar como o desempenho cai à medida que o tamanho do contexto aumenta
- O teste simplifica uma situação em que um agente instruído faz chamadas de ferramentas ou fornece respostas
- Os principais parâmetros foram
-p,-n: definem o número de tokens para processamento de prompt e geração de tokens-b,-ub: definem os tamanhos de batch e microbatch-fa: ativa ou desativa o Flash Attention-ngl: define o número de camadas do modelo descarregadas para a GPU-r: define o número de repetições-d: define o número de tokens já presentes no contexto
- Para reduzir o acúmulo de calor que pode surgir em execuções contínuas, foi usado um script próprio com loops e intervalos
- Nos três modelos, o desempenho caiu bastante à medida que o tamanho do contexto aumentou
- O Gemma 4 com backend Vulkan e contexto de 65.536 tokens não terminou em menos de 30 minutos
Energia e temperatura
- Como o Halo tem um chassi muito pequeno, foi verificado se ele consegue sustentar o TDP máximo de 120W e o boost máximo de 140W do pacote Ryzen AI Max+ 395
- O Framework Desktop, que usa o mesmo Ryzen AI Max+ 395, também foi testado como comparação
- O teste mediu o consumo de energia na tomada com um Quarch QTL2843 enquanto executava 20 rodadas do teste de prefill do llama-bench
- Ambos os dispositivos estavam no modo “Performance”, e o Halo não permite ajustes manuais de energia ou refrigeração
- O AI Max+ 395 do Framework Desktop manteve a linha de base de 120W durante todo o teste, com picos de 130W relativamente frequentes
- O Halo sustentou cerca de 140W por aproximadamente 5 minutos após o início do teste e depois caiu para o TDP de 120W no restante da execução
- O design com blower e entradas de ar em todos os lados manteve o exterior relativamente frio mesmo em equilíbrio térmico, mas a parte inferior chegou a cerca de 50°C
- As ventoinhas giram forte ao expulsar o calor, mas o som lembra mais um “woosh” do que um ruído agudo
O valor do produto vem do software
- Como já existem vários mini PCs com Ryzen AI Max+ 395, o valor exclusivo do Halo está menos em hardware novo e mais no AMD Ryzen AI Developer Center, nas configurações selecionadas e na promessa de suporte de 1st-party
- O Halo foi projetado, como o NVIDIA DGX Spark, para reduzir o tempo que desenvolvedores gastam configurando ambiente quando precisam testar em hardware específico da AMD ou da NVIDIA
- Ao contrário do DGX Spark, o Halo tem versões para Linux e Windows
- Ao iniciar a versão Linux, o sistema entra no AMD Ryzen AI Developer Center, de onde é possível instalar e atualizar software, acessar documentação e controlar o sistema
- Segundo a AMD, o Halo não é bloqueado, então o usuário pode instalar o sistema operacional que quiser
- No entanto, a empresa aparentemente não deve fornecer imagens para alternar entre as configurações de fábrica de Windows e Linux
Best Known Configurations e Playbooks
- O AI Halo e o Developer Center dão acesso às Best Known Configurations (BKC) da AMD
- As BKCs são configurações de sistema validadas pela AMD, em que os softwares, pacotes e drivers incluídos são compatíveis entre si
- Isso reduz a necessidade de resolver problemas de dependência antes mesmo de executar um playbook ou começar a estudar
- Nos sistemas AI Max+ comuns, o AMD AI Playbook fornece instruções por linha de comando para alocação de memória, mas no AI Halo isso é simplificado com sliders ou menus suspensos, dependendo de Linux ou Windows
- O Halo não impede configurações manuais nem montagens complexas; embora exista o risco de abstrair detalhes de implementação e hardware, ele oferece um ponto de partida antes de ir mais fundo
- AMD AI Playbooks é uma coleção de tutoriais simples para explorar cargas de trabalho de IA em hardware AMD
- Os Playbooks têm foco no AI Halo, mas também há versões para GPUs Radeon
- Os Playbooks também estão disponíveis no GitHub, e a AMD afirma que vai mantê-los atualizados como faz com as BKCs, além de adicionar novos playbooks todos os meses
Playbooks testados na prática
- AMD Sync oferece uma forma simples de acessar remotamente o Halo pela rede
- visualizar métricas em tempo real
- abrir projetos no VSCode
- iniciar projetos no Jupyter Labs
- acessar o terminal
- O AMD Sync exigiu apenas instalar o AMD Sync no dispositivo remoto e copiar as informações de SSH, funcionando sem problemas no teste
- Os playbooks relacionados a LM Studio e Lemonade cobrem o processo de baixar, gerenciar, servir e interagir com LLMs locais
- Os playbooks de LM Studio e Lemonade seguem um fluxo curto e fácil de acompanhar, passando por instalação do software, atualização do runtime e download do primeiro modelo
- Os dois playbooks avançam até o uso do LLM local como assistente de programação ou a interação programática com a API da OpenAI
- O playbook de VSCode conecta o LLM local hospedado nos playbooks anteriores ao agente Cline dentro da IDE
- Os playbooks de execução e fine-tuning de LLM com PyTorch mostram que é possível rodar um LLM em 4 a 5 etapas graças aos softwares, drivers e modelos pré-instalados
- O playbook de PyTorch não é um tutorial completo sobre o funcionamento interno do script, mas cumpre bem o papel de smoke test para conectar dependências e verificar se tudo funciona
- Para iniciantes, ele também oferece ideias de próximos experimentos em “Next Steps”
Pontos fortes e fracos da configuração de software
- As BKCs e os playbooks oferecem um estado de referência ao qual sempre se pode voltar, reduzindo casos em que vários tutoriais foram seguidos e mesmo assim nada funciona
- Esse estado pode ser acessado pelo botão System Reset no Developer Center
- Como o Halo pode ser instalado e configurado conforme a necessidade, como qualquer computador comum, as BKCs e os playbooks não limitam a liberdade do usuário
- BKCs e playbooks também permitem que tutoriais de terceiros partam de um ponto conhecido e com compatibilidade presumida, o que pode ajudar os usuários a avançar mais rápido
- Como dá para ver nas issues do GitHub do AI Playbook, alguns playbooks ainda falham em certos pontos, e problemas também apareceram durante os testes reais
- Se a AMD não resolver esses problemas com rapidez, o valor de toda a proposta de software pode enfraquecer, o que vira um risco para quem compra apostando em promessas de valor futuro
A NPU foi realmente usada
- No Halo, foi possível executar LLMs na NPU XDNA 2 usando AMD Lemonade e FastFlowLM
- O modelo executado foi o gpt-oss-20b-FLM, e não foi fornecida telemetria de uso da NPU
- Com uso de CPU/GPU praticamente zerado, o pacote AI Max+ 395 consumiu no máximo 35W, e o desempenho de geração foi de 20 tokens/s
- A NPU geralmente oferece menos capacidade computacional que a GPU, mas em compensação tem eficiência energética muito maior
- Isso a torna adequada para tarefas como processar rapidamente sensores, como câmeras, deixando CPU e GPU livres para tarefas principais
- O Ryzen AI Max+ 395 e este kit de desenvolvimento com NPU podem ajudar a avançar o desenvolvimento local de LLMs com maior eficiência energética, em vez de depender apenas de GPUs gigantes
Funcionamento do USB-C Power Delivery
- O Halo é alimentado inteiramente por USB-C PD
- O USB-C hoje pode fornecer até 240W, e o Halo inclui um adaptador AC/DC Delta ADP-240KB BA com suporte a USB-C PD Extended Power Range (EPR)
- Esse adaptador pode fornecer até 48V, 5A
- Nos testes, o Halo não chegou a puxar mais de 200W da fonte
- Foi usado um Infineon CY4500-EPR para medir os pacotes PD entre o adaptador e o Halo
- Ao ser conectado pela primeira vez, o adaptador informa as tensões e correntes disponíveis por meio da mensagem SOURCE_CAPABILITIES
- Inicialmente aparece apenas o modo de saída Standard Power Range (SPR), limitado a 20V e 5A, ou 100W
- O Halo envia uma mensagem EPR_MODE para solicitar o modo EPR do adaptador, e depois confirma a funcionalidade EPR completa
- O Halo solicita o modo de saída fixa de 48V, com até 5A, usando assim a configuração máxima de 240W
- O Halo continua enviando EXTENDED_CONTROL_MESSAGE para o adaptador, e esse comportamento contínuo em uma saída de tensão fixa foi um ponto interessante observado
1 comentários
Opiniões do Hacker News
O ponto novo que vale destacar são os AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
É a resposta da AMD aos playbooks da Nvidia(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks), e vejo como algo positivo a AMD começar a tratar essa área com mais seriedade
O hardware é exatamente o mesmo que era vendido por 2 mil dólares no ano passado, e ainda dá para comprar por mil dólares a menos em OEMs chinesas
É bom que os testes de LLM do LTT Lab estejam ficando mais sofisticados, mas os números podem variar bastante dependendo da versão do ROCm/Vulkan e da versão de build do llama.cpp
Para extrair o máximo de desempenho do Strix Halo, ajustes de kernel e utilitários como o ryzenadj ajudam, e a maior parte disso está reunida em http://strixhalo.wiki/
Se for usar para programação ou tarefas com agentes, quando o modelo suporta MTP isso já está bem maduro, e a decodificação pode ficar cerca de 30% mais rápida
Para economizar tempo: como o artigo também diz, o processador AMD Ryzen AI Max+ 395(Strix Halo) já existia desde a primavera de 2025, e o Halo não oferece nada novo nesse aspecto
Há o mesmo limite de 256 GB/s de largura de banda de memória das placas anteriores, então não entendo por que agora isso está sendo lançado como se fosse algo novo
Por um preço parecido dá para comprar um Framework Desktop, e o GMKtec EVO-X2 sai um pouco mais barato
Do ponto de vista da AMD, faz sentido capturar a margem diretamente em vez de vender mais barato para fabricantes de PCs
É só comprar um computador em torre comum ou um servidor em rack
Eu realmente gostaria de ter uma máquina com 128GB ou mais de memória, mas pagar 4 mil dólares por apenas 256 GB/s é duro
Ainda é preciso aceitar as desvantagens tanto de ARM quanto de AMD
Quando o RTX Spark sair, parece que vai ter que custar 6 mil dólares, e tenho receio de que, se surgir uma máquina com 128GB ou mais e 700+ GB/s, ela vá para 10 mil dólares e fique fora do alcance da maioria dos consumidores
Sinceramente, no momento há poucas boas opções, e talvez seja melhor esperar até o mercado ficar menos insano
Se alguém fizer uma máquina com ambos, ela será vendida facilmente por 10 mil dólares, e acho que as pessoas fariam fila para comprar
Por exemplo, o DS4, ou seja, o modelo quantizado em 1 bit do DeepSeek V4 Flash, fica em torno de 9 a 13 tokens por segundo, e o tempo até o primeiro token é muito longo
Não é viável como modelo de programação interativa do tipo agente
Gosto do Strix Halo e o uso bem principalmente para manter rodando tarefas não interativas, como auditoria de segurança de software ou experimentos de aprendizado
Como plataforma para experimentos de IA, é boa, mas por 4 mil dólares dá para comprar um Asus Ascend GX10 baseado em Nvidia, e esse provavelmente é melhor
Para uso local com agentes interativos, você provavelmente rodaria Qwen 3.6 ou Gemma 4, e eles cabem com folga em 2x64GB de GPU; até GPUs antigas podem ser mais rápidas que o Strix Halo
Também cabem apertado em 32GB, e devem rodar bem em Macs de 48GB ou 64GB
No momento, o sweet spot em GPUs parece ser duas Radeon AI Pro R9700
Elas oferecem memória e desempenho suficientes para inferência local sem custar o preço de um carro usado como uma 5090 ou 4090, e também não são exigentes, estranhas ou dependentes de dutos de ventilador impressos em 3D como GPUs antigas de servidor no eBay
Por enquanto, não há exatamente um modelo que rode melhor nessas máquinas de inferência de 128GB e que não rode bem em máquinas de 64GB
Uma máquina de 64GB pode até ser mais rápida, e entre GPUs de 32GB não deve haver muitas mais lentas, mas é melhor não comprar GPUs que atualmente não tenham suporte ativo em drivers do fornecedor e em CUDA ou ROCm
Esses dispositivos eram excelentes quando eram mais baratos que o DGX Spark
Mas, se o preço é igual, não há motivo para comprar isso em vez do Spark
O Spark é literalmente uma versão mais rápida, e o suporte de software também é melhor
Digo isso como alguém que tem um dispositivo Ryzen AI Max 395
Isso considerando vários fornecedores de ensino superior
A CPU do Ryzen é melhor que a do DGX Spark, e em programas modernos atualizados para usar AVX-512, o desempenho multithread é muito maior
É provável que o sistema NVIDIA seja melhor apenas para aplicações de GPU
Passei bastante tempo mexendo no kernel Linux certo, firmware de kernel, instalação do ROCm etc.
Tenho um dispositivo Strix Halo e gosto dele, mas, por esse preço, para uso com IA é melhor comprar um ASUS GX 10 baseado em Nvidia
O ecossistema CUDA ainda é mais forte
A AMD tem uma CPU melhor, então é melhor como máquina desktop, mas o lado da Nvidia é um pouco mais rápido e tem um pouco mais de suporte em tarefas de inferência e treinamento
Quase sempre dá para fazer a mesma coisa com ROCm, mas dá um pouco mais de trabalho
Dito isso, o Ubuntu customizado que a Nvidia envia no próprio hardware é ruim a ponto de ser difícil de lidar
A Nvidia não é boa em software, e lidei por anos com a linha Jetson, mas ela continua péssima
Ainda é um Ubuntu customizado tosco, com uma estrutura complicada baseada em imagens e sem UEFI, então não é simplesmente o caso de instalar outro Linux
Presumo que eles também enviem Ubuntu nos dispositivos maiores, mas só mexi diretamente nas pequenas máquinas Jetson embarcadas
Do lado da AMD, é um PC x86_64 comum, então dá para instalar praticamente qualquer Linux, e coloquei Fedora direto no meu dispositivo
É só Ubuntu, e não tive grandes problemas
Também há o fato de que é o único fornecedor, entre os dispositivos Linux ARM64 que vi até agora, que realmente entrega um Linux com suporte decente
Uso o ASUS GX10 como minha workstation principal do dia a dia, e a única coisa que não funciona é o Spotify, provavelmente por causa de DRM
Parece que também não há cliente ARM64 do Signal
A grande vantagem do DGX Spark sobre o Strix Halo é que a velocidade de prefill é muito maior
Cerca de 5 vezes mais rápida
O hardware de rede também é absurdamente poderoso, mas eu e provavelmente 99% dos outros usuários do Spark não vamos usar esse desempenho até o limite
256GB/s de largura de banda de memória é cerca de 1/4 de uma 3090
Se tivessem cortado a memória pela metade e aumentado a velocidade em 4 vezes, teria sido uma compra melhor
Alta velocidade de memória é boa para modelos densos ou serving com alta concorrência
Mas em um ambiente local de usuário único, muitas vezes é melhor que plataformas assim permitam usar modelos MoE maiores e mais poderosos a uma velocidade razoável e com baixa concorrência
Nesse ponto, o gargalo provavelmente são as pistas PCIe mais lentas
Se a tarefa cabe em uma placa de 24GB, você não é o público-alvo do nicho de mini PC de IA que eles estão tentando criar
Modelos pequenos rodam muito melhor
Pessoalmente, a 3090 só faz mais sentido quando dá para comprar pelo menos 2 placas, idealmente 4, e aí já vira uma conversa de orçamento completamente diferente
O novo modelo MTP Qwen3.6 35B MoE gera tokens até cerca de 80k de contexto sem grande desaceleração
Obter muitos tokens é bom, mas, por conseguir processar e expandir o contexto, ela continuará sendo uma ótima máquina em comparação com placas de vídeo menores
Um módulo de RAM DDR4 de 32GB tem largura de banda de 25GB/s e custa US$ 160
Comprando 8 deles, você obtém 256GB de RAM e 200GB/s de largura de banda por US$ 1.280
Comprando 16 módulos de 16GB a US$ 60 cada, dá para obter 400GB/s de largura de banda por US$ 960
O problema é que seriam necessários 8 ou 16 controladores de memória
Controladores de memória não são tão caros assim
O Intel Core i3-14100F tem um controlador de 2 canais e custa US$ 110, então dá para estimar que um controlador de 16 canais sairia por menos de US$ 880, e um de 8 canais por algo como US$ 440
Nesse caso, não seria melhor fazer uma CPU barata com 16 controladores DRAM, em vez de um equipamento de US$ 4 mil com apenas 128GB?
Ou também poderiam ser 2 CPUs com 8 canais de RAM cada
DDR5 é duas vezes mais cara, com 32GB por US$ 360, e a largura de banda nem chega a ser o dobro, então não vale a pena comprar
Faz mais sentido criar mais canais de RAM e usar DDR4
Mas a placa-mãe pode ser bem cara
Em vez de migrar para a DDR5 cara, deveriam ter feito até as CPUs mais baratas aceitarem 8/16 canais DDR4
Um módulo DDR5-4800 de 32GB custa US$ 360, e dois módulos DDR4-3200 de 32GB custam US$ 320, então você tem o dobro da capacidade, mais largura de banda e preço menor
DDR5 é simplesmente superfaturada
Na forma anterior, custava “apenas” US$ 2 mil, mas mesmo nesta caixa atualizada a largura de banda de memória é seriamente insuficiente
Há alguns modelos com espaço para colocar uma GPU dedicada para inferência híbrida, mas, pessoalmente, não acho que valha a pena
É melhor guardar o dinheiro para uma build Xeon ou EPYC
Não sei por que produtos parecidos todos ficam travados exatamente em 128GB de VRAM
Por esse preço, eu esperaria pelo menos 224GB de VRAM
Depende do barramento de memória
Dá para pensar em algo como 96GB para 128 bits, 192GB para 256 bits, 384GB para 512 bits e 768GB para 1024 bits
https://community.frame.work/t/was-there-no-possible-way-to-...
Como não querem que produtos de consumidor/homelab, de margem menor, substituam os produtos de data center, eles limitam a VRAM de propósito nesses produtos para torná-los menos atraentes para uso em data centers
Isso é só um pouco mais barato que um Nvidia DGX Spark com CUDA, ou que um Mac com 128 GB e o dobro da largura de banda de memória
A vantagem do Strix Halo era originalmente custar metade do preço daquelas máquinas muito mais potentes
Comprar um chip AMD por esse preço chega perto de ser loucura
Só que o mercado de hardware inteiro está maluco agora, então infelizmente acho que isso também vai vender bem
O M5 Pro tem uma largura de banda de memória um pouco maior, mas atualmente só vai até 64 GB de DRAM
Mesmo essa configuração de memória menor é mais cara que a da AMD ou da NVIDIA, e fica ainda mais cara se você quiser um SSD de tamanho decente, capaz de armazenar LLMs e calcular quantização localmente, em vez de um SSD pequeno
Por exemplo, com SSD de 4 TB e 64 GB de DRAM, passa de US$ 5.600
Para quem quer fazer inferência de LLM, a Apple não parece uma solução competitiva
O preço é muito mais alto, e é preciso bastante espaço para armazenar alguns LLMs, mas a expansão de SSD também é limitada
A única parte correta é que os sistemas AMD Strix Halo antes eram muito mais baratos que os da NVIDIA, mas agora ficaram no mesmo preço
A CPU do Strix Halo é melhor que a da NVIDIA, mas a GPU da NVIDIA provavelmente é melhor que a GPU da AMD, e o CUDA tem garantia de funcionar bem