Project Digits da Nvidia, o "supercomputador pessoal de IA"
(techcrunch.com)- A Nvidia apresentou na CES 2025 um dispositivo compacto baseado em Grace Blackwell para colocar hardware de IA sobre a mesa
- O Project Digits é um supercomputador pessoal de IA para executar localmente a pilha de software de IA da Nvidia, mirando uma opção entre a nuvem e a workstation
- Segundo a Nvidia, um único dispositivo oferece até 1 petaflop de desempenho com o GB10 Grace Blackwell Superchip e suporta a execução de modelos com 200 bilhões de parâmetros
- O GB10 foi desenvolvido em parceria com a MediaTek e inclui GPU Blackwell, CPU Grace de 20 núcleos, 128 GB de memória e até 4 TB de armazenamento flash
- A venda está prevista para maio por US$ 3.000 por meio de parceiros principais, o que o torna um ambiente local poderoso para desenvolvimento de IA, mas pode limitar o público comprador individual
Grace Blackwell chega à mesa
- A Nvidia revelou o Project Digits na CES 2025, realizada em Las Vegas
- O Project Digits é um “supercomputador pessoal de IA” que oferece a plataforma de hardware Grace Blackwell da empresa em um formato compacto
- Os principais públicos-alvo são pesquisadores de IA, cientistas de dados e estudantes
- O CEO Jensen Huang explicou que o Project Digits executa toda a pilha de IA da Nvidia e pode ser usado como uma plataforma de computação em nuvem sobre a mesa e como uma workstation
Escala de execução de modelos e configuração de hardware
-
GB10 Grace Blackwell Superchip
- O Project Digits traz o novo GB10 Grace Blackwell Superchip da Nvidia
- Ele oferece até 1 petaflop de poder computacional para prototipagem, fine-tuning e execução de modelos de IA
- Segundo a Nvidia, um único Project Digits pode executar modelos de até 200 bilhões de parâmetros
-
Configuração de chip e memória
- O GB10 foi desenvolvido em parceria com a MediaTek
- A estrutura conecta uma GPU Nvidia Blackwell e uma CPU Nvidia Grace de 20 núcleos
- No interior, há um pool de memória de 128 GB e até 4 TB de armazenamento flash
-
Expansão e formas de uso
- Ao conectar duas unidades do Project Digits, é possível executar modelos de até 405 bilhões de parâmetros, dependendo da carga de trabalho
- Ele pode ser usado de forma independente ou conectado a um PC Windows ou Mac básico
- O sistema operacional é o DGX OS da Nvidia, baseado em Linux
Lançamento e preço
- O Project Digits será vendido por US$ 3.000 a partir de maio por meio de “parceiros principais”
- Huang afirmou que levar o Grace Blackwell Superchip a milhões de desenvolvedores e colocar um supercomputador de IA sobre a mesa de cientistas de dados, pesquisadores de IA e estudantes amplia a participação na era da IA
2 comentários
Espero que o desempenho também fique bom como prometido e que a manutenção também seja bem feita.
Comentários do Hacker News
Quando olho para o Jetson Nano encostado no canto, ele foi abandonado pela Nvidia em 4 anos e agora, aposentado, só serve como peso de papel
Ele saiu como um computador de placa única para “IA”, mas já era baseado em um Ubuntu 18.04 customizado e defasado; quando o 18.04 chegou ao fim do suporte, a Nvidia interrompeu completamente as atualizações do JetPack proprietário e dos drivers
Como resultado, stacks de aprendizado de máquina como CUDA e Pytorch também se tornaram inúteis, e não pretendo comprar outro computador de placa única da Nvidia a menos que o suporte de software entre no upstream do kernel Linux
A relação entre Nvidia e Linux foi complicada de modo geral. Eles fornecem drivers, mas uma das maneiras mais garantidas de quebrar uma instalação Linux de forma irrecuperável era instalar ou atualizar esses drivers
A sensação é de que eles toleram apenas o mínimo para poder dizer que “funciona”, em vez de priorizar o Linux como plataforma de suporte de primeira classe
Sinceramente, os computadores de placa única da Nvidia deram mais trabalho do que benefício
Parece ter melhorado bastante, mas como o fork do JetPack Linux tem um driver
nvgpuseparado para Tegra e ele ainda não foi separado dessa árvore, a limitação de ser um kernel sem GPU pesa muitoSe você não estiver mirando explicitamente robótica e inferência de IA na borda, há alternativas melhores
Pelo nome, pelo design no estilo DGX e por softwares como o DGX OS, este dispositivo parece mais próximo de Grace Hopper/design de datacenter do que de Tegra
Nesse lado de workstation/servidor, é UEFI, e pode ser possível usar um kernel Linux upstream e drivers Nvidia open source na distribuição que você quiser
Se for assim, ele pode se tornar uma máquina Linux comum, muito mais familiar do que a série Jetson, mas ainda não se sabe se o GH200/GB200 também exigirá patches customizados
O tempo dirá, mas se uma boa GPU for combinada com um bom design ARM Cortex e ele se comportar mais como uma caixa Linux tradicional do que a série Jetson, poderá ser uma excelente máquina local de inferência de IA
Pela experiência, fornecedores não cuidam de patches de segurança tão bem quanto o upstream. Considerando o ecossistema fechado da Nvidia, não dá para esperar muito de suporte de longo prazo
Isto parece ter mais significado do que as GPUs da série 5x
Pensando na febre de IA/LLM, mesmo que saia um Mac mini M4 Max/Ultra, isso pode comer uma parte do público de desenvolvedores de IA hobbistas que a Apple detém
Nos últimos anos, parece que a Nvidia tem feito tudo certo, e isso me faz pensar que eu gostaria de ter mantido ações dela
O Xeon Phi fracassou por vários motivos, mas a disponibilidade de software otimizado era algo que não precisava ter fracassado
Hoje existem Xeon, EPYC e o MI300C com muitos núcleos eficientes, mas, se nos últimos 10 anos tivéssemos usado software adaptado a esse tipo de hardware, o problema de extrair desempenho dele já estaria resolvido
Da mesma forma, no Itanium, a primeira coisa que a Intel deveria ter garantido era um bom suporte a Linux, e isso poderia ter sido preparado antes mesmo do primeiro silício sair
Por um tempo, o suporte ao Itanium foi bom, mas agora ele se tornou uma plataforma morta há muito tempo
A Sun também falhou de maneira parecida com o SPARC. Depois de abandonar as workstations, não havia um caminho fácil de onboarding
Ela acertou ao manter a relevância do sistema operacional com o OpenSolaris e ao basicamente tolerar o x86 Solaris para que as pessoas pudessem aprender e se treinar
Teria sido bom se a Oracle Cloud ao menos oferecesse SPARC como instâncias na nuvem
A IBM está seguindo o mesmo caminho agora. Não existe uma máquina POWER de entrada, razoável, capaz de competir em desempenho com x86 de classe workstation
O máximo é uma máquina pequena, de meio rack, que dá para colocar em um gabinete ao lado da mesa
Quase não vi empresas tentando implantar novos sistemas com AIX, IBMi ou Linux on POWER, porque é fácil demais construir em plataformas concorrentes
Na IBM Cloud é possível conseguir instâncias AIX, IBMi e IBM Z, mas não é fácil, e não encontrei tutoriais que levem “do zero até SSH/5250/3270”
Linux on Z é possível, mas não parece haver uma forma oferecida pela IBM para usar Linux on POWER, e apenas alguns laboratórios de HPC ainda oferecem esse tipo de recurso
Muitas empresas vão comprar esses dispositivos para desenvolvimento local, a fim de deixar os caros chips de classe empresarial livres para uso comercial
Movimento genial. O que impressiona ainda mais é o formato: colocar esse nível de desempenho em algo de tamanho parecido com um Mac mini
Comprar duas unidades por 6.000 dólares e rodar localmente um modelo de 400B+ é algo quase absurdo
Há um ano, imaginar rodar algo como ChatGPT no desktop era impensável
Ainda assim, como hobbistas impulsionam muitas melhorias na stack tecnológica, se começarem a usar isto, o ecossistema NVIDIA vai se consolidar ainda mais profundamente
Macs com memória unificada são uma ameaça à qual ele precisa responder imediatamente. Pelo que parece, Jensen é um CEO de guerra e não está brincando
Também não surpreende que a AMD esteja ausente do espaço high-end. A Nvidia está batendo de frente com a Apple, e a AMD não é uma empresa cujo negócio seja competir com a Apple
É porque as pessoas querem fazer fine-tuning e também geração de imagens adultas no tempo livre
O diagrama de Venn dos usuários que postam sobre rodar modelos de difusão e LLMs em casa é praticamente um círculo
É surpreendente a Nvidia lançar um supercomputador desktop Linux com desempenho por preço melhor do que qualquer coisa do lado Wintel, e a nova stack de software não ser portada para Win32, rodando apenas no WSL2
Pode ser que o ano do desktop Linux chegue de verdade
O Neoverse N2 de 20 núcleos não parece que vá se sair especialmente bem em comparação com um Zen 5 de 16 núcleos
A parte de GPU parece promissora, mas eles não mencionam largura de banda de memória, configuração, especificações detalhadas nem desempenho
Só vi informações vagas como “a partir de US$ 3.000”, até 4 TB NVMe e até 128 GB de RAM
Espero que o AMD Strix Halo, ou seja, o AI Max+ 395, também seja bastante competitivo
Nesse caso, talvez seja apenas uma extensão da tendência de “Unix em workstations” que existe há décadas
A Nvidia trabalha em estreita colaboração com a Microsoft no desenvolvimento das placas, os principais recursos entram primeiro no DirectX e depois chegam ao Vulkan e ao OpenGL como extensões da Nvidia; mais tarde, quando outros fornecedores acompanham com extensões parecidas, isso vira padrão
O WSL2 não é essencialmente uma máquina virtual? Então isso significa que roda no Linux, e que o Linux também pode rodar no WSL2, não?
Se realmente funcionar apenas no WSL2, aí a história é outra
Eu estava animado pensando que fosse uma workstation Linux, mas se o WSL2 estiver envolvido ou for obrigatório de alguma forma, é para sair correndo
Fiquei um pouco surpreso com a quantidade de comentários comparando o custo com soluções de nuvem baratas
Vejo a proposta de valor da Nvidia como algo completamente diferente
Por exemplo, se uma startup na UE que lida com dados pessoais ou segredos corporativos quiser analisá-los com um LLM, só o fato de os dados não saírem do porão pode valer mais de US$ 3.000, desde que o desempenho não seja o gargalo
Faço muito mais experimentos bobos com LLMs em hardware que possuo do que pagando por token
Na prática, mesmo hoje, passo muito mais tempo com Llamas locais menores do que com o Claude
Mesmo sem fazer nada sensível, ainda tenho receio de enviar meus dados para essas empresas
Isto não concorre com a nuvem, e sim com o Mac mini e GPUs de alto desempenho; nesse mercado, US$ 3.000 é uma faixa de preço muito atraente
Se uma empresa de tecnologia mantiver alguns desses dispositivos localmente, os usuários poderão consultar o LLM corporativo com dados sensíveis
Hoje desenvolvo, treino e uso modelos em um hardware montado com peças que sobraram depois de um upgrade do desktop; com certeza compraria um desses e, se funcionasse bem, talvez comprasse dois
Mas exigências regulatórias ou interesses de negócio às vezes requerem redundância e proteção de dados, e manter tudo apenas on-site pode não atender a esses requisitos
Há um mercado que não foi muito tratado aqui: bioinformática
A Illumina, dominante nesse mercado, já fornece um chip de hardware customizado para servidores chamado DRAGEN, voltado a analisar rapidamente milhares de genomas
Com o sequenciamento do genoma humano se tornando comum, o principal mercado desse produto é a medicina personalizada
Empresas como a Oxford Nanopore usam GPUs embarcadas para a chamada de bases, convertendo os sinais elétricos brutos que saem do sequenciador em A, T, G e C, mas, por restrições de tamanho e energia, isso não funciona tão bem quanto se esperaria
Este dispositivo pode ser um grande divisor de águas para empresas como a ONT, especialmente para tarefas mais interessantes como sequenciamento adaptativo
Outras áreas da bioinformática, por exemplo a maior parte dos softwares de análise rotineiros, ainda dependem muito de CPU e RAM
A Illumina comprou a empresa que fazia esse chip por US$ 100 milhões
O custo de analisar um genoma em hardware genérico na nuvem geralmente fica abaixo de US$ 10
Claro que um chip desses pode permitir análises que hoje são impossíveis ou bloqueadas pelo custo
Mas, pelo menos hoje, o gargalo da genômica não é a análise, e sim o custo do sequenciamento, atualmente na faixa de US$ 400 a US$ 500 por genoma
Ainda assim, acho que faltam de 1 a 3 anos para a ASI realmente engrenar
Fui procurar por curiosidade, e este dispositivo roda algo chamado DGX OS
Os principais recursos do DGX OS 6 são: base no Ubuntu 22.04, kernel Linux 5.15 de suporte de longo prazo mais recente, atualizações de pacotes de software como Python e GCC, kernel Linux otimizado pela Nvidia com suporte a GPU Direct Storage sem patches adicionais, acesso a todos os branches de drivers de GPU da Nvidia e versões do CUDA Toolkit, instalação opcional do Ubuntu OFED padrão e do NVIDIA OFED para recursos adicionais, suporte a Secure Boot e suporte ao DGX H100/H200
Lembro do que acontece quando se faz upgrade com aquele bloco binário do driver da Nvidia instalado
Ah, desculpa, devo chamar de telemetria
A Nvidia acabou fazendo o que Intel/AMD deveriam ter feito para ameaçar o ecossistema CUDA
Lançou um dispositivo/GPU de inferência local de 128 GB “barato”
Mandou bem, e as tentativas de IA da Intel/AMD daqui para frente parecem sombrias
Mesmo uma análise SWOT básica da posição da Nvidia teria obrigatoriamente considerado a possibilidade de um concorrente lançar um produto desses
Seja a Apple, que já vem corroendo aos poucos as bordas desse espaço, seja a AMD/Intel, que poderiam ou deveriam ter feito isso
Não há garantia de que as coisas vão seguir exatamente esse caminho, mas um futuro em que modelos como LLMs estejam em toda mesa e em toda casa é bastante plausível
Isto não é um periférico conectado ao computador para rodar tarefas especiais, mas um computador completo que executa Linux
É uma coisa meio “eremita no jardim”. Dá para imaginar um futuro em que um dia todo mundo tenha uma versão futura disso, e esse dispositivo viva junto, aprenda junto e, ao contrário da IA SaaS baseada em nuvem, possa ser ensinado imediatamente, dando uma vantagem por fugir da média
Mesmo com vantagens, ainda é muito pouca gente que opera seu próprio servidor Plex em vez de assinar streaming
No lado local, se os avanços de hardware e a descoberta de que modelos pequenos conseguem lidar razoavelmente bem com várias tarefas continuarem, essas estações de trabalho locais de alto desempenho devem, no máximo, ficar como um atrativo de nicho
Fico curioso para saber de onde ela veio
O IBM Roadrunner foi o primeiro supercomputador a atingir 1 petaflop, ou seja, 1 quatrilhão de operações de ponto flutuante por segundo, em 25 de maio de 2008
Custava US$ 100 milhões, 2,35 MW, 6000 ft²
Já o Project Digits foi projetado para pesquisadores de IA, cientistas de dados e estudantes, e oferece até 1 petaflop de desempenho para prototipagem, ajuste fino e execução de modelos de IA com o novo GB10 Grace Blackwell Superchip da Nvidia
US$ 3000, 1 kW, 0,5 ft²
Portanto há uma diferença de pelo menos 8 vezes, e na prática ela deve ser muito maior
Também é muito duvidoso que o Digits consiga entregar 1/8 de petaflop em FP32
As outras diferenças parecem plausíveis considerando o intervalo de 20 anos
Parece um sucessor do Nvidia Jetson AGX Orin 64GB Developer Kit: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
Fico curioso sobre as especificações detalhadas em termos de largura de banda de memória e desempenho computacional
Se for como agora, você recebe só 1 ou 2 grandes atualizações de kernel durante toda a vida útil e precisa fazer coisas estranhas como instalar um Ubuntu de 6 anos atrás em um PC x86 para rodar o utilitário que faz o flash do sistema operacional
O motivo de ele ser famoso na comunidade técnica é a síndrome do computador de placa única
As pessoas compram empolgadas com o que acham que ele poderia fazer, mas, como aquilo em que ele realmente é bom é diferente do motivo da compra, 95% acabam numa gaveta depois de um ano
Este produto, como o artigo diz, está mais próximo de um descendente da variante de HPC
Parece ter sido pensado para ser um dispositivo de entrada realmente útil para pessoas que querem realizar ou executar tarefas comuns de IA melhor do que em um PC qualquer
Mas a Nvidia não é uma empresa conhecida por baixar muito os preços, então deve haver algum detalhe escondido em algum lugar