Apple aprova driver que permite usar eGPU da Nvidia em Macs Arm

 (theverge.com)
4 pontos por GN⁺ 25 일 전 | 1 comentários | Compartilhar no WhatsApp
  • Este driver foi desenvolvido pela Tiny Corp, não pela Nvidia, e pode ser usado com a assinatura aprovada pela Apple sem precisar desativar o System Integrity Protection (SIP)
  • O driver precisa ser compilado manualmente via Docker e não funciona no formato tradicional de plug and play
  • Segundo a documentação da Tiny Corp, este driver foi projetado para executar grandes modelos de linguagem (LLMs)
  • A Tiny Corp afirma que “a Apple aprovou drivers tanto para AMD quanto para Nvidia”
  • Com isso, abre-se a possibilidade de usuários de Macs Arm também aproveitarem GPUs externas (eGPU)
  • A permissão da Apple para assinar um driver de GPU de desenvolvedor externo é vista como um caso muito raro
  • No passado, instalar drivers não oficiais era impossível sem desativar o SIP
  • Com essa aprovação, a expansibilidade do hardware dos Macs e a utilidade para cargas de trabalho de IA e machine learning ficam ainda mais fortes

Leituras relacionadas

1 comentários

 
GN⁺ 25 일 전
Opiniões no Hacker News

  • Tecnicamente é um bom projeto, mas na prática é quase inútil em 90% dos casos
    Se você quer rodar LLMs com uma GPU da Nvidia, é melhor comprar um PC usado; se quer um Mac com muita VRAM, então compre um Mac
    A abordagem proposta fica limitada pela GPU via porta Thunderbolt, e o acesso às ferramentas e bibliotecas da Nvidia também é ruim
    Em contrapartida, vira um sistema incompleto que pode quebrar com atualizações do macOS

    • Outra forma é montar pela rede uma GPU da Nvidia que esteja em outra máquina na mesma LAN
      Assim não há limitação de largura de banda do Thunderbolt, e dá para usar as chamadas CUDA como estão
      Porém, é preciso estar na mesma LAN e há cerca de 4% de overhead
      Fica difícil em viagens, e os problemas de driver no macOS continuam sem solução
      Eu trabalho na GPU Go, então posso estar enviesado a favor dessa abordagem
    • A falta de tooling da Nvidia se deve em grande parte ao fato de que, até agora, não dava para usar o hardware no macOS
      Agora que isso se tornou possível, a situação pode mudar no futuro
    • Eu tinha confundido eGPU com GPU virtual, mas na verdade significa GPU externa

  • Não entendo por que o link aponta para um proxy em vez do original
    O original é a conta da tinygrad no X

    • Provavelmente por causa da barreira de login. O X agora tem várias restrições do tipo “você precisa se cadastrar para ver os comentários”, e a qualidade do site caiu
    • Hoje em dia, o X não é frequentemente a fonte original?

  • Pelo que entendi, isso funciona apenas para Tinygrad
    Não dá para usar CUDA nem Vulkan no PyTorch
    A documentação relacionada está na documentação do TinyGPU

  • A Apple recusou assinar drivers de eGPU da Nvidia desde 2018, mas não entendo como isso escapou do escrutínio regulatório

    • Gostaria de saber se existe alguma evidência de que a Nvidia realmente tentou
      Depois do macOS 10.13, drivers gráficos de terceiros não eram permitidos, mas talvez drivers não gráficos ainda fossem possíveis
    • Pode ser que o governo simplesmente não se importe
      Quase não existiam Macs nos quais fosse possível conectar uma GPU da Nvidia, e agora não há mais nem slot
    • A Apple não tem posição monopolista em nenhum mercado
    • É parecido com quando o Google bloqueou o cliente do YouTube para Windows Phone
    • Não bastaria desativar o SIP?

  • Lendo o guia e os scripts, parece que a estrutura passa a GPU para uma VM Linux e depois a devolve ao Mac
    Parece até que a equipe do TinyGrad conseguiu aprovação para essa abordagem
    Posso ter entendido errado o papel do Docker

  • Tanto a Apple quanto a Nvidia estão perdendo um bom resultado por causa de sua postura fechada
    Teria sido muito melhor se fosse possível rodar Nvidia em hardware Mac com Linux
    Nós viramos consumidores que perdem o controle mesmo depois de comprar o produto

    • Por isso eu simplesmente não compro produtos da Apple
      Tudo funciona bem também fora desse ecossistema

  • Está aumentando o número de usuários de notebooks ARM que deixam a GPU remota
    Por isso, uma UX em que a GPU possa acompanhar o fluxo de trabalho local está se tornando importante
    Nós, na GPUGo / TensorFusion, estamos pesquisando formas de combinar um fluxo de desenvolvimento local-first com acesso remoto à GPU
    Fico curioso para saber se as pessoas querem algo que realmente pareça uma eGPU, ou se querem apenas computação remota com o mínimo de atrito

    • Mas, ao exibir imagens a partir da GPU, seria problemático se houvesse até mesmo 100 ms de latência de rede

  • Estou viajando, mas tenho uma RTX 5090 em casa e queria testar isso com ela
    Estou consultando a documentação do TinyGPU e espero que funcione em um M4 Mac Mini
    Parece que vou precisar de uma fonte ATX para alimentação; será que dá para fazer inferência de LLM com tinygrad?

    • No AliExpress, dá para comprar um gabinete para GPU por cerca de 100 dólares
      Ele usa uma PSU padrão, mas o Mac Mini não tem occulink, então fica limitado à largura de banda do USB-C
      Quando os drivers da Intel Arc estabilizarem, uma combinação de GPU barata também pode ser interessante
      A Intel Arc Pro B70 (32GB VRAM) custa 1000 dólares, e o Mac Mini fica em torno de 500 dólares
    • Fico na dúvida sobre o quanto a VRAM rápida da GPU pode compensar a VRAM lenta do Mac
      Se a velocidade de interconexão não for suficiente, a troca de camadas pode virar gargalo
    • Eu também acabei devolvendo a minha 5090 ainda lacrada na caixa
      É uma situação irônica de ter dinheiro, mas não ter tempo para usar

  • Interessante, mas não dá para executar CUDA nem nvidia-smi

    • Ainda assim, não é surpreendente, já que isso se baseia em bibliotecas de ML de outras empresas, não da Nvidia
      Seria ótimo se surgisse uma camada de compatibilidade com CUDA, mas já é bem legal que inferência e treinamento funcionem com bibliotecas próprias

  • Se o Mac suportasse drivers da Nvidia, as vendas do Mac Pro teriam aumentado

    • O fato de Apple e Nvidia terem restabelecido uma relação oficial é algo importante
      Nos últimos mais de 10 anos, a Apple não permitia drivers de GPU da Nvidia
      GPUs de 7 anos atrás (como VEGA64, RTX1080Ti) ainda têm velocidade de processamento de tokens maior do que a maioria dos Apple Silicon
      Os processadores MAX/Ultra da Apple são adequados para modelos grandes, mas não são tão rápidos quanto uma RTX5090