Como a AMD pode atravessar o fosso do CUDA

• A Nvidia tem vantagem no campo de GenAI graças a ferramentas de software como CUDA e cuDNN e a bibliotecas otimizadas
  • Ela construiu um forte "fosso (moat)" de software em torno do hardware, o que dificulta a concorrência de outras empresas nos mercados de HPC e GenAI
• Com o aumento da demanda por recursos de computação para GenAI, mais GPUs estão sendo necessárias. Isso cria uma lacuna entre oferta e demanda, que empresas como a AMD estão tentando preencher
• Para competir com a Nvidia, GPUs e aceleradores de outros fabricantes precisam oferecer suporte ao CUDA. A AMD torna isso possível por meio da ferramenta de conversão HIP para CUDA
• A biblioteca open source de machine learning PyTorch está ganhando popularidade como alternativa ao TensorFlow para criar aplicações de IA usando GPUs
• O PyTorch isola os usuários da arquitetura de GPU subjacente, facilitando para as GPUs da AMD atravessarem o fosso do CUDA
• O futuro superchip Grace-Hopper da Nvidia, baseado em ARM e com 72 núcleos, está gerando muita expectativa por seu potencial de desempenho em HPC e GenAI
• A AMD pretende competir com o superchip Grace-Hopper da Nvidia com o futuro processador Instinct MI300A, que vai alimentar o futuro El Capitan, do Lawrence Livermore National Laboratory
• A CEO da AMD, Lisa Su, declarou a meta da empresa de se tornar líder do setor em soluções de inferência, graças às escolhas de sua arquitetura
• Para a AMD e outros fornecedores de hardware, o PyTorch instalou uma ponte levadiça sobre o fosso do CUDA
• A batalha de hardware no mercado de GenAI será decidida por desempenho, portabilidade e disponibilidade

[slemma999]

Sempre acompanho e gosto muito dos bons artigos, obrigado. Mas, para dar uma opinião pessoal: não é exatamente uma tradução para o coreano; ao converter para palavras de origem chinesa, a linguagem fica estranha e difícil. Termos como "ponte levadiça" ou "fosso", por exemplo, seria melhor manter em inglês ou explicar com palavras mais simples em coreano.

[monovision]

"Fosso" é uma palavra muito usada, e embora "ponte levadiça" não seja uma expressão tão comum, se você consultar o dicionário etc., parece ser o termo traduzido mais adequado.
https://ko.wikipedia.org/wiki/%EA%B0%80%EB%8F%99%EA%B5%90

[slemma999]

Eu sei que isso também é usado na área de economia, e entendo que, à medida que a tecnologia de IA fica mais complexa, esse tipo de expressão acaba sendo usado, mas acho que aqui foi empregado de forma incorreta. Por exemplo, dizer que isolar a GPU da AMD da arquitetura básica de CPU facilita que ela supere o fosso do CUDA foi escrito de um jeito errado, como se isso fosse algo tecnicamente simples de resolver. Em coreano, seria mais adequado dizer que ela tem capacidade técnica para superar esse fosso. Do jeito que a frase foi escrita, parece que alguma biblioteca poderia resolver tudo sozinha, então fica bastante estranho. A ponto de dar até a impressão de que “fosso” talvez nem fosse a palavra certa.

[newtype]

"Fosso" é uma palavra adequada até demais, porque não tem muito substituto e também não há grande necessidade de substituí-la... Para você, que talvez a tenha visto pela primeira vez no dicionário agora, pode soar estranha, mas nem todos os outros leitores têm um nível de vocabulário parecido com o seu. Não vamos usar a própria ignorância como arma.

[botplaysdice]

Isso dá uma sensação ruim. Mas espero que a comunidade não se torne um lugar onde a ignorância vire motivo de vergonha.

[fortune]

Isso mesmo, eu também às vezes sinto que há trechos estranhos na tradução automática.

Mas, nesse caso, moat é uma expressão bastante usada também aqui na Coreia. Se você pesquisar por “moat” nas notícias, vai encontrar muitos resultados.

[cosine20]

Pelo que eu sabia, a alternativa à CUDA da qual a AMD participou era o OpenCL, mas, como ele não é mencionado aqui, aparentemente não houve muita integração com bibliotecas da área de inteligência artificial nesse meio-tempo.

[GN⁺]

Comentários do Hacker News

• Um usuário viu uma melhoria de desempenho de 200 vezes em relação à CPU ao usar ROCm com Pytorch.
• Devido à complexidade da configuração da AMD, o usuário recomenda usar a imagem Docker base oficial do ROCm Pytorch.
• O usuário disse que o único motivo para ter uma placa Nvidia é o CUDA, mas ficaria grato se mais projetos migrassem para ambientes neutros.
• O usuário acha que rodar Nvidia no Linux não é agradável, comparando com travamentos de kernel no Windows Vista.
• O usuário dá as boas-vindas à concorrência da AMD e de outros rivais, e também tem interesse no SoC Apple Silicon com grande quantidade de RAM interna.
• O Pytorch permite outros hardwares, e o usuário gostaria de ver benchmarks reais sobre poder computacional.
• Há poucas evidências empíricas de que a AMD esteja reduzindo a diferença em software científico ou de ML em relação à Nvidia.
• O CUDA é resultado do esforço da Nvidia para dar suporte ao ecossistema e, ao comprar Nvidia, você também está comprando o esforço que eles investiram nesse ecossistema.
• A AMD tem o hardware, mas falta suporte para HPC além de bliss e AOCL.
• O usuário questiona se a AMD tem uma solução para compatibilidade futura entre dispositivos semelhante ao PTX da Nvidia.
• A vantagem da Nvidia é fruto de anos de trabalho da comunidade open source, de grandes empresas e de institutos de pesquisa.
• O usuário questiona se, caso a AMD alcance a Nvidia, os preços cairão para hobbyistas ou startups bootstrap, ou se a AMD também aumentará os preços como a Nvidia.
• A solução de software da AMD foi projetada para rodar em qualquer hardware, e o hip é compatível com cuda linha por linha, então a portabilidade é muito fácil.