Ollama agora oferece suporte a placas de vídeo AMD

• O Ollama começou a oferecer suporte a placas de vídeo AMD em versão prévia no Windows e no Linux
• Todos os recursos do Ollama agora podem ser acelerados por placas de vídeo AMD no Linux e no Windows

Placas de vídeo compatíveis

• Série AMD Radeon RX: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• Série AMD Radeon PRO: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• Série AMD Instinct: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• O suporte para mais placas de vídeo AMD será disponibilizado em breve.

[GN⁺]

Comentários no Hacker News

• Falta de reconhecimento pelas contribuições do llama.cpp

  • Chama a atenção que o llama.cpp não receba reconhecimento direto nem agradecimento por ferramentas baseadas na tecnologia que ele fornece.
  • Outros softwares de "execução local" recebem um nível adequado de crédito, e embora o Ollama pareça não ter problemas com a licença MIT, não há nenhum agradecimento no repositório, no blog nem no site do Ollama.

• Opiniões sobre o post do blog relacionado ao suporte a AMD no Ollama

  • O post do blog parece curioso. Já estava usando o Ollama em uma AMD RX 6650 havia algumas semanas.
  • Eles já ofereciam um contêiner ROCm desde 21 dias atrás, e parece que isso foi publicado junto com a versão mais recente, 0.1.29. Fica a dúvida sobre o que realmente mudou nesta release em relação ao suporte a AMD.
  • Há uma issue mostrando o processo de rodar o Ollama em placas AMD sem suporte oficial. No fim, basta definir variáveis de ambiente.
  • Foi encontrada a mudança de que o modelo starcoder2 agora funciona. Antes, ele travava.

• Dúvidas sobre a atenção excessiva ao Ollama

  • Não está claro por que o Ollama recebe tanta atenção. Ele só suporta um modelo por vez e tem valor limitado para uso apenas experimental.
  • Ele torna o processo de experimentação muito fácil, mas, considerando que depende totalmente do llama.cpp e que sua principal proposta de valor é o gerenciamento simples de modelos, parece supervalorizado em comparação com a atenção e os elogios que recebe.
  • Depois dos testes iniciais, no fim é preciso implantar o modelo em produção. O ponto não é deixar de dar crédito ao llama.cpp, mas sim que este produto recebe atenção demais em relação ao valor que entrega.

• Agradecimento pelo suporte a RX 6800/6800 XT / 6900 XT

  • É bom poder usar em tarefas de ML uma placa comprada por um valor exagerado por causa da escassez pós-COVID.
  • Agradecimentos ao projeto Ollama e ao llama.cpp.

• Mensagem de aviso relacionada à AMD ao executar o Ollama

  • O fooocus funciona, mas ao rodar o Ollama aparece uma mensagem de aviso relacionada ao driver AMD no Linux.
  • Como não há biblioteca ROCm, ele acaba usando a CPU.
  • É preciso verificar como reinstalar o ROCm no Arch Linux.

• Reação positiva à perda de competitividade do CUDA

  • Quanto mais projetos como este surgirem, menos importante o CUDA se torna, e menor fica a vantagem competitiva da Nvidia.

• Softwares de LLM local incentivam a compra de novo hardware

  • Placas antigas como RX 570/580 não são suportadas, e embora o hardware novo seja mais poderoso, como o CUDA foi lançado em 2007 e o ROCm em 2016, parece que não deveria ser necessário ter placas tão recentes.

• Experiência de uso simples do Ollama

  • Não havia experiência anterior rodando modelos locais, mas no Ubuntu 22 funcionou de imediato com uma placa 7600, o que é excelente.

• Curiosidade sobre o uso de OpenCL

  • Como o OpenCL é usado com bem menos frequência do que o Cuda, fica a curiosidade sobre como isso foi implementado com sucesso.
  • Foi pago um valor considerável por uma placa 4090, mas seria bom ter opção de escolha.

• Preço das placas NVidia e esforços para melhorar o suporte à AMD

  • Diante do preço muito alto e da dificuldade de encontrar placas NVidia topo de linha, isso sugere que há muito esforço sendo feito para melhorar o suporte à AMD.