Ollama AMD GPU 支援

AMD Radeon RX 6300(gfx1034)為例
本次為官方不支援 LLVM Target

參考

ollama-for-amd

安裝ROCmLibs for HIP SDK 6.1.2

AMD HIP SDK for Windows
官方支援GPU

下載ollama

https://github.com/likelovewant/ollama-for-amd/releases

執行Ollama

於資料夾執行ollama:

ollama serve

AMD Radeon RX 6300 為gfx1034 LLVM Target
回應不支援GPU:

msg="amdgpu is not supported (supported types:[gfx1030 gfx1100 gfx1101 gfx1102 gfx906])" gpu_type=gfx1034 gpu=0 library="C:\\Program Files\\AMD\\ROCm\\6.1\\bin"

下載gfx1034 ROCm

https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases/tag/v0.6.1.2

將rocblas.dll及library 備份後刪除

C:\Program Files\AMD\ROCm\6.1\bin\rocblas.dll
C:\Program Files\AMD\ROCm\6.1\bin\rocblas\library

將下載後的gfx1034 ROCm解壓後放置於

C:\Program Files\AMD\ROCm\6.1\bin\rocblas.dll
C:\Program Files\AMD\ROCm\6.1\bin\rocblas\library

重新執行

執行ollama:

ollama serve

本次已找到適應版本

msg="inference compute" id=0 library=rocm variant="" compute=gfx1034 driver=6.1 name="AMD R