Ollama + GPU AMD (ROCm) : configurare Radeon RX 6000 a 9000

#Perché ROCm

Per utilizzare la GPU AMD, Ollama (che si basa su llama.cpp) deve passare attraverso ROCm — l'equivalente AMD di CUDA. Senza ROCm, la scheda non viene rilevata per l'inferenza e tutto viene eseguito sulla CPU.

#Carte ufficialmente compatibili

RX 7900 XTX / XT / GRE

gfx1100. Supporto ufficiale. Circa l'80% delle prestazioni di una RTX 4080.

RX 7800 / 7700 XT

gfx1101. Supporto ufficiale da ROCm 6.1.

RX 6900 / 6800 / 6700 XT

gfx1030/1031. Supporto ufficiale per le schede più grandi, override per quelle più piccole.

Instinct MI200 / MI300

Schede per data center. Supporto nativo completo.

#1. Installare ROCm

Le due distribuzioni meglio supportate sono Ubuntu 22.04/24.04 e RHEL/Fedora. Le versioni Debian, Arch e simili richiedono aggiustamenti aggiuntivi.

# Dépôt officiel
wget https://repo.radeon.com/amdgpu-install/6.1/ubuntu/noble/amdgpu-install_6.1.60100-1_all.deb
sudo apt install ./amdgpu-install_6.1.60100-1_all.deb

# ROCm + drivers GPU
sudo amdgpu-install --usecase=rocm,graphics

# Droits utilisateur
sudo usermod -aG render,video $USER

# Reboot obligatoire
sudo reboot

rocminfo | grep gfx
# Doit afficher votre architecture, ex : gfx1100

rocm-smi
# Résumé VRAM, température, conso

#2. Ollama e ROCm

Ollama 0.3+ rileva automaticamente ROCm. Se hai installato Ollama PRIMA di ROCm, reinstallalo — lo script rileva quindi la GPU AMD e installa le librerie corrette.

curl -fsSL https://ollama.com/install.sh | sh
systemctl restart ollama

ollama run qwen3.5:9b "Test GPU"
# Puis dans un autre terminal :
rocm-smi --showuse
# La ligne GPU[0] doit bouger

#3. Forzare una scheda non supportata

Se rocminfo non elenca la tua GPU, o se Ollama continua a utilizzare la CPU, la variabile HSA_OVERRIDE_GFX_VERSION costringe ROCm a fingere.

RX 6600 / 6700

HSA_OVERRIDE_GFX_VERSION=10.3.0

RX 5700 XT

HSA_OVERRIDE_GFX_VERSION=10.1.0 (supporto fragile)

RX 6800 / 6900

Supportate nativamente, nessun override necessario.

sudo systemctl edit ollama

# Ajouter :
[Service]
Environment="HSA_OVERRIDE_GFX_VERSION=10.3.0"

sudo systemctl daemon-reload
sudo systemctl restart ollama

#4. Prestazioni attese

Con Qwen 3.5 9B Q4_K_M (6,6 GB, la scelta di riferimento per 8 GB nel 2026), ecco gli ordini di grandezza in token/secondo durante l'inferenza:

RX 7900 XTX (24 GB)

~90 tok/s. Simile a una RTX 4080.

RX 7800 XT (16 GB)

~62 tok/s. Tra RTX 4070 e 4070 Ti.

RX 6900 XT (16 GB)

~52 tok/s. Equivalente a una RTX 3080 da 10 GB.

RX 6700 XT (12 GB, override)

~33 tok/s. Tra RTX 3060 e 3060 Ti.

#Risoluzione dei problemi

rocminfo è vuoto

Driver non installati o utente non presente nel gruppo render. Verifica groups $USER.

Ollama utilizza la CPU nonostante ROCm

Spesso si tratta di un'incompatibilità dell'architettura. Prova l'HSA_OVERRIDE corrispondente alla generazione successiva.

Crash su grandi modelli (OOM)

rocm-smi per vedere la VRAM consumata. Se superi il limite, riduci num_ctx o passa a Q3_K_M.

Versione ROCm incompatibile con Ollama

Ollama è distribuito in pacchetti per ROCm 6.x. ROCm 5 non funziona. Aggiorna.