Quale LLM su Radeon RX 6700 XT (12 GB) ?

#Cosa fa una RX 6700 XT nel 2026

Una Radeon RX 6700 XT funziona molto bene come scheda grafica entry-level per un LLM locale a patto di accettare tre fatti: i suoi 12 GB di memoria accolgono un modello di 14 miliardi di parametri in Q4 (circa 9 GB di pesi) ma non uno da 24B; la soluzione software affidabile per questa scheda è Vulkan, tramite llama.cpp o Ollama, perché AMD non la include nell'elenco delle schede supportate da ROCm; e la sua velocità di generazione, limitata dalla banda passante di 384 GB/s, basta per una conversazione fluida con un modello da 8B a 12B. Su un modello da 7B in Q4_0, una misurazione pubblicata sul repository llama.cpp indica 83,88 token al secondo in generazione con Vulkan, un po' di più della RTX 3060 12 GB misurata nella stessa discussione. Il vero punto debole è la lettura del prompt, due volte più lenta.

Architettura

RDNA 2, chip Navi 22, lanciata il 18 marzo 2021 (scheda Wikipedia della serie RX 6000).

Calcolo

2.560 processori di flusso, 40 unità di calcolo

Memoria

12 GB GDDR6, bus 192 bit, 384 GB/s.

Consumo

230 W di potenza della scheda.

Prezzo

Non indicato qui: i prezzi dell’usato cambiano ogni settimana; consulta /prix-gpu-ia.

#Ollama, ROCm o Vulkan: il percorso che funziona

L'errore più comune con questa scheda è cercare una guida ROCm. La documentazione di Ollama elenca, per Linux, le Radeon RX dalla 6800 alla 9070 XT: la 6700 XT non compare nell'elenco. Per quanto riguarda ROCm, la tabella di compatibilità di AMD cita, per RDNA 2, soltanto schede professionali come la PRO W6800 o la V620. Ollama amplia questa copertura con Vulkan, attivato per impostazione predefinita quando il backend è installato, ed è questa la strada che rimane disponibile per una 6700 XT. Esiste una soluzione alternativa per ROCm: la variabile HSA_OVERRIDE_GFX_VERSION, che forza un target LLVM simile, ma il suo uso è riservato alla sperimentazione.

#Ciò che entra in 12 GB di VRAM

La regola del sito rimane la stessa: il peso del modello in Q4 più la cache KV più un margine per il driver e la gestione dello schermo. Su 12 GB, un budget realistico lascia circa 11 GB al modello e al suo contesto se la scheda non gestisce lo schermo. Le dimensioni qui sotto provengono dal catalogo QuelLLM e dai nostri riferimenti abituali; si riferiscono ai soli pesi.

La cache KV cresce con la lunghezza della conversazione, il che spiega perché un modello 14B «ci sta» sulla carta ma diventa molto lento appena la cronologia si allunga. Il calcolatore di VRAM del sito fornisce il totale esatto per il tuo modello e il tuo contesto, e la guida sulla quantizzazione della cache KV spiega come recuperare uno o due gigabyte. Per tutte le schede da 12 GB, la pagina dedicata confronta i modelli senza limitarsi ad AMD.

• Calcolatore di VRAM per un modello e un contesto dati
• Quale LLM per 12 GB di VRAM, indipendentemente dalla scheda
• Quantizzare la cache KV per risparmiare VRAM

#Velocità misurate e limite della larghezza di banda

Nessun dato di throughput riportato in questa pagina è una misura effettuata dal sito. I numeri provengono dalla discussione pubblica del repository llama.cpp che confronta le schede con Vulkan usando lo stesso modello, Llama 2 7B in Q4_0 (3,56 GiB), e il comando llama-bench. I valori rilevanti sono due: pp512, la velocità di lettura di un prompt di 512 token, e tg128, la velocità di scrittura di 128 token. Per la RX 6700 XT, la discussione riporta 1.051 token al secondo in lettura e 83,88 in generazione; con Flash Attention attivata, 1.011 e 81,86.

Questo risultato si può confrontare con un limite semplice: durante la generazione, ogni token obbliga la scheda a rileggere tutti i pesi, quindi la velocità massima è approssimativamente pari alla larghezza di banda divisa per la dimensione del modello. Qui 384 GB/s divisi per 3,82 GB di pesi danno un limite teorico di 100 token al secondo; la scheda ne raggiunge l'83 %, un buon rendimento, migliore di quello di diverse schede più recenti citate nella stessa discussione.

Questi ordini di grandezza presuppongono che l'efficienza misurata sul 7B si ritrovi nei modelli più grandi, il che non è garantito: un driver, una versione di llama.cpp o una quantizzazione diversa può modificare il risultato di diversi punti. Per la lettura dei prompt, tieni presente soltanto il rapporto tra le schede: è questa fase a incidere sull'uso del RAG con documenti lunghi.

#Rispetto alla RTX 3060 12 GB: la generazione vince, il prompt perde

Il confronto abituale vede prevalere la RTX 3060 12 GB grazie a CUDA. Le misurazioni pubblicate con Vulkan ridimensionano questa conclusione automatica. Nella generazione, la RX 6700 XT supera la RTX 3060 in entrambe le modalità; nella lettura del prompt, la RTX 3060 ottiene prestazioni quasi doppie. Le due serie provengono dalla stessa discussione ma da versioni diverse di llama.cpp: interpreta il divario come un ordine di grandezza, non come una classifica definitiva.

La conseguenza pratica: per conversare con un modello, le due schede si equivalgono; per interrogare un documento lungo, la RTX 3060 è più rapida nel generare la prima parola. CUDA mantiene anche il vantaggio dell'ecosistema, con meno soluzioni alternative da conoscere. A parità di prezzo sul mercato dell'usato, la RTX 3060 da 12 GB resta la scelta prudente, e la 6700 XT è un buon affare solo se è già nel tuo PC o costa nettamente meno.

• Quale LLM sulla RTX 3060 da 12 GB, la scheda concorrente diretta

#Avvio passo passo

1. 01
   Verificare il driver Vulkan

   Su Windows, il driver Radeon include Vulkan e Ollama non richiede ulteriori passaggi. Su Linux, installa i componenti Vulkan di Mesa (RADV) o il driver AMD, come indicato nella documentazione di Ollama.
2. 02
   Installare Ollama o compilare llama.cpp

   Ollama attiva per impostazione predefinita Vulkan una volta installato il backend. Con llama.cpp, compila con l'opzione -DGGML_VULKAN=on.
3. 03
   Concedere l'accesso alla scheda sotto Linux

   Aggiungi l'utente ollama al gruppo render se la scheda non viene rilevata. Per consentire a Ollama di leggere la quantità di VRAM libera, avvialo come root oppure concedigli la capability indicata nel comando qui sotto.
4. 04
   Avviare un primo modello

   Scarica un modello da 8B o Gemma 4 12B in Q4_K_M, avvialo con il comando ollama run, poi verifica con ollama ps che il modello sia caricato sulla GPU e non sul processore.
5. 05
   Misurare a casa tua

   Esegui llama-bench con lo stesso GGUF della discussione pubblica per confrontare la tua scheda con i suoi risultati prima di cercare la causa della lentezza.

sudo setcap cap_perfmon+ep /usr/local/bin/ollama
# llama.cpp avec Vulkan
cmake .. -DGGML_VULKAN=on -DCMAKE_BUILD_TYPE=Release
./bin/llama-bench -m llama-2-7b.Q4_0.gguf -ngl 100 -fa 0,1

Se il throughput sembra basso con RADV, la discussione di llama.cpp suggerisce di avviare con la variabile d'ambiente RADV_PERFTEST=nogttspill, che corregge diversi problemi di prestazioni. Gli altri parametri Vulkan si trovano nel manuale di compilazione dedicato.

• Compila llama.cpp con Vulkan, passo dopo passo
• Ollama e GPU AMD: cosa supporta davvero ROCm

#Limiti e quando passare ad altro

Emergono tre limiti. Innanzitutto la memoria: 12 GB escludono i modelli da 20 a 32 miliardi di parametri, una fascia decisiva per la qualità degli assistenti di programmazione e ragionamento. Poi l'elaborazione del prompt, che rende faticose le sessioni con documenti lunghi. Infine il supporto: una scheda non inclusa nell'elenco ufficiale dipende dalla disponibilità a mantenerne il supporto negli aggiornamenti di Vulkan e llama.cpp, senza garanzie a lungo termine.

• Radeon RX 7700 XT, il passaggio a RDNA 3 con 12 GB e supporto ufficiale
• Radeon RX 7800 XT, 16 GB per passare ai modelli da 20 a 24B

#Verdetto 2026

Ne vale la pena

Se è già nel tuo computer: è una delle poche schede del 2021 che riesce ancora a eseguire un 14B in Q4 con un rendimento di generazione superiore all'80% del suo limite teorico.

Compera piuttosto una RTX 3060 12 GB

Se parti da zero e punti allo stesso budget: lettura del prompt due volte più veloce e nessun espediente software necessario.

Cambia la scheda

Non appena vuoi modelli da 20 a 30 miliardi di parametri; i prezzi cambiano ogni settimana e su /prix-gpu-ia trovi il costo per GB di VRAM.

• Prezzi delle schede grafiche per l'IA locale, aggiornati due volte a settimana
• Documentazione Ollama: GPU supportate, ROCm e Vulkan
• Scoreboard Vulkan del repository llama.cpp (Llama 2 7B Q4_0)
• Compatibilità delle GPU con ROCm, documentazione AMD

#Domande frequenti