Quale LLM per 12 GB di VRAM ?

#12 GB di VRAM: la soglia a cui diventano possibili i modelli da 14 miliardi di parametri

Con 12 GB di VRAM, puoi eseguire modelli da 12 a 14 miliardi di parametri in Q4 con un margine vero per il contesto, oppure un 9B in Q8. Secondo il catalogo QuelLLM, un Gemma 4 12B in Q4 pesa 7 GB, un Qwen 3 14B in Q4 pesa 9 GB, un Qwen 3.5 9B in Q8 pesa 10 GB. Il livello di 12 GB è quello in cui si abbandona la categoria dei modelli da 8 a 9 miliardi, più limitati in ragionamento e qualità di scrittura, senza ancora raggiungere i 24 miliardi, che richiedono 16 GB. Quelli che rimangono fuori portata sono i modelli da 27 a 35 miliardi di parametri, da 16 a 21 GB in Q4.

Come leggere questa tabella: aggiungi al peso la cache KV e circa un gigabyte di margine. Un Qwen 3 14B in Q4 (9 GB) lascia così circa 2 GB per il contesto; un Qwen 3.5 9B in Q8 (10 GB) ne lascia solo uno, il che limita il contesto. Prima di procedere, una correzione: una versione precedente di questa guida indicava che il 9B in Q8 si poteva eseguire comodamente su 12 GB; il catalogo indica 10 GB di peso, quindi il margine è stretto.

#Schede da 12 GB: quelle che li hanno davvero

Molte famiglie di schede hanno versioni con capacità diverse; il nome da solo non basta. NVIDIA indica, per la sua famiglia RTX 4070, 16 GB per la 4070 Ti Super e 12 GB per le 4070 Ti, 4070 Super e 4070. La RTX 5070 offre 12 GB di GDDR7 su un bus da 192 bit, mentre la 5070 Ti ne ha 16. La RTX 3060 esiste nelle versioni da 12 GB e da 8 GB; quella da 12 GB è la più interessante per l'IA locale. Sul versante AMD, la guida alla RX 7700 XT la colloca in questa fascia.

Per confrontare, la capacità è il criterio principale e la banda passante il secondo: a parità di capacità, più veloce è la memoria, più fluida è la generazione. I prezzi cambiano ogni settimana; il monitoraggio dei prezzi del sito fornisce il costo per gigabyte di VRAM delle schede da 12 GB e 16 GB, permettendo di capire se la fascia superiore vale il sovrapprezzo.

#Quali modelli scegliere su 12 GB in base all'uso

Per il codice, i modelli specializzati più potenti del catalogo superano i 12 GB: Devstral Small 2 24B pesa 14 GB in Q4 e Qwen3-Coder 30B-A3B 19 GB. Su 12 GB, rimani su un generico da 12 a 14 miliardi o su Qwen 2.5 Coder 14B, il cui catalogo offre 9 GB in Q4. Questi modelli si confrontano con quelli da 8 e 16 GB nei guide vicini.

#Velocità: il calcolo da fare da soli

Con 12 GB come con altre capacità, la velocità di generazione è limitata dalla larghezza di banda della memoria della scheda divisa per la dimensione dei pesi letti a ogni token. Ogni produttore pubblica questo valore nella scheda tecnica della scheda, in GB/s. Basta dividerlo per il peso del modello per ottenere un limite teorico, che la velocità reale non raggiunge mai del tutto. La tabella riporta questo limite per 100 GB/s di larghezza di banda; moltiplica per il valore della tua scheda.

Questo limite spiega perché una quantizzazione più fine rallenta: passare da Q4 a Q8 quasi raddoppia la quantità di dati letti per i pesi. Spiega anche perché due schede con la stessa capacità possono differire: il bus di memoria conta. NVIDIA indica 192 bit per la RTX 5070 da 12 GB e 256 bit per la 5070 Ti da 16 GB. Non pubblichiamo valori di token al secondo per ciascuna scheda, perché manca una fonte comparabile; per il tuo hardware, ollama run con l'opzione --verbose mostra la velocità reale.

#Verificare che un modello rientri nella memoria disponibile prima di adottarlo

1. 01
   Leggere la dimensione riportata nel catalogo

   Apri la scheda del modello nel catalogo QuelLLM e annota il peso della quantizzazione desiderata.
2. 02
   Aggiungere un margine

   Aggiungi circa 1 GB per il sistema e da 1 a 3 GB per la cache KV in base al contesto previsto. Il totale deve rimanere sotto i 12 GB.
3. 03
   Avviare e misurare

   Carica il modello, poni una domanda, poi digita ollama ps: la colonna PROCESSOR deve mostrare 100 % GPU.
4. 04
   Adattare se necessario

   Riduci il contesto, quantizza la cache KV o scendi di un livello di quantizzazione, in questo ordine.

#RAG locale su 12 GB: come distribuire la memoria

Un RAG locale riunisce tre componenti: un modello di embedding che indicizza i tuoi documenti, eventualmente un reranker che riordina i passaggi e il LLM che redige il testo. I primi due sono molto più piccoli del LLM e possono essere eseguiti, a scelta, sulla GPU o sul processore. Il budget si calcola sommando i tre componenti e mantenendo poi un margine per la cache KV: il contesto del LLM cresce con il numero di passaggi che gli invii.

La seconda strategia è spesso la migliore: l'indicizzazione è un'attività in background che non richiede una GPU, mentre la generazione delle risposte sfrutta appieno la VRAM. Un embedder viene eseguito in background durante l'indicizzazione, poi entra in standby; sulla CPU, l'indicizzazione di una cartella di documenti richiede più tempo, ma viene effettuata una sola volta. Qui non indichiamo le dimensioni degli embedder; consulta le guide sugli embedding e sul RAG locale per i valori di ciascun modello.

#Cosa non permettono 12 GB

Modelli da 24 miliardi

Mistral Small 24B pesa 14 GB in Q4 secondo il catalogo: supera il limite. Per 24 miliardi di parametri, servono 16 GB.

Modelli densi da 27 a 32 miliardi

Qwen 3.8 27B e simili pesano 16 GB in Q4; mira a 24 GB.

MoE da 30 a 35 miliardi

Qwen 3.6 35B-A3B pesa 21 GB, GLM 4.7 Flash 19 GB e Qwen3-Coder 30B-A3B 19 GB: fuori portata su 12 GB, anche se leggono solo 3 miliardi di parametri attivi, perché tutto il modello deve risiedere in memoria.

Contesto lungo su un 14B

Un Qwen 3 14B in Q4 lascia circa 2 GB: non contare su decine di migliaia di token senza quantizzare la cache KV.

Ollama permette di quantizzare la cache KV per risparmiare spazio: secondo la sua documentazione, OLLAMA_KV_CACHE_TYPE=q8_0 utilizza circa la metà della memoria del formato f16 predefinito, a condizione che Flash Attention sia attiva. La guida sulla cache KV illustra nel dettaglio questa impostazione, e la finestra di contesto predefinita di Ollama, di 4 096 token, si può modificare con OLLAMA_CONTEXT_LENGTH.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 OLLAMA_CONTEXT_LENGTH=16384 ollama serve
ollama ps

#12 GB o 16 GB: la scelta giusta per te

• Quale LLM per 16 GB di VRAM
• Quale LLM per 8 GB di VRAM
• LLM su RTX 3060 12 GB
• Quantizzare la cache KV per risparmiare VRAM
• RAG locale: introduzione
• Prezzi delle schede grafiche per l'IA locale

• Fonte: FAQ di Ollama (contesto, cache KV)
• Fonte: scheda NVIDIA della famiglia RTX 4070
• Fonte: scheda NVIDIA della famiglia RTX 5070
• Catalogo QuelLLM dei modelli (dimensioni in VRAM)

#Domande frequenti