Quale LLM su RTX 2070 / 2070 Super (8 GB)? ?

#RTX 2070 e 2070 Super: cosa permettono 8 GB

Su una RTX 2070 o una 2070 Super, i modelli da 7 a 9 miliardi di parametri con quantizzazione Q4 stanno interamente nella memoria video: è la zona di comfort di queste schede. Secondo il catalogo QuelLLM, i pesi di Granite 4.2 8B occupano 4,6 GB in Q4 e quelli di Qwen 3.5 9B circa 6 GB. Rimane quindi spazio per il contesto, purché la sua lunghezza resti ragionevole. Un modello da 12 miliardi come Gemma 4 12B (7 GB in Q4) lascia appena un gigabyte per la cache e il sistema: sulla carta ci sta, ma in pratica funziona male. Quanto alla velocità, la 2070 Super registra 88 token al secondo nel benchmark di riferimento di llama.cpp, con un modello da 7 miliardi in Q4_0, una velocità ben superiore a quella di lettura di una persona. Il vero limite di queste schede non è quindi la velocità, ma la capacità di memoria.

RTX 2070

Ottobre 2018, 2.304 core CUDA, 8 GB di GDDR6 su bus da 256 bit, cioè 448 GB/s (256 bit a 14 Gbit/s)

RTX 2070 Super

Luglio 2019, 2.560 core CUDA, ancora 8 GB e la stessa banda passante di 448 GB/s, consumo di 215 W.

Cosa le distingue per un LLM

Quasi niente: la banda passante e la capacità sono identiche. La Super ha più core, il che aiuta soprattutto nella lettura del prompt, non nella generazione.

Quest'ultimo punto è controintuitivo: per generare testo, il processore grafico rilegge tutti i pesi del modello a ogni token, quindi la larghezza di banda della memoria conta più del numero di core. Due schede con una larghezza di banda di 448 GB/s avranno velocità di generazione simili, anche se una è nettamente più veloce nei giochi.

#Quali modelli stanno in 8 GB

I pesi sono solo una parte del consumo di memoria: bisogna aggiungere la cache di contesto (KV cache), che cresce con la lunghezza della conversazione, e poi un margine per il driver e la gestione dello schermo. Su una scheda da 8 GB, la regola pratica è puntare a pesi di non più di 6 GB se vuoi un contesto di diverse migliaia di token. Come riferimento, lo strumento di test di llama.cpp rileva 7.838 MiB di memoria libera su una RTX 3060 Ti da 8 GB, cioè un po' meno degli 8.192 MiB teorici: alcune centinaia di megabyte sono già occupate prima ancora di caricare un modello.

Un 8B in Q8 (9 GB) non ci sta: con 8 GB, la quantizzazione Q4 è la regola e la Q5 resta possibile per i modelli più piccoli. Per confrontare i livelli di quantizzazione, la guida alla scelta tra Q4, Q5 e Q8 descrive in dettaglio la perdita di qualità attesa. Per un progetto specifico, il calcolatore di VRAM del sito ti indica l'esatto consumo di memoria in base al modello e al contesto.

• Scegliere la quantizzazione (Q4, Q5, Q8, FP16)
• Calcolatore di VRAM per un modello e un contesto dati

#Velocità: ciò che misura il test di riferimento

L'unico riferimento pubblico utilizzabile è la tabella collaborativa del repository llama.cpp, dove gli utenti pubblicano il risultato dello stesso comando: llama-bench su Llama 2 7B in Q4_0, un file da 3,56 GiB, con tutti i layer sulla GPU. La tabella precisa che i risultati variano in base al driver, al sistema e al produttore della scheda, anche a parità di chip. Non si tratta di misurazioni del sito: i dati riportati di seguito provengono da questa tabella, e la colonna «lettura» indica il throughput di elaborazione del prompt (pp512), mentre «generazione» indica il throughput della risposta (tg128).

Due insegnamenti. Primo, la 2070 Super genera più velocemente di una RTX 3060 12 GB (88,1 contro 75,6 token al secondo, cioè circa il 17% di differenza): la velocità non è ciò che giustifica la sua sostituzione. Secondo, la RTX 2060 Super ha la stessa larghezza di banda di 448 GB/s della 2070 Super, ma raggiunge 60 token al secondo, cioè il 32% in meno. Un limite massimo di larghezza di banda non è quindi una previsione: contano anche lo stato dei driver, le frequenze e le specifiche della scheda. Considera questi valori come ordini di grandezza.

#Dal modello di prova a un modello attuale: la regola del tre

Il modello di test pesa 3,82 GB (3,56 GiB). Poiché la generazione è limitata dalla lettura dei pesi, un modello più pesante è proporzionalmente più lento, a parità di altre condizioni. Per Granite 4.2 8B in Q4 (4,6 GB), si ottiene al massimo 88 × 3,82 ÷ 4,6, cioè circa 73 token al secondo; per Qwen 3.5 9B in Q4 (6 GB), circa 56 token al secondo. Sono limiti superiori teorici, non misure: le architetture recenti (modelli ibridi, miscele di esperti) e la lunghezza del contesto possono modificare il risultato in un senso o nell'altro.

Questa regola ha un'applicazione pratica. Se un valore dichiarato per la tua configurazione è molto inferiore a questi ordini di grandezza, ad esempio meno di 15 token al secondo su un 8B in Q4, è un segno che parte del modello è stata trasferita nella RAM di sistema: verifica l'occupazione della VRAM prima di dare la colpa alla scheda. La guida alla risoluzione dei problemi di Ollama descrive la procedura da seguire.

• Risoluzione dei problemi di Ollama: GPU non rilevata, rallentamenti, errori di memoria

#Contesto e cache KV: dove entrano in gioco gli 8 GB

Il throughput diminuisce quando la conversazione si allunga, perché il modello rilegge anche la cache a ogni token. Su una scheda da 8 GB, il calo rimane moderato, dell'ordine di qualche punto percentuale nelle misurazioni pubbliche disponibili per schede simili. Il secondo effetto riguarda la memoria: la cache K/V occupa VRAM in proporzione al contesto. Due impostazioni di Ollama alleggeriscono il carico su una scheda da 8 GB. Flash Attention riduce la memoria consumata quando il contesto aumenta, e la documentazione di Ollama precisa che la cache K/V può essere quantizzata quando Flash Attention è attiva. Il tipo q8_0 utilizza circa la metà della memoria del formato f16 predefinito, con una perdita di precisione molto ridotta secondo la documentazione.

1. 01
   Attivare Flash Attention

   Avvia il server con la variabile OLLAMA_FLASH_ATTENTION=1. Ollama attiva già automaticamente Flash Attention quando la scheda e il modello lo consentono; la variabile serve a forzarne l'attivazione.
2. 02
   Quantizzare la cache K/V

   Aggiungi OLLAMA_KV_CACHE_TYPE=q8_0. Passa a q4_0 solo come ultima risorsa: la documentazione segnala un possibile peggioramento con contesti lunghi.
3. 03
   Verificare l'utilizzo della memoria

   Invia un prompt lungo e controlla la memoria della scheda con nvidia-smi: se la VRAM si satura, riduci il contesto invece di lasciare che Ollama trasferisca parte del modello nella RAM.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Sulla 2070 Super, il test di llama.cpp con Flash Attention dà 87,7 token al secondo in generazione contro 88,1 senza: qui non c’è da aspettarsi alcun aumento di velocità. La lettura del prompt passa invece da 2.088 a 2.293 token al secondo, un aspetto importante per i documenti lunghi e il RAG. Per approfondire l’argomento, un’intera guida è dedicata alla quantizzazione della cache.

• Quantizzare la cache KV: guadagnare VRAM (contesto lungo)

#Turing nel 2026: driver, supporto e limiti

Le schede Turing continuano a essere supportate. La documentazione di Ollama richiede una capacità di calcolo di almeno 5.0 e un driver 550 o più recente; le RTX 2070, 2080 e 2080 Ti figurano nel suo elenco di schede con capacità di calcolo 7.5. Turing è persino diventata l'architettura minima supportata: le note di rilascio di CUDA 13 indicano che il supporto alle architetture precedenti a Turing (Maxwell, Volta e Pascal) è stato abbandonato. Nulla permette di stabilire una data per la fine del supporto a Turing, e sarebbe azzardato annunciarne una; per prudenza, occorre consultare queste note di rilascio a ogni aggiornamento importante di CUDA.

Una limitazione pratica rimane: i modelli recenti vengono spesso pubblicati inizialmente in formati pensati per hardware più nuovo, e la comunità propone poi conversioni GGUF in Q4 per schede come la tua. Questo non blocca Ollama o llama.cpp, ma può ritardare di un giorno o due l'arrivo di un modello in un formato leggibile.

#2070 Super, 3060 12 GB o 3060 Ti: quale scelta fare?

A velocità comparabili, la capacità è decisiva. Passare da una 2070 Super a una 3060 Ti non cambia il limite di 9B; passare a una 3060 da 12 GB permette di usare modelli da 12 miliardi e contesti lunghi, al prezzo di un throughput leggermente inferiore. I prezzi dell'usato cambiano ogni settimana: consulta il monitoraggio del sito prima di decidere.

• Prezzi delle schede grafiche per l'IA locale (aggiornamento settimanale)
• Quale LLM su RTX 3060 12 GB?
• Quale LLM per 8 GB di VRAM? (tutte le schede)

#Verdetto 2026: tenere, acquistare o passare a qualcosa di diverso

Tienila se

Usi un assistente da 7 a 9B in Q4 per codice breve, riassunti o RAG moderato. La velocità di generazione è molto soddisfacente e nulla richiede di cambiare.

Passa ad altro se

Vuoi un 12B con un vero contesto, un modello da 14B o più, oppure documenti molto lunghi. In tal caso servono almeno 12 GB, e 16 GB per stare tranquillo.

Quando acquisti una scheda usata

Una 2070 Super è interessante solo se il suo prezzo resta nettamente inferiore a quello di una scheda da 12 GB. Controlla la garanzia e lo stato della ventola: queste schede hanno diversi anni di utilizzo.

#Domande frequenti

• Fonte: tabella delle prestazioni di llama.cpp su CUDA
• Fonte: schede NVIDIA supportate da Ollama
• Fonte: FAQ Ollama (Flash Attention, cache K/V)
• Fonte: caratteristiche delle GeForce serie 20