Miglior LLM con 24 GB di VRAM nel 2026

Trovare il migliore LLM con 24 GB di VRAM dipende soprattutto dall'equilibrio tra dimensione del contesto, licenza e caso d'uso previsto. Questa configurazione, tipica di una RTX 3090 o RTX 4090, permette di accedere a modelli nella fascia da 30 a 40 miliardi di parametri con quantizzazione Q4, il che cambia radicalmente il livello di ragionamento disponibile in locale rispetto a una GPU da 12 o 16 GB. Questo articolo esamina i modelli che rientrano davvero in questo limite di memoria, le loro licenze e i compromessi da conoscere prima di scegliere.

Quali modelli rientrano in 24 GB con quantizzazione Q4

Con 24 GB di VRAM, lo spazio disponibile per i pesi del modello è compreso tra 17 e 22 GB, una volta riservata la memoria per la cache KV. Diversi modelli si collocano appena sotto o intorno a questa soglia:

• Seed-OSS 36B Instruct : ~22 GB in Q4, licenza Apache 2.0, contesto eccezionale di 524 288 token.
• Qwen 3.6 35B-A3B : ~21 GB in Q4, architettura MoE con 3B di parametri attivi, contesto 262.000 token.
• Salamandra 40B Instruct : ~24 GB in Q4, al limite superiore della capacità disponibile, licenza Apache 2.0.
• Command R 35B v01 et Aya 23 35B : circa 20 GB in Q4 ciascuno, con licenza CC-BY-NC 4.0 (uso non commerciale).
• Yi 1.5 34B Chat : ~20 GB in Q4, contesto limitato a 4.096 token.

Le Mixtral 8x7B di Mistral AI, con i suoi 47B di parametri totali (architettura MoE), richiede circa 26 GB in Q4 — leggermente più di 24 GB, il che spesso impone una quantizzazione più aggressiva (Q3) o un offloading parziale sulla CPU per rientrare nella memoria di una sola scheda. I dettagli delle specifiche per produttore restano consultabili su Mistral AI su Hugging Face et BSC su Hugging Face per Salamandra.

RTX 3090 vs RTX 4090: throughput reale atteso

Entrambe le schede hanno 24 GB di VRAM GDDR6X, ma la RTX 4090 dispone di una larghezza di banda della memoria e di una potenza di calcolo superiori. Su un modello della classe 32-35B in Q4:

• RTX 3090 : velocità stimata compresa tra 12 e 20 token/sec a seconda del modello e del motore di inferenza utilizzato.
• RTX 4090 : velocità stimata tra 18 e 30 token/sec nelle stesse condizioni.

Questi numeri variano notevolmente in base al motore — llama.cpp (GitHub ufficiale) et Ollama (GitHub ufficiale) rimangono le scelte più semplici per un GGUF quantizzato, mentre vLLM (documentazione) punta piuttosto al serving ad alto throughput con più richieste simultanee. Su modelli MoE come Qwen 3 30B-A3B o Nemotron Nano 3 30B-A3B, il throughput è generalmente più alto rispetto a un modello denso di dimensioni equivalenti, poiché solo una frazione dei parametri è attivata per token.

Licenze: Apache 2.0, CC-BY-NC e licenze proprietarie

La scelta della licenza determina l'uso commerciale:

• Apache 2.0 (uso commerciale libero): Mixtral 8x7B, Salamandra 40B, Seed-OSS 36B, Qwen 3.6 35B-A3B, la quasi totalità della gamma Qwen 2.5/3, Gemma 4 31B, OLMo 3 32B, Granite 4.0 H-Small.
• CC-BY-NC 4.0 (non commerciale): Command R 35B v01, Aya 23 35B, Aya Expanse 32B, pubblicati da Cohere — vedere Cohere su Hugging Face.
• MIT : DeepSeek R1 Distill 32B et DeepSeek R2 32B, anch'essi molto permissivi.
• Licenze proprietarie specifiche : EXAONE 4.5 33B (EXAONE AI Model License, uso limitato) e Nemotron 3 33B (NVIDIA Open Model License).

Per un progetto destinato alla produzione commerciale, preferire Apache 2.0 o MIT evita le aree grigie legali legate a clausole non commerciali.

Casi d'uso: ragionamento, codice e versatilità

A 24 GB di VRAM si evidenziano tre profili di utilizzo:

• Ragionamento lungo : QwQ 32B e DeepSeek R1 Distill 32B mirano alle attività di ragionamento logico complesso, con punteggi generalmente riportati su AIME e MMLU nei benchmark pubblici del Open LLM Leaderboard (Hugging Face).
• Codice : Qwen 2.5 Coder 32B resta un punto di riferimento su HumanEval per questa classe di dimensioni; Qwen3-Coder 30B-A3B offre un contesto esteso a 262.144 token per l'analisi di repository di grandi dimensioni.
• Multilingue e generalista : Aya 23 35B e Aya Expanse 32B mirano esplicitamente alla copertura multilingue, mentre Jais 30B Chat v3 è specializzato nell'arabo.

Per una comparazione diretta tra due candidati frequenti in questa gamma, la scheda Aya Expanse 32B vs Qwen 2.5 32B et DeepSeek R1 32B vs QwQ 32B illustrano in dettaglio le differenze nei benchmark con un confronto fianco a fianco.

Ottimizzare il contesto disponibile con la cache KV

Un modello da 32-35B in Q4 occupa già da 17 a 22 GB di VRAM solo per i pesi. Il margine rimanente per la cache KV limita la dimensione del contesto realmente utilizzabile, anche se la scheda tecnica annuncia un contesto massimo di 128.000 o 262.000 token. Per capire come la quantizzazione della cache (Q8, Q4) permetta di risparmiare diversi GB senza cambiare modello, consulta il guida sulla quantizzazione e sulla cache KV e il guida sulla scelta della quantizzazione Q4/Q5/Q8.

FAQ

Q: Quale modello con licenza Apache 2.0 scegliere con 24 GB per un uso commerciale?

Seed-OSS 36B, Qwen 3.6 35B-A3B o Qwen 2.5 32B Coder sono tre opzioni con licenza Apache 2.0 che in Q4 rientrano in 24 GB. La scelta dipende dalle esigenze: contesto lungo per Seed-OSS, codice per Qwen 2.5 Coder, versatilità MoE per Qwen 3.6.

Q: Mixtral 8x7B riesce davvero a stare in 24 GB?

La sua occupazione di memoria, stimata in circa 26 GB in Q4, supera leggermente i 24 GB disponibili. Una quantizzazione più bassa (Q3) o un contesto ridotto permettono generalmente di far rientrare il modello nella memoria disponibile, ma con una perdita di qualità da verificare caso per caso.

Q: RTX 3090 o RTX 4090 per questi modelli?

Entrambe offrono gli stessi 24 GB di VRAM, quindi la stessa capacità di caricare i modelli. La RTX 4090 offre un throughput in token/sec superiore (stimato) grazie alla sua maggiore banda passante di memoria, utile per l'elaborazione in batch o per i contesti lunghi.

Q: Command R 35B e Aya 23 35B sono utilizzabili in azienda?

La licenza CC-BY-NC 4.0 limita l'uso commerciale senza un accordo separato con Cohere. Per un deploy in azienda, un modello Apache 2.0 o MIT equivalente in dimensioni è preferibile.

Q: Quale strumento per eseguire questi modelli in locale?

llama.cpp (GitHub ufficiale) et Ollama (GitHub ufficiale) consentono l'inferenza GGUF quantizzata su una sola scheda. Per un'interfaccia web self-hosted, Open WebUI (GitHub ufficiale) si aggiunge come livello superiore all'uno o all'altro.

Q: Conviene puntare su 32 GB anziché 24 GB?

Passare a 32 GB permette contesti più lunghi e un margine maggiore sui modelli da 35-40B senza compromessi di quantizzazione. Il guida ai 32 GB di VRAM descrive in dettaglio i modelli aggiuntivi accessibili a questo livello.

Conclusione

Le migliore LLM con 24 GB di VRAM non è unico: dipende dalla licenza richiesta (Apache 2.0 per Seed-OSS 36B o Qwen 3.6 35B-A3B, CC-BY-NC per Command R e Aya), dal caso d'uso (codice, ragionamento, multilingue) e dal contesto realmente necessario una volta considerato il KV cache. Il configuratore permette di combinare automaticamente questi criteri, e il catalogo completo elenca i 249 modelli con le loro specifiche di VRAM dettagliate per quantizzazione.