Famiglia Qwen · 32B parametri

Qwen 2.5 32B

Rivaleggia con i modelli da 70B nella maggior parte dei benchmark.

🇨🇳 Alibaba·Licenza Apache 2.0·Contesto 128k tokens·Data di uscita settembre 2024← Catalogo

01Cosa sa fare

Punti di forza
  • Modello open-weight di riferimento 32B nel 2024
  • Contesto di 128k
  • Apache 2.0
  • Molto forte in matematica/programmazione/ragionamento
Limiti da conoscere
  • —Richiede 19 GB di VRAM in Q4
  • —Superato da Qwen 3 32B nel 2025
Architettura
Transformer denso · 64 strati · GQA · Qwen 2.5
Addestramento
18T token. Forte nel ragionamento, nella programmazione e nella gestione di istruzioni lunghe.
Ideale per
RagionamentoGeneralista avanzato

05Installare

Installa Ollama per il tuo OS. Verifica il modello e la sua quantizzazione prima del download. Inizia con 4096 token di contesto, poi controlla l'allocazione con ollama ps. Un comando qui sotto non dimostra che sia stato eseguito un test sulla tua macchina.

$ollama run qwen2.5:32b
⚠
Primo download: tra 2 e 40 GB a seconda della quantizzazione scelta. Occorre prevedere spazio su disco; è consigliata una connessione stabile. Gli avvii successivi sono istantanei.

02Memoria richiesta

VRAM GPU approssimativa per far girare questo modello, overhead del contesto di 4k token incluso. Per un contesto più lungo, aggiungi ~1 GB per ogni blocco di 8k token.

Q4_K_M
Il più leggero, ~5% di perdita
19 GB
Q5_K_M
Buon compromesso qualità/dimensione
23 GB
Q8_0
Quasi indistinguibile da FP16
35 GB
FP16
Piena precisione — uso server
64 GB
Fallback CPU · Se non hai una GPU, considera 32 GB di RAM minimo per far girare questo modello a velocità ridotta.

Quale hardware serve per Qwen 2.5 32B?

Per eseguire Qwen 2.5 32B in locale con quantizzazione Q4, servono circa 19 GB di VRAM. Un’opzione da confrontare: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — lascia un margine per il sistema e il contesto; verifica la compatibilità del motore con la GPU.

Offerta attuale: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395)
AmazonVedi il prezzo →

Perché questa scelta? La nostra scheda completa su GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) →

Link affiliati — possibile commissione senza costi aggiuntivi per te, raccomandazione indipendente. In qualità di Partner Amazon, QuelLLM ottiene un guadagno dagli acquisti che soddisfano i requisiti.

In mobilità: Qwen 2.5 32B funziona anche su un Portatile RTX (24 GB di VRAM) →

Questo modello nel tuo ChatGPT privato, senza cloud

Il tuo ChatGPT privato e gratuito sulla tua macchina in 1 ora — LM Studio, Ollama, Open WebUI, i tuoi documenti, senza cloud.

  • Spazio online a vita
  • PDF + file
  • Aggiornamenti a vita

03Velocità prevista

Token generati al secondo in Q4_K_M, contesto 4k. Oltre 20 t/s, la lettura è confortevole. Al di sotto di 10 t/s, va bene solo per fare delle prove.

Entry-level
~3t/s
GTX 1650, RX 6600, MBA M2 8 GB
Fascia media
~12t/s
RTX 4060, 4070, MBP M3 Pro
Fascia alta
~30t/s
RTX 4090, M4 Max, Radeon 7900

04Benchmark pubblici

Punteggi ripresi dalle model card o da MMLU-Pro / fonti della community. Unità: % di risposte corrette.

MMLU
83.3
HumanEval
90.2
MATH
83.1