DeepSeek V4 Pro in locale: VRAM, hardware, installazione

#DeepSeek V4 Pro in breve

Data di uscita

24 aprile 2026 — DeepSeek-AI su HuggingFace, pesi sotto licenza MIT, paper pubblicato contemporaneamente.

Architettura

Mixture-of-Experts denso: 1,6T parametri totali, 49B attivi per token, 256 esperti con routing top-8.

Attenzione

Attenzione ibrida CSA (Compressed Sparse Attention) + HCA (Hybrid Constrained Attention) — prima implementazione su questa scala.

Contesto

1 milione di token nativi (con RoPE esteso e flash attention v3).

Pre-training

32T+ token, ottimizzatore Muon (sostituisce AdamW), precisione mista FP4+FP8 (addestramento più efficiente noto)

Modalità thinking

3 livelli: Non / High / Max. Il modo Max si avvicina alle prestazioni di o4 su AIME e GPQA.

Licenza

MIT — uso commerciale, redistribuzione e modifica autorizzati senza restrizioni. Più libera della licenza Llama.

#1. Architettura CSA+HCA e MoE 1.6T

DeepSeek V4 Pro combina tre innovazioni principali, ciascuna pubblicata separatamente negli ultimi 12 mesi e riunite qui per la prima volta su una scala di mille miliardi.

MoE 1,6T / 49B attivi

256 esperti per livello, routing top-8. Per ogni token, solo 49 miliardi di parametri partecipano al calcolo — da qui una velocità paragonabile a quella di un modello denso 50B nonostante le dimensioni totali.

CSA — Compressed Sparse Attention

Comprime le vecchie chiavi/valori del KV cache attraverso la decomposizione a bassa rango. Dividi per 4 la memoria di attenzione sui contesti >128k.

HCA — Hybrid Constrained Attention

Combina attenzione locale (finestra scorrevole 4k) e globale (sparsa) a seconda del layer. Throughput ×2 con un contesto lungo rispetto all'attenzione densa.

mHC — multi-Head Compressor

Meccanismo di compressione tra le teste — riduce la VRAM occupata dalle attivazioni senza perdita misurabile di qualità.

Optimizzatore Muon

Successore di AdamW, converge 1,8 volte più velocemente durante il preaddestramento di modelli molto grandi. Adottato da DeepSeek a partire da V3.5.

Addestramento FP4+FP8

Combinazione di FP4 sui layer di attenzione e FP8 sugli MLP. -45 % di memoria per l'addestramento rispetto a FP8 puro, qualità preservata grazie a uno schema di scaling proprietario.

#2. Le 3 modalità di ragionamento (Non / High / Max)

Il sistema di ragionamento di DeepSeek V4 Pro è esplicito e può essere attivato o disattivato, a differenza delle modalità opache dei modelli proprietari concorrenti.

Modalità Non (predefinita)

Risposta diretta senza una catena di ragionamento visibile. Latenza minima (~2–5 s a 8 tok/s). Per chat, traduzione e generazione di testo semplice.

Modalità High

Inserisce 200-2000 token di riflessione prima della risposta. +30-40 % di qualità in matematica, codice e analisi. Attivabile tramite il flag /think in Ollama o l'header thinking_mode nell'API.

Modalità Max

Ragionamento esaustivo (fino a 16k token di chain-of-thought). Si avvicina alle prestazioni di o4 su AIME 2025 (87% contro il 91% di o4). Costoso: 10-30 minuti per richiesta in locale.

# Mode High
ollama run deepseek-v4 "Résous : x² + 5x - 14 = 0 /think"

# Mode Max
ollama run deepseek-v4 "Démontre la conjecture de Collatz pour n<100 /think_max"

#3. Hardware richiesto in base alla quantizzazione

#4. Installazione locale

Tre opzioni in base alla tua infrastruttura: llama.cpp per uno swarm su più macchine, vLLM per un cluster GPU omogeneo o MLX-distributed per uno swarm di Mac Studio.

#Opzione A — llama.cpp distribuito (consigliata per più macchine)

# Sur chaque machine
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp
make GGML_METAL=1 GGML_RPC=1 GGML_CUDA=0

# Téléchargement modèle (split GGUF, ~960 Go)
huggingface-cli download deepseek-ai/DeepSeek-V4-Pro-GGUF \
  --include "*Q4_K_M*.gguf" --local-dir ./models

# Machine 1 (rpc-server, écoute sur :50052)
./build/bin/rpc-server -H 0.0.0.0 -p 50052

# Machine 2 (rpc-server également)
./build/bin/rpc-server -H 0.0.0.0 -p 50052

# Coordinator (peut être l'une des deux)
./build/bin/llama-cli \
  -m ./models/DeepSeek-V4-Pro-Q4_K_M-00001-of-00020.gguf \
  --rpc 192.168.1.10:50052,192.168.1.11:50052 \
  -ngl 99 -fa -c 32768 \
  -ctk q8_0 -ctv q8_0

#Opzione B — vLLM su cluster H100/H200

pip install vllm>=0.7

vllm serve deepseek-ai/DeepSeek-V4-Pro \
  --tensor-parallel-size 8 \
  --pipeline-parallel-size 1 \
  --max-model-len 1000000 \
  --quantization fp8 \
  --enable-prefix-caching \
  --port 8000

# Endpoint OpenAI-compatible sur :8000
curl http://localhost:8000/v1/chat/completions -d '{...}'

#Opzione C — Ollama (quando il porting sarà disponibile)

Al 25 aprile 2026, Ollama non ha ancora integrato DeepSeek V4 Pro (le versioni quantizzate Q4_K_M della community escono questo fine settimana). Segui gli aggiornamenti su ollama.com/library.

#5. Benchmark rispetto a GPT-5, Claude 4.7, Gemini 3

#6. Sfruttare il contesto di 1M token

Il contesto 1M è nativo (non esteso tramite YaRN), grazie a HCA. È uno dei tre o quattro modelli a pesi aperti al mondo a offrire 1M, e l'unico a farlo con questa qualità nel recupero delle informazioni.

Needle-in-Haystack 1M

Recupero del 98 % sull'intero contesto (contro il 76 % di Gemini 1.5 Pro a parità di condizioni).

Caso d'uso 1 — Intere basi di codice

net/* del kernel Linux (~800 k token) acquisito in un'unica volta, refactoring tra file con una sola richiesta.

Caso d'uso 2 — Ricerca giuridica

Codice civile + sentenze recenti (~600 k token) nel contesto, estrazione della giurisprudenza in una sola passata.

Use case 3 — Analisi contabile

10 anni di bilanci + allegati (~400 k token), rilevazione di anomalie su più esercizi.

VRAM per la cache KV a 1M

Con KV Q4 e CSA attivo: ~280 GB. A 1M senza compressione: ~2 TB (impraticabile).

#7. Casi d'uso ideali

Ricerca scientifica

Matematica, fisica teorica, chimica computazionale. La modalità Max supera o4 su alcuni benchmark AIME/Putnam.

Sicurezza / sovranità

Banche, difesa, sanità, governo: modello di frontiera ospitato al 100 % su infrastruttura propria, con licenza MIT e sottoponibile ad audit. Nessun equivalente se non LLaMA 4 (licenza più restrittiva).

Agenti complessi a lungo termine

Il contesto 1M + ragionamento Max + 49B attivi lo rendono un agente migliore rispetto ai modelli densi più piccoli, senza il costo di inferenza di un GPT-5.

RAG su scala enterprise

Base di conoscenza composta da diversi milioni di token (codebase, documenti interni, norme ISO). Ricerca diretta senza retrieval grazie al contesto.

#Limiti e alternative

Hardware dal costo proibitivo per i privati

Min 960 GB VRAM Q4 = cluster ~80.000 € di seconda mano. Fuori portata di un privato.

Tooling maturità insufficiente a J+1

Quantizzazioni GGUF della comunità in preparazione, vLLM richiede il ramo dev, MLX-distributed è ancora sperimentale. Attendere circa 2 settimane per la stabilità.

Impronta carbonica

Cluster 8× H200 24/7 = ~45 MWh/anno. Da confrontare con l'uso delle API (che consentono un migliore ammortamento).

Alternative più accessibili

DeepSeek V4 Flash 284B (170 GB in Q4, entra nella memoria di un Mac Studio) · DeepSeek V3.2 671B (240 GB in Q2 su Mac Studio 512) · Llama 4 Behemoth (qualità simile).

#FAQ