Famiglia Yi · 34B parametri

Yi 1.5 34B Chat

Denso 34B Apache 2.0. 3,6T token. Varianti 16K/32K ctx su HF.

🇨🇳 01.AI·Licenza Apache 2.0·Contesto 4k tokens·Data di uscita maggio 2024·Sta nei 128 GB di l'AI TOP ATOM di GIGABYTE (link affiliato)← Catalogo

01Cosa sa fare

Punti di forza
  • Molto buono in cinese
  • Compatibile con strumenti Llama
  • Licenza Yi (uso commerciale libero)
Limiti da conoscere
  • —Contesto di soli 4096
  • —Superato da Qwen 2.5 32B nel 2025
Architettura
Transformer denso · 34B · Yi 1.5 · compatibile con Llama
Addestramento
01.AI — 3,1T token multilingui EN/ZH. Successore di Yi-34B.
Ideale per
Chat alternativoMultilingue CN/EN

05Installare

Installa Ollama per il tuo OS. Verifica il modello e la sua quantizzazione prima del download. Inizia con 4096 token di contesto, poi controlla l'allocazione con ollama ps. Un comando qui sotto non dimostra che sia stato eseguito un test sulla tua macchina.

$ollama run yi:34b
⚠
Primo download: tra 2 e 40 GB a seconda della quantizzazione scelta. Occorre prevedere spazio su disco; è consigliata una connessione stabile. Gli avvii successivi sono istantanei.

02Memoria richiesta

VRAM GPU approssimativa per far girare questo modello, overhead del contesto di 4k token incluso. Per un contesto più lungo, aggiungi ~1 GB per ogni blocco di 8k token.

Q4_K_M
Il più leggero, ~5% di perdita
20 GB
Q5_K_M
Buon compromesso qualità/dimensione
24 GB
Q8_0
Quasi indistinguibile da FP16
36 GB
FP16
Piena precisione — uso server
68 GB
Fallback CPU · Se non hai una GPU, considera 32 GB di RAM minimo per far girare questo modello a velocità ridotta.

Quale hardware serve per Yi 1.5 34B Chat?

Per eseguire Yi 1.5 34B Chat in locale con quantizzazione Q4, servono circa 20 GB di VRAM. Un’opzione da confrontare: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — lascia un margine per il sistema e il contesto; verifica la compatibilità del motore con la GPU.

Offerta attuale: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395)
AmazonVedi il prezzo →

Perché questa scelta? La nostra scheda completa su GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) →

Link affiliati — possibile commissione senza costi aggiuntivi per te, raccomandazione indipendente. In qualità di Partner Amazon, QualeLLM realizza un profitto sugli acquisti idonei.

In mobilità: Yi 1.5 34B Chat funziona anche su un Portatile RTX (24 GB di VRAM) →

Questo modello nel tuo ChatGPT privato, senza cloud

Il tuo ChatGPT privato e gratuito sulla tua macchina in 1 ora — LM Studio, Ollama, Open WebUI, i tuoi documenti, senza cloud.

  • Spazio online a vita
  • PDF + file
  • Aggiornamenti a vita

03Velocità prevista

Token generati al secondo in Q4_K_M, contesto 4k. Oltre 20 t/s, la lettura è confortevole. Al di sotto di 10 t/s, va bene solo per fare delle prove.

Entry-level
~3t/s
GTX 1650, RX 6600, MBA M2 8 GB
Fascia media
~12t/s
RTX 4060, 4070, MBP M3 Pro
Fascia alta
~30t/s
RTX 4090, M4 Max, Radeon 7900

04Benchmark pubblici

Punteggi ripresi dalle model card o da MMLU-Pro / fonti della community. Unità: % di risposte corrette.

MMLU
77.2
HumanEval
75.2