Famiglia Yi · 9B parametri

Yi Coder 9B Chat

Coder 9B, 52 linguaggi. LiveCodeBench 23% (il migliore tra i modelli <10B). Supera DeepSeek Coder 33B.

🇨🇳 01.AI·Licenza Apache 2.0·Contesto 125k tokens·Data di uscita settembre 2024·Sta nei 128 GB di l'AI TOP ATOM di GIGABYTE (link affiliato)← Catalogo

01Cosa sa fare

Punti di forza
  • LiveCodeBench 23% (migliore <10B)
  • Superiore a DeepSeek Coder 33B
  • Apache 2.0
Limiti da conoscere
  • —Meno conosciuto di Qwen Coder
Architettura
Denso 9B per il codice · base Llama · 128k ctx
Addestramento
52 linguaggi di programmazione.
Ideale per
Codice efficiente 9B

05Installare

Installa Ollama per il tuo OS. Verifica il modello e la sua quantizzazione prima del download. Inizia con 4096 token di contesto, poi controlla l'allocazione con ollama ps. Un comando qui sotto non dimostra che sia stato eseguito un test sulla tua macchina.

$ollama run yi-coder:9b
⚠
Primo download: tra 2 e 40 GB a seconda della quantizzazione scelta. Occorre prevedere spazio su disco; è consigliata una connessione stabile. Gli avvii successivi sono istantanei.

02Memoria richiesta

VRAM GPU approssimativa per far girare questo modello, overhead del contesto di 4k token incluso. Per un contesto più lungo, aggiungi ~1 GB per ogni blocco di 8k token.

Q4_K_M
Il più leggero, ~5% di perdita
5.5 GB
Q5_K_M
Buon compromesso qualità/dimensione
7 GB
Q8_0
Quasi indistinguibile da FP16
10 GB
FP16
Piena precisione — uso server
18 GB
Fallback CPU · Se non hai una GPU, considera 12 GB di RAM minimo per far girare questo modello a velocità ridotta.

Quale hardware serve per Yi Coder 9B Chat?

Per eseguire Yi Coder 9B Chat in locale con quantizzazione Q4, servono circa 5.5 GB di VRAM. Un’opzione da confrontare: RTX 5060 Ti 16 GB — lascia un margine per il sistema e il contesto; verifica la compatibilità del motore con la GPU.

Offerta attuale: RTX 5060 Ti 16 GB
AmazonVedi il prezzo →

Link affiliati — possibile commissione senza costi aggiuntivi per te, raccomandazione indipendente. In qualità di Partner Amazon, QualeLLM realizza un profitto sugli acquisti idonei.

In mobilità: Yi Coder 9B Chat funziona anche su un Portatile RTX (16 GB di VRAM) →

03Velocità prevista

Token generati al secondo in Q4_K_M, contesto 4k. Oltre 20 t/s, la lettura è confortevole. Al di sotto di 10 t/s, va bene solo per fare delle prove.

Entry-level
~9t/s
GTX 1650, RX 6600, MBA M2 8 GB
Fascia media
~28t/s
RTX 4060, 4070, MBP M3 Pro
Fascia alta
~75t/s
RTX 4090, M4 Max, Radeon 7900

04Benchmark pubblici

Punteggi ripresi dalle model card o da MMLU-Pro / fonti della community. Unità: % di risposte corrette.

LiveCodeBench
23