Tre modelli, una macchina, prove alla mano
Test pilota del 12 settembre 2026 su RTX 5070 Ti Laptop: 12 227 MiB rilevati, Ollama, contesto 4096, una richiesta alla volta. Nessuna estrapolazione alla versione desktop, a una RTX 5090 o a un Mac.
Le vecchie matrici multi-macchina sono state rimosse per mancanza di artefatti che ne consentissero la verifica. Questo dossier pubblica le misurazioni di questo pilota, con un riscaldamento seguito da cinque ripetizioni per modello; quelle della serie AI TOP ATOM hanno una sezione dedicata, più sotto.
| Modello | Quantizzazione | Mediana dei tok/s | Min–max | Codice FR | Documenti FR |
|---|---|---|---|---|---|
| qwen3:8b | Q4_K_M | 59.71 | 59.45–59.96 | Riuscito | Fatti e formato: esito positivo |
| hermes3:8b | Q4_0 | 71.97 | 71.79–72.15 | Errore | Fatti riusciti, chiavi diverse |
| mistral-nemo:12b | Q4_0 | 47.44 | 47.37–47.56 | Riuscito | Fatti e formato: esito positivo |
Cosa permette di dire questo test
Hermes3 genera più velocemente in questo test, ma la sua funzione non elimina correttamente i duplicati e ordina i valori. Qwen3 e Mistral Nemo superano questo esercizio. La velocità di elaborazione non dimostra quindi la qualità. Un compito di programmazione e un'estrazione sintetica non bastano a classificare i modelli per tutti gli usi; anche l'output di Hermes3 raggiunge il limite di 256 token.
Riprodurre ed esaminare i dati
- Protocollo, parametri e limiti
- Risposte complete e posizionamenti sulla GPU — JSON grezzo
- Tutte le ripetizioni — CSV
- Risultati, identificatori e quantizzazioni
- Hardware, versioni e stato iniziale
- Script riproducibile
- Cartella completa, input e output inclusi
L'elaborazione del prompt e la generazione sono separate nei dati grezzi. La cache del prefisso può influenzare la prima; la velocità mostrata riguarda soltanto la generazione. Non si tratta né di una misura dell'energia né della latenza totale dell'applicazione.
Serie AI TOP ATOM (GIGABYTE), ottobre 2026
La nostra serie sull’AI TOP ATOM (chip NVIDIA GB10, 128 GB), fornita gratuitamente da GIGABYTE, conta 7 guide pubblicate una a settimana dall'8 ottobre 2026. Ogni guida pubblica qui i propri dati: ogni tabella così come appare nella guida, in formato CSV (separatore punto e virgola, UTF-8, legenda nella prima riga), con il metodo e le impronte dei modelli. Dati, infografiche e foto della serie: licenza CC BY 4.0, riutilizzo libero citando QualeLLM.
- Metodo di misurazione e integrazioni datate
- Impronte SHA-256 dei 27 file dei modelli della guida 1, confrontate con Hugging Face
- Guida 6: le 100 risposte dell'assistente, valutate una per una con la relativa giustificazione (CSV)
- Guida 1: quali LLM girano davvero su 128 GB: tabella 1 · tabella 2 · tabella 3 · tabella 4 · tabella 5 · tabella 6
- Guida 2: AI TOP ATOM e DGX Spark: tabella 1 · tabella 2 · tabella 3 · tabella 4 · tabella 5 · tabella 6
- Guida 3: GB10, Ryzen AI Max+ 395 o Mac: tabella 1 · tabella 2 · tabella 3 · tabella 4 · tabella 5
- Guida 4: un LLM 70B in locale: tabella 1 · tabella 2 · tabella 3 · tabella 4 · tabella 5
- Guida 5: fine-tuning locale: tabella 1 · tabella 2 · tabella 3
- Guida 6: assistente IA privato per PMI: tabella 1 · tabella 2 · tabella 3 · tabella 4 · tabella 5 · tabella 6 · tabella 7
- Guida 7: consumo di un'IA locale: tabella 1 · tabella 2 · tabella 3 · tabella 4
Tre tipologie di dati
«Misurato da QuelLLM» indica un esperimento collegato ai relativi artefatti. «Misurazione esterna» deve identificare l'autore e il suo protocollo. «Stima» indica in particolare le velocità euristiche e i budget di memoria del configuratore; questi valori non provengono da questo nuovo test.
Metodologia · Scegliere in base alla mia macchina · Installare gratuitamente un'IA locale