Unsloth: fine-tuning un LLM su una scheda grande public

#La domanda da risolvere prima di installare qualsiasi cosa

Sì, si può fare il fine-tuning di un modello con 7 o 8 miliardi di parametri su una scheda destinata al grande pubblico: la documentazione di Unsloth indica un minimo di 5 a 6 GB di VRAM in QLoRA 4 bit, quindi una scheda da 12 GB va bene, con margine per il contesto e il batch. Unsloth riscrive le fasi pesanti del fine-tuning LoRA e QLoRA, secondo l'editore, fino a due volte più veloce con il 70% in meno di VRAM, un dato valido solo per alcuni quaderni di codice (notebook). Il risultato viene esportato in GGUF per funzionare su Ollama. Ma la vera domanda prima dell'installazione è: il fine-tuning modifica il comportamento di un modello (tono, formato, registro), non ciò che sa di aggiornato. Se vuoi che conosca i tuoi documenti, costruisci prima una ricerca documentaria. Ricorda anche che la preparazione del set di dati richiede più tempo dell'addestramento.

Il fine-tuning modifica il comportamento di un modello. La ricerca documentale cambia ciò che sa al momento di rispondere. Confonderli fa perdere settimane.

• Fine-tuning o RAG: l'albero di decisione dettagliato
• LoRA e QLoRA: come funziona davvero
• Un esempio completo di fine-tuning LoRA
• Valuta se un RAG darebbe risultati migliori, con dati numerici

#Cosa cambia concretamente Unsloth

Il metodo non è nuovo: si congelano i pesi del modello e si addestrano solo piccole matrici aggiunte a ciascun peso, pari a circa l'1 % dei parametri secondo la guida di Unsloth. LoRA mantiene il modello originale in 16 bit, QLoRA lo quantizza in 4 bit, risparmiando così il 75 % di memoria. È l'approccio standard, non appartiene a Unsloth.

Il contributo della libreria è l'implementazione, con kernel di calcolo riscritti per le fasi più pesanti. Il progetto esiste in tre forme: Unsloth Desktop, un'applicazione nativa, Unsloth Studio, un'interfaccia web, e Unsloth Core, la versione controllata tramite codice di cui parla questo articolo. È pubblicato con una doppia licenza: Apache 2.0 per il nucleo, AGPL-3.0 per alcuni componenti opzionali come l'interfaccia Studio. Dichiara di addestrare modelli linguistici, di diffusione, di sintesi vocale e di embedding due volte più velocemente con il 70% di VRAM in meno, senza perdita di precisione. Sulle architetture a miscela di esperti (MoE), il miglioramento dichiarato aumenta ulteriormente: fino a 12 volte più velocità con un risparmio di VRAM superiore al 35% su alcuni modelli recenti. Come tutti i dati forniti dagli sviluppatori, questi descrivono il caso migliore: il README stesso mostra che il «due volte, 70%» vale solo per alcuni notebook.

#Quale scheda per quale modello

La documentazione specifica che questi numeri sono minimi assoluti: a seconda del modello, potrebbe essere necessario un valore maggiore. Identifica la dimensione del batch eccessiva come causa frequente di saturazione della memoria, da ridurre a 1, 2 o 3, e consiglia una lunghezza del contesto di 2048 per i primi test.

#Il vero lavoro sta nel dataset

Un fine-tuning non fallisce mai per colpa della libreria. Fallisce per colpa dei dati.

Formato

Un dataset, il più delle volte con due colonne, domanda e risposta, nella struttura di conversazione prevista dal modello. La guida consiglia di partire da un modello Instruct: accetta direttamente i template di conversazione (ChatML, ShareGPT) e richiede meno dati di un modello base. La regolarità conta più del volume.

Quantità

La guida di Unsloth raccomanda come minimo assoluto 100 righe e più di 1.000 righe per risultati migliori. Il tono e il formato si modificano con pochi esempi; un vero comportamento specifico del settore ne richiede di più, coerenti tra loro.

Qualità

Il modello imita ciò che gli viene mostrato, inclusi gli errori. Un difetto sistematico nei dati diventa un difetto sistematico del modello.

Set di controllo

Esempi che il modello non vede mai durante l'addestramento. Senza di essi, è impossibile distinguere l'apprendimento dalla semplice memorizzazione.

Senza codice

Unsloth Studio offre le Data Recipes, che trasformano PDF, CSV o DOCX in set di dati tramite un flusso visivo, con un'anteprima prima di avviare la creazione completa.

#Dall'adattatore al modello utilizzabile

Il percorso si articola in tre fasi: caricare un modello a 4 bit, addestrarlo con uno dei notebook ufficiali, poi esportarlo. Il primo blocco di codice carica il modello e aggiunge gli adattatori LoRA; l'addestramento vero e proprio viene eseguito con uno dei notebook di Unsloth, che la guida consiglia di copiare nel tuo ambiente locale.

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen3-8B-unsloth-bnb-4bit",  # quantification dynamique 4 bits d'Unsloth
    max_seq_length=2048,
    load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(model, r=16, lora_alpha=16)

Il suffisso del nome conta. Secondo la guida, un modello il cui nome termina con unsloth-bnb-4bit usa una quantizzazione dinamica a 4 bit di Unsloth: consuma un po' più di VRAM rispetto a una quantizzazione BitsAndBytes standard, ma offre una precisione nettamente superiore. Un nome che termina solo con bnb-4bit indica la versione standard. La guida aggiunge che è vantaggioso usare la stessa precisione per l'addestramento e per l'erogazione del modello: erogarlo a 4 bit significa addestrarlo a 4 bit.

1. 01
   Addestrare

   Il risultato è un adattatore LoRA, di circa 100 MB nell'esempio di Unsloth, non un modello completo.
2. 02
   Valutare

   Confrontando i risultati con il set di controllo e con il modello originale. «Migliore» va dimostrato, non dato per scontato. La guida segnala che gli strumenti di valutazione automatica possono non rispecchiare adeguatamente i tuoi criteri.
3. 03
   Fondere o mantenere separato

   L'adattatore può restare separato e scambiabile, oppure essere fuso nei pesi: model.save_pretrained_merged con save_method="merged_16bit".
4. 04
   Esportare in GGUF e quantizzare

   model.save_pretrained_gguf genera il file, con q4_k_m, q8_0 o f16 a scelta. Questo rende il risultato eseguibile da Ollama o llama.cpp su hardware ordinario.

model.save_pretrained_gguf(
    "mon-modele-q4", tokenizer, quantization_method="q4_k_m"
)
# puis, avec le Modelfile fourni : ollama create mon-modele -f Modelfile

• Importare un GGUF in Ollama
• Scegliere il livello di quantizzazione del tuo modello

#Le trappole classiche

Partire da un modello base senza saperlo

La guida raccomanda i modelli Instruct: accettano i template di conversazione e richiedono meno dati. Un modello base richiede un formato diverso (Alpaca, Vicuna) e più esempi.

Dimenticare il template di conversazione

Esempi formattati in modo diverso da quello atteso dal modello producono un addestramento tecnicamente riuscito e praticamente inutile.

Misurare sugli esempi di addestramento

È l'errore che fa annunciare risultati spettacolari e consegnare modelli deludenti.

Credere che sostituirà la ricerca documentale

Ciò che insegni al modello diventa obsoleto il giorno in cui le tue informazioni cambiano, e il modello non cita le proprie fonti. Per i fatti che cambiano nel tempo, la ricerca documentale rimane più sicura.

Sottovalutare la pulizia degli esempi

Duplicati quasi identici nel set di dati distorcono l'addestramento a favore di questi casi specifici, senza che nulla lo segnali nelle metriche monitorate.

Modificare diversi parametri contemporaneamente

Modificare il tasso di apprendimento, il rango dell'adattatore e la lunghezza della sequenza nello stesso esperimento impedisce di capire quale abbia prodotto il cambiamento osservato.

#Casi d'uso concreti

Assistenza clienti con un tono costante

Un modello sottoposto a fine-tuning su scambi reali risponde con la voce del marchio, senza istruzioni di stile ripetute in ogni prompt.

Estrazione in un formato rigorosamente definito

Eseguire il fine-tuning su esempi di input-output stabilisce il formato di output in modo più affidabile rispetto a un semplice prompt, ed è utile prima di inviare il risultato a un sistema a valle.

Un punto in comune tra questi casi: ciascuno è misurabile. Prima di avviare un addestramento, formula il criterio di successo in una frase verificabile — «il formato JSON è rispettato in almeno il 95% degli output del set di controllo», ad esempio — anziché affidarti a un'impressione generale di miglioramento. È questo criterio, non l'intuizione, a indicare se il risultato giustifica il tempo investito.

• Fonte: repository ufficiale Unsloth (funzionalità, hardware, doppia licenza)
• Fonte: prerequisiti e VRAM minima per dimensione del modello
• Fonte: guida di fine-tuning di Unsloth
• Fonte: esportazione GGUF e problemi con i template
• Fonte: dati di performance sui modelli MoE

#Il costo reale, oltre il prezzo della scheda

La scheda grafica è solo una delle voci da considerare. Raccogliere e pulire esempi coerenti, creare un set di controllo che il modello non vedrà mai e poi confrontare ogni versione con il modello originale pesa spesso più dell'addestramento stesso, che la guida di Unsloth illustra con una prova di 60 passi.

È per questo che Unsloth, per quanto sia rapido nell'addestramento, non riduce la durata di un progetto quanto si spera: elimina il collo di bottiglia tecnico, non il lavoro sui dati.

#FAQ

Hardware consigliato: RTX 5070 Ti 16 GB — scheda NVIDIA da 16 GB, sufficiente per affinare un modello 7-8B con QLoRA. Tutto l'hardware per l'IA →