Come si addestra un modello di intelligenza artificiale: le tre fasi e quella che riguarda te
L'addestramento di un modello di intelligenza artificiale è la modifica dei parametri interni di una rete neurale finché le risposte che produce si avvicinano a quelle che chi lo addestra considera giuste. Sotto quella definizione unica stanno tre lavori diversi per costo, per durata e per chi li esegue, e la confusione fra i tre è il motivo per cui molte aziende comprano una cosa credendo di comprarne un'altra.
La distanza fra i tre lavori si vede meglio con due numeri messi vicini. Il pre-addestramento di Llama 3, secondo il post con cui Meta ha presentato il modello, è passato per oltre 15.000 miliardi di token e due cluster costruiti su misura. Il fine tuning supervisionato di un modello OpenAI, secondo la documentazione ufficiale, parte da dieci esempi. Si chiamano entrambi addestramento.
Le tre fasi con cui si addestra un modello di intelligenza artificiale
Un modello di intelligenza artificiale si addestra in tre fasi distinte: il pre-addestramento, il post-addestramento e l'adattamento al singolo compito. Le prime due producono il modello che scarichi o che chiami via API, la terza è l'unica su cui un'azienda che costruisce prodotti mette davvero le mani.
| Fase | Che cosa produce | Chi la esegue | Ordine di grandezza |
|---|---|---|---|
| Pre-addestramento | un modello che completa il testo | i laboratori che pubblicano i modelli | migliaia di miliardi di token, migliaia di schede grafiche |
| Post-addestramento | un modello che segue istruzioni e rifiuta certe richieste | gli stessi laboratori | dati di preferenza e cicli di apprendimento per rinforzo |
| Adattamento | un modello che fa bene un compito specifico | l'azienda che costruisce il prodotto | da dieci a poche centinaia di esempi |
Il pre-addestramento è la fase che consuma i soldi
Il pre-addestramento è la fase in cui il modello legge una quantità enorme di testo e impara a prevedere quello che viene dopo. Meta, nel post di presentazione di Llama 3, scrive che il modello è stato preaddestrato su "over 15T tokens that were all collected from publicly available sources", su sequenze da 8.192 token, e che le esecuzioni di addestramento sono girate su "two custom-built 24K GPU clusters", con un'utilizzazione superiore a 400 TFLOPS per scheda quando ne lavorano 16.000 insieme. I modelli usciti da quel lavoro hanno 8 e 70 miliardi di parametri.
Nessuno di quei numeri descrive una spesa che si affitta per la durata di un progetto. Il pre-addestramento è la ragione per cui i modelli di base sono pochi e quasi tutto il resto del mercato ci costruisce sopra invece di rifarli.
Il post-addestramento è dove il modello impara a comportarsi
Il post-addestramento è la fase in cui un modello già preaddestrato impara a seguire istruzioni, a rispondere in un certo modo e a rifiutare certe richieste. Meta descrive per Llama 3 "a combination of supervised fine-tuning (SFT), rejection sampling, proximal policy optimization (PPO), and direct preference optimization (DPO)", quattro tecniche applicate dopo il pre-addestramento e non durante.
Anthropic, nel documento "Claude's Constitution" pubblicato il 9 maggio 2023, spiega di usare la costituzione in due punti del processo. Nel primo "the model is trained to critique and revise its own responses using the set of principles", nel secondo il modello viene addestrato con apprendimento per rinforzo dove, "rather than using human feedback, it uses AI-generated feedback based on the set of principles to choose the more harmless output". Il carattere di un modello nasce qui, non nella fase precedente.
Perché addestrare un modello AI da zero non è una decisione che ti riguarda
Addestrare un modello AI da zero non è una decisione che si presenta davvero a chi costruisce prodotti, perché la fase costosa è già stata pagata da qualcun altro e si eredita scaricando il modello o chiamandolo via API. Il conto dei due cluster da 24.000 schede grafiche che Meta dichiara per Llama 3 non compare mai nel preventivo di un progetto aziendale, e non perché qualcuno lo nasconda.
Quando un fornitore dice di addestrare un modello sui dati di un cliente, nella grande maggioranza dei casi intende la terza fase, e a volte non intende nemmeno quella: intende un prompt lungo, oppure un archivio di documenti collegato al modello. Sono tre cose con conseguenze diverse il mese dopo, quando un prezzo cambia. Se invece il vincolo vero è che i dati non escano dalla rete aziendale, il tema non è l'addestramento ma dove gira il modello, e l'ho trattato in cos'è un LLM privato e quando conviene.
Le tre domande da fare a chi propone di addestrare un modello
Le tre domande che separano un progetto serio da una parola messa lì per decorazione si fanno prima di firmare, e sono queste.
- Quale delle tre fasi state facendo: pre-addestramento, post-addestramento o adattamento su esempi scritti da noi?
- Da quale modello di base partite, e cosa succede al lavoro fatto quando esce la generazione successiva di quel modello?
- Quando un listino o una procedura cambiano il mese prossimo, il sistema lo legge da qualche parte oppure va rifatto l'addestramento?
Una risposta vaga alla prima domanda è già una risposta. Chi sta addestrando davvero qualcosa sa dire quale fase sta toccando, senza girarci intorno.
Cosa si fa al posto dell'addestramento
Al posto dell'addestramento si lavora nell'ordine che consiglia anche chi l'addestramento lo vende. La guida di OpenAI all'ottimizzazione dei modelli mette per primo il misurare i risultati, poi il prompt engineering, e solo dopo il fine tuning, e scrive che "The prompt engineering process may be all you need in order to get great results for your use case". I criteri che uso per considerare chiusa la prima leva stanno in cos'è il prompt engineering e cosa funziona davvero.
Quando il prompt non basta, la scelta è fra due strade che non si somigliano: cambiare il comportamento del modello, oppure cambiare quello che il modello ha davanti mentre risponde. Il comportamento si cambia con il fine tuning, e ho raccolto in quando il fine tuning serve davvero le condizioni che vanno verificate insieme prima di aprire quel progetto. L'informazione disponibile si cambia recuperando i documenti al momento della domanda, che è cos'è il RAG e quando serve.
Come lavora questo sito, senza addestrare niente
Il blog che stai leggendo è il caso concreto che ho sottomano. Gli articoli automatici scelgono l'argomento leggendo tre file di misurazioni dentro data/seo/ nel repository del sito: volumi-keyword.json con 3.589 righe di volumi di ricerca, imbuto.json con 138 domande e i primi dieci risultati organici di ciascuna, ai-overview.json con 98 domande e i domini che Google cita dentro la risposta generata. Tutti e tre portano la data del 1 agosto 2026 e vengono letti mentre l'articolo viene scritto.
Quando quelle misurazioni verranno rifatte, cambierà il contenuto dei file e il comportamento cambierà con loro, senza toccare nessun modello. Se gli stessi numeri fossero stati cotti dentro un addestramento, resterebbero fermi al primo agosto anche con la misurazione nuova in mano.
Cosa resta da decidere a chi costruisce prodotti
A chi costruisce prodotti con l'intelligenza artificiale restano due decisioni, e nessuna delle due è un addestramento: quale modello già addestrato usare, e cosa mettergli davanti mentre lavora. La prima decisione somiglia molto alla scelta di un agente, dove contano dove gira e cosa può toccare più della classifica del momento, e l'ho spiegata in come si scelgono i migliori agenti di intelligenza artificiale.
I documenti aziendali sono la seconda decisione, e anche lì la parola addestramento è quasi sempre fuori posto: farli leggere al sistema al momento della richiesta è un progetto di accesso e di permessi sui dati aziendali, non un ciclo di training, e si corregge in un pomeriggio. È un lavoro meno affascinante da raccontare in una riunione e molto più facile da rimettere a posto quando sbaglia.
Fonti primarie: il post di Meta su Llama 3, la guida di OpenAI all'ottimizzazione dei modelli e il documento Claude's Constitution di Anthropic.
Domande frequenti
Che differenza c'è tra addestrare un modello e fare il fine tuning?
Il fine tuning è una parte dell'addestramento, non un'alternativa: è un intervento su un modello che qualcun altro ha già portato a termine, e ne modifica il comportamento partendo da esempi tuoi. Quando qualcuno dice di aver addestrato un modello quasi sempre intende questo, oppure intende una cosa che addestramento non è, come un prompt lungo o un archivio di documenti collegato. L'equivoco si scioglie chiedendo quanti esempi sono stati scritti e da chi, perché senza un insieme di esempi corretti non esiste nessun fine tuning.
Servono delle GPU proprie per addestrare un modello di AI?
Per l'adattamento di un modello esistente non servono GPU proprie, perché il calcolo lo mette il fornitore e si paga a consumo attraverso la sua API insieme al resto delle chiamate. Le schede proprie tornano nel discorso solo quando il vincolo è che i dati non escano dalla rete aziendale, e in quel caso la domanda vera non è come addestrare ma dove far girare il modello, che è un altro progetto con un altro budget. Chi si sente proporre un acquisto di hardware per un progetto di AI farebbe bene a chiedere quale dei due problemi sta comprando.
Un modello continua a imparare mentre le persone lo usano?
No. I parametri di un modello restano fermi fra un addestramento e il successivo, quindi una correzione fatta oggi in una conversazione non cambia le risposte che il modello darà domani a un altro utente. Quello che sembra apprendimento è quasi sempre memoria: testo salvato da qualche parte e rimesso davanti al modello alla richiesta seguente. È una differenza che conta quando si scrive un contratto, perché il fornitore che promette un sistema che impara da solo di solito sta descrivendo un archivio, non un addestramento.
Chi addestra davvero i modelli di intelligenza artificiale che usiamo ogni giorno?
I modelli di base nascono in un numero ristretto di laboratori, fra cui Meta, OpenAI e Anthropic, e il resto del mercato costruisce sopra il loro lavoro. È una conseguenza diretta del costo del pre-addestramento, non di una scelta di licenza: quando la stessa fase richiede decine di migliaia di schede grafiche che lavorano insieme, il numero di soggetti che può permettersela resta piccolo. Chi costruisce prodotti sceglie fra quei modelli invece di produrne uno.