LLM privato: cos'è e quando l'intelligenza artificiale in locale conviene davvero
Un LLM privato è un modello linguistico che gira su hardware controllato da chi lo usa, con i pesi scaricati su un disco proprio e nessuna chiamata a un fornitore esterno nel momento in cui il modello risponde. La definizione è la parte facile. La domanda vera non è cosa sia un LLM privato, è se serva a te, e la risposta dipende da numeri che quasi nessuno ha in mano quando apre la discussione.
Nella maggior parte delle conversazioni che mi capita di fare, "LLM privato" vuol dire una cosa sola: non voglio che i miei dati finiscano da qualcuno. La preoccupazione è legittima, ma un LLM privato quasi sempre è la risposta sbagliata a quella preoccupazione, perché costa molto più delle alternative che risolvono lo stesso problema. Vale la pena capire dove sta la differenza prima di comprare una macchina.
Cosa vuol dire davvero avere un LLM privato
Un LLM privato mette insieme tre condizioni, e se ne manca una il modello non è privato: i pesi stanno su un disco che possiedi, l'inferenza avviene su una macchina che amministri, e non esiste una tariffa per token che scatta a ogni richiesta. La terza condizione è quella che le persone dimenticano, ed è anche quella che decide il conto.
L'AI privata venduta dai fornitori è un'altra cosa
La confusione nasce con quello che i fornitori chiamano AI privata, che di solito è un endpoint dedicato dentro il loro cloud. È una cosa diversa e spesso è quella giusta, ma non è un LLM privato.
| Configurazione | Dove avviene l'inferenza | Cosa paghi | Cosa controlli |
|---|---|---|---|
| API pubblica | data center del fornitore | ogni token | cosa mandi |
| Endpoint regionale o dedicato | data center del fornitore, area garantita | ogni token, con sovrapprezzo | cosa mandi e in che area gira |
| Modello in casa | una macchina tua | hardware, energia, manutenzione | tutto, manutenzione compresa |
L'endpoint regionale ha un sovrapprezzo con un numero pubblico: la pagina prezzi di Anthropic indica un moltiplicatore di 1,1 volte per l'inferenza vincolata agli Stati Uniti e un premio del dieci per cento sugli endpoint regionali e multi-regionali. Quel moltiplicatore l'ho già raccontato su questo sito quando è comparso dentro le stime di spesa, in dove finiscono i dati dell'intelligenza artificiale.
Quanto hardware serve per far girare un LLM privato
L'hardware necessario per un LLM privato si legge nella scheda del modello, e la soglia d'ingresso è più bassa di quanto si creda. La scheda di gpt-oss-20b pubblicata da OpenAI su Hugging Face dichiara 21 miliardi di parametri totali, 3,6 miliardi attivi, licenza Apache 2.0, e che il modello gira entro 16 GB di memoria grazie alla quantizzazione MXFP4 dei pesi dell'architettura a esperti.
| Modello | Parametri totali | Parametri attivi | Memoria dichiarata | Licenza |
|---|---|---|---|---|
| gpt-oss-20b | 21 miliardi | 3,6 miliardi | entro 16 GB | Apache 2.0 |
| gpt-oss-120b | 117 miliardi | 5,1 miliardi | una sola GPU da 80 GB | Apache 2.0 |
Le due soglie dichiarate dai modelli gpt-oss, 16 e 80 gigabyte, sono due mondi economici diversi. Sedici gigabyte sono un portatile da sviluppo comprato negli ultimi due anni. Ottanta gigabyte su una sola scheda sono una H100 o una MI300X, cioè i due esempi che la documentazione di gpt-oss-120b cita per nome: una macchina che si noleggia a ore o si compra come un investimento, non un computer che in ufficio c'è già.
La prova concreta da fare in mezz'ora
La prova che chiude la discussione costa un comando e un pomeriggio. Con Ollama installato si scarica il modello piccolo, che nella libreria ufficiale pesa 14 GB e dichiara una finestra di contesto da 128K:
Ollama espone il modello scaricato su un endpoint compatibile con le API OpenAI all'indirizzo http://localhost:11434/v1/, come documenta Ollama, con api_key impostata a ollama e ignorata dal server. Vuol dire che il codice che hai già scritto per un fornitore cloud punta al modello locale cambiando una riga, quella del base_url. È il modo più onesto di valutare un LLM privato: non leggere i benchmark, far girare le tue venti richieste vere.
AI in cloud o AI in locale: la differenza che conta
La differenza fra AI in cloud e AI in locale non è la privacy, è chi si prende il costo fisso. Con le API paghi solo quello che consumi e non paghi niente nei mesi in cui il progetto è fermo. Con un modello in casa paghi la macchina prima di aver generato il primo token, e continui a pagarla anche quando nessuno la usa.
Il conto da fare è uno solo, e serve il tuo consumo reale in token. Le tariffe pubbliche di Anthropic mettono Claude Haiku 4.5 a 1 dollaro per milione di token in ingresso e 5 in uscita, e Claude Sonnet 5 a 2 dollari in ingresso e 10 in uscita. Un milione di token in ingresso e duecentomila in uscita al giorno su Haiku 4.5 fanno 2 dollari al giorno, cioè una sessantina di dollari al mese: quella è la cifra che l'hardware deve battere, ed è più bassa di quanto la maggior parte delle persone immagini prima di calcolarla.
Chi non conosce il proprio numero non sta decidendo, sta tifando. Il metodo per ricavarlo è lo stesso che uso per capire quanto costa un agente AI in azienda e chi lo ferma quando spende troppo, e vale prima di qualsiasi valutazione sull'hardware.
I tre casi in cui l'LLM privato conviene
Un LLM privato conviene in tre situazioni, e fuori da queste è quasi sempre una spesa emotiva.
- Il dato non può uscire per un vincolo contrattuale o normativo, e non per una preferenza. Qui il costo non si discute, è un requisito.
- Il volume è alto e il lavoro è ripetitivo e banale: classificare, riscrivere in formato oppure estrarre dati da un archivio di PDF aziendali. È il profilo peggiore da pagare a token e il migliore da tenere in casa.
- Serve funzionare senza rete o con latenza costante, per esempio dentro un impianto o su un dispositivo.
Se non rientri in nessuno dei tre, quello che ti serve probabilmente non è un LLM privato ma un contratto migliore o un modello più economico. Il prezzo per token si sta muovendo parecchio, e le fasce orarie dei prezzi delle API DeepSeek sono l'esempio più chiaro: il costo del cloud scende mentre l'hardware che hai comprato resta fermo dov'è.
Cosa perdi quando porti il modello in casa
Con un LLM privato si perdono tre cose, e vanno messe sul piatto insieme al risparmio. La prima perdita è il salto di qualità sui compiti difficili, perché i modelli aperti che girano su una macchina sola non competono con i modelli di punta sul ragionamento lungo. La seconda perdita sono gli aggiornamenti gratuiti: quando esce un modello migliore, con le API cambi una stringa, in casa rifai la valutazione e forse anche la macchina.
La terza perdita di un modello in casa è che il servizio lo tieni in piedi tu. Aggiornamenti, monitoraggio, colli di bottiglia sulle richieste in parallelo e notti in cui il servizio non risponde diventano un lavoro interno, e quel lavoro ha un costo che non compare mai nei confronti fatti a tabellina.
Il fine tuning non è la scorciatoia per recuperare la distanza dai modelli di punta: quando serve davvero e quando è tempo buttato l'ho scritto in fine tuning di un modello di intelligenza artificiale.
Come ho deciso io, e perché non ho un LLM privato
Sul sito che stai leggendo la scelta non è stata un LLM privato, è stata quella accanto, e sta scritta nel repository. Le trascrizioni dei video restano su una VPS mia, e la routine che ogni giorno le trasforma in bozze non entra in quella macchina: come dice il README dell'automazione, il cloud agent non fa mai SSH sulla VPS e chiama un solo endpoint HTTP protetto da token, perché la VPS espone una sola finestrella e niente altro.
Cosa tengo su una macchina mia e cosa mando a pagamento
Il criterio che applico è che esce il ragionamento e resta il materiale grezzo. Ore di trascrizioni sono voluminose, ripetitive e mie: non hanno nessun motivo di stare da un fornitore. La singola richiesta che scrive un articolo è piccola e vale il prezzo pieno del modello migliore disponibile. È lo stesso ragionamento che ho applicato per trascrivere le riunioni senza mandare l'audio fuori dall'azienda, e quando il vincolo arriva da un cliente invece che da una preferenza diventa un problema di come si gestiscono i dati aziendali dentro un progetto AI, non di quale scheda grafica comprare.
Un LLM privato è una scelta di architettura, non una posizione morale sul cloud. Chi la prende dopo aver calcolato il proprio consumo in token quasi sempre scopre di avere un problema più piccolo di quello che pensava, e lo risolve con mezza giornata di lavoro invece che con un acquisto.
Fonti: la scheda del modello gpt-oss-20b su Hugging Face, la documentazione di Ollama sull'endpoint compatibile OpenAI e la pagina prezzi ufficiale di Anthropic.
Domande frequenti
Un LLM privato è la stessa cosa di ChatGPT Enterprise o di un piano business?
No. Un piano business resta un servizio del fornitore: cambiano le condizioni contrattuali sulla conservazione e sull'addestramento, non il luogo dove avviene l'inferenza. Un LLM privato sposta proprio quel luogo su una macchina che controlli tu. Sono due risposte diverse a due paure diverse, e costano in modo diverso.
Che differenza c'è fra un LLM privato e un'AI che legge i documenti aziendali?
Sono due strati diversi e si possono combinare. Un LLM privato riguarda dove viene eseguito il modello. Far leggere a un modello i documenti dell'azienda riguarda invece come i documenti vengono recuperati e infilati nella richiesta, e funziona identico con un modello locale o con un'API. Chi vuole solo la seconda cosa non ha bisogno della prima.
Un modello aperto si può usare dentro un prodotto commerciale?
Dipende dalla licenza, e va letta prima di scrivere codice. I due modelli gpt-oss sono pubblicati con licenza Apache 2.0, che permette l'uso commerciale. Altri modelli molto diffusi hanno licenze con limiti sul numero di utenti o sull'uso per addestrare altri modelli, e quei limiti non si scoprono a prodotto finito.
Con un LLM privato i dati aziendali sono automaticamente a norma?
No, e crederlo è l'errore più comune. Tenere l'inferenza in casa elimina il trasferimento verso un fornitore esterno, che è una parte del problema. Restano da gestire chi accede al modello, cosa viene registrato nei log, per quanto tempo si conservano le conversazioni e chi risponde se il modello produce un output sbagliato.
Un LLM privato regge un agente di coding usato tutti i giorni?
È il caso d'uso in cui regge peggio. Un agente di coding fa molti passaggi in sequenza e ogni errore intermedio si propaga nei successivi, quindi il divario di qualità con i modelli di punta si moltiplica invece di restare costante. Le attività a passaggio singolo, come classificare o riformattare, sono il territorio in cui un modello aperto locale se la cava senza differenze evidenti.