Nemotron 3.5 Bolt di NVIDIA: un modello da 74 miliardi di parametri in 24 GB, cosa cambia e come provarlo

Nemotron 3.5 Bolt 74B-A9B è il modello di NVIDIA uscito il 15 ottobre 2026 che prova a mettere in 24 GB di memoria un agente da 74 miliardi di parametri totali e 9 attivi. NVIDIA lo annuncia insieme a Nemotron 3.5 Super VL e lo dichiara disponibile su Hugging Face, con supporto a llama.cpp, Ollama, LM Studio, Unsloth e vLLM. Se ti chiedi cosa cambia con Nemotron 3.5 Bolt, la risposta breve è che un modello di questa classe smette di richiedere un server e si avvicina a un portatile o a una scheda RTX. Il resto di questa pagina separa quello che NVIDIA dichiara da quello che resta da verificare.

Cosa è Nemotron 3.5 Bolt e da dove arriva

Bolt non è un modello addestrato da zero. La model card spiega che è una versione compressa di Nemotron 3.5 Super VL 120B-A12B, ottenuta con un metodo di NVIDIA chiamato Star Elastic. Gli esperti dell'architettura mixture of experts sono quantizzati a 2 bit, e un passaggio di distillazione con consapevolezza della quantizzazione serve a recuperare l'accuratezza persa. Il nome completo del modello è NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB, e il numero finale è proprio la memoria che occupa.

L'architettura è un ibrido Mamba-2 e Transformer con LatentMoE, più un encoder visivo C-RADIO v4-H. In ingresso accetta testo, immagini e video, in uscita produce solo testo. Il contesto arriva a 256.000 token, il ragionamento si accende con enable_thinking nel chat template, e la card cita un drafter per la decodifica speculativa chiamato LiLiCorr, usato tramite DFlash. Per la fase finale NVIDIA parla di apprendimento per rinforzo su ambienti agentici, con MCP e compiti di ingegneria del software.

Il predecessore diretto è Super VL, il fratello da 120 miliardi con 12 attivi presentato lo stesso giorno e disponibile anche su OpenRouter e come microservizio NIM. Nell'annuncio NVIDIA colloca Bolt accanto a Lightning, uscito ad agosto e pensato per i carichi ad alto volume. Bolt serve a chi vuole l'agente sul proprio hardware, e Super VL a chi lo serve a più utenti da un data center.

Licenza, accesso e hardware

Sulla licenza la card scrive OpenMDW-1.1, che permette l'uso commerciale e non commerciale. Nel post sulla piattaforma RTX Spark, NVIDIA aggiunge che Bolt 74B è aperto "con dati di addestramento, pesi e ricette". È una dichiarazione più larga di quella della card, e conviene guardare cosa c'è davvero nel repository prima di darla per buona. Per il confronto con altri modelli aperti, e con quelli cinesi, vale la lettura di modelli AI cinesi: costo, licenza e dati.

Il modello si scarica da Hugging Face. NVIDIA scrive che gira su PC GeForce RTX, sui portatili RTX Spark in vendita dal 16 ottobre, su DGX Spark, DGX Station e workstation RTX PRO. La card, più prudente, elenca per vLLM le GPU Ampere (A100), Hopper (H100 da 80 GB) e Blackwell, su Linux, e fornisce il comando di avvio con un'immagine vLLM nightly. I prezzi non sono dichiarati: per Bolt non c'è un listino per token, perché l'idea è che lo scarichi.

C'è un limite di lettura che conviene tenere a mente. I 24 GB indicati da NVIDIA sono il peso del modello compresso. La card non dice quanta memoria si aggiunga con un contesto lungo o con più richieste in parallelo, quindi prima di comprare hardware per lui il numero va misurato. Chi sta ancora decidendo se un modello in locale abbia senso trova il ragionamento di fondo in LLM privato: quando l'intelligenza artificiale in locale conviene.

I benchmark di NVIDIA, letti con cautela

Tutti i numeri che seguono sono riportati da NVIDIA e non sono test indipendenti. Nella model card Bolt è confrontato con Qwen3.6-35B-A3B in precisione BF16, un modello più piccolo, e le differenze sono queste.

Il dato più interessante è l'ultima riga, perché Bolt perde di poco. L'annuncio sul blog di NVIDIA dice invece che Bolt è il primo modello aperto della sua classe su PinchBench e il secondo su BrowseComp. Le due affermazioni non si contraddicono necessariamente, perché usano insiemi di confronto diversi, ma NVIDIA non spiega la differenza nelle pagine che ho letto. È un buon esempio di perché i benchmark di chi vende il modello vanno letti come un'indicazione, come ho scritto in benchmark dell'intelligenza artificiale: come leggerli.

Nell'annuncio mancano anche i punteggi numerici di Super VL, dove NVIDIA parla di una velocità cinque volte superiore al secondo migliore secondo l'Artificial Analysis Intelligence Index, senza riportare i valori. Per Bolt non c'è un confronto diretto con modelli proprietari.

Come provarlo senza prendere impegni

Il modo più economico per capire se Bolt serve è usarlo su richieste tue. Il criterio è lo stesso che applico quando scelgo il modello per gli agenti che scrivono e controllano gli articoli di questo blog: un compito vero, ripetuto più volte, con costo e risultato confrontati. Per Bolt i passaggi sono pochi.

1. Controlla la memoria disponibile con nvidia-smi, lasciando margine sopra i 24 GB per il contesto.
2. Scarica nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB da Hugging Face, oppure usa il runtime che preferisci fra quelli indicati da NVIDIA.
3. Avvia il server con il comando vLLM riportato nella model card, che espone un endpoint compatibile con le API OpenAI.
4. Punta il tuo agente a quell'endpoint cambiando il solo base_url, e fagli fare venti richieste tipiche con enable_thinking acceso e spento.
5. Annota quanto ci mette, quanta memoria occupa a fine prova e quante volte sbaglia il tool calling.

Il vantaggio del locale è che il costo per richiesta si ferma all'energia e all'hardware già pagato, mentre quello di un'API cresce con l'uso. Il conto completo, con i tentativi falliti, lo trovi in quanto costa un agente AI in azienda. Per le aziende che non vogliono mandare documenti a un fornitore esterno, un modello da 24 GB con licenza commerciale è un candidato serio da mettere alla prova, non una promessa. Il confronto con l'altro modello aperto uscito la stessa settimana, Muse Spark Open di Meta, che chiede almeno 700 GB di VRAM, mostra quanto la parola "aperto" possa voler dire cose diverse.

Cosa NVIDIA non dice

Restano senza risposta alcune cose. Il numero di parametri di Bolt E4B, il fratello da 4 GB in arrivo il 23 ottobre per assistenti vocali e personaggi di gioco, non compare nelle pagine ufficiali che ho letto. Non c'è una tabella di prestazioni in token al secondo sui portatili RTX Spark, e non ci sono confronti con i modelli proprietari più recenti. La qualità del modello dopo una compressione a 2 bit sui compiti in italiano è un'altra incognita: la card indica inglese e linguaggi di programmazione come lingue principali, con spagnolo, francese, tedesco, italiano e giapponese fra le altre supportate.

Fonte primaria: annuncio di NVIDIA del 15 ottobre 2026, con la model card su Hugging Face e il post di NVIDIA sulla piattaforma RTX Spark.