Benchmark dell'intelligenza artificiale: come leggerli quando li pubblica chi vende il modello
Un benchmark dell'intelligenza artificiale è una prova standardizzata con un punteggio, pensata per confrontare modelli diversi sullo stesso compito. Il 12 ottobre 2026 Meta ha rilasciato Muse Wonder e Muse Wonder Full, i suoi primi modelli di frontiera secondo TechCrunch, e li ha accompagnati da una model card che mette i punteggi accanto a quelli di GPT-6 Astra, Claude Fable 5.1 e Claude Opus 5.5. La domanda utile per chi costruisce un prodotto non è chi vince, ma quanto di quella tabella vale per il suo caso.
La risposta sta nella parte della model card che quasi nessuno legge: la metodologia. Dice chi ha eseguito la prova, con quali impostazioni e come sono stati scelti i numeri da mostrare.
Chi ha misurato cosa nella model card di Muse Wonder
Nella model card di Meta i benchmark hanno tre origini diverse: alcuni sono gestiti da terzi, altri sono eseguiti da Meta in un proprio ambiente, altri ancora sono costruiti da Meta stessa. La differenza pesa più del punteggio.
| Benchmark | Chi produce il risultato | Cosa misura |
|---|---|---|
| Harvey LAB-AA | Artificial Analysis | Lavoro legale prodotto da agenti, con controllo delle allucinazioni |
| Vals Finance Agent V2 | Vals AI | Compiti da analista finanziario su bilanci e informazioni di mercato |
| AutomationBench-AA | Artificial Analysis | Flussi di lavoro aziendali in un ambiente simulato |
| Terminal-Bench 4.0 | Artificial Analysis | Compiti in terminale, verificati sullo stato finale |
| HealthBench Pro | Meta, in un proprio ambiente | 525 domande di salute valutate con criteri scritti da medici |
| MemoryBench | Meta, benchmark interno | Richiamo di fatti in conversazioni da 64K a 100K token |
Un punteggio di terzi si può rifare, uno interno si può soltanto credere, e la memoria, punto di forza dichiarato di Muse Wonder, è misurata da MemoryBench.
Come si legge un benchmark pubblicato dal venditore
Un benchmark pubblicato dal venditore del modello si legge cercando tre scelte che la model card dichiara da sola: punteggio, concorrenti e ambiente di prova. Sul punteggio, la model card di Meta scrive che, quando non esiste un risultato di terzi, usa il più alto fra la propria esecuzione verificata, il punteggio dichiarato dal fornitore e quello della classifica ufficiale.
Sui concorrenti, le esecuzioni di GPT-6 Astra, Claude Fable 5.1 e Claude Opus 5.5 fatte da Meta sono, parole della card, "best-effort", con prompt, strumenti e ambiente che possono non essere ottimizzati per i modelli proprietari. Per HealthBench Pro, Meta riprende invece i risultati che Anthropic pubblica nelle system card di Claude Fable 5.1 e Claude Opus 5.5.
Sull'ambiente di prova, la model card ricorda che le prestazioni cambiano con la quantizzazione, la configurazione di servizio, i prompt, gli strumenti e il sistema che fa girare l'agente, quindi lo stesso modello nel tuo prodotto può comportarsi in modo diverso.
Meta dichiara tutto questo apertamente, ed è un merito. Il punto è leggerlo prima di citare un punteggio a un cliente.
Come funziona un modello di linguaggio con memoria attiva
Un modello di linguaggio con memoria attiva è un modello che porta con sé informazioni sull'utente da una conversazione all'altra e le richiama quando servono. Il blog di Meta chiama la funzione "Active Memory" e la descrive come la capacità di portare il contesto importante dell'utente attraverso le conversazioni e di recuperare i dettagli utili al compito in corso.
Il blog di Meta non spiega come funziona sotto il cofano, e la model card indica un contesto da 1M token in inferenza. Le due fonti ufficiali non dicono se la memoria stia nel modello o in un archivio esterno. Secondo TechCrunch, Muse Wonder ottiene su MemoryBench un punteggio più alto di Fable, Opus e Astra, il benchmark che Meta stessa ha scritto.
Per chi costruisce un prodotto la distinzione conta: una memoria nel modello si compra, una memoria costruita in casa si controlla. Come si progetta la seconda lo spiego in cosa ci va dentro la memoria di un agente AI.
Come scegliere un modello AI per il tuo prodotto senza fidarti della tabella
Per scegliere un modello AI per un prodotto si misura il modello sui compiti del prodotto, non su quelli di un benchmark. Nel mio repository gli articoli di attualità li scrive una routine che carica tre file di regole in .claude/skills/articolo/ e un archivio di 3.589 righe in data/seo/volumi-keyword.json. Per valutare Muse Wonder userei quella routine come banco di prova, non la tabella di Meta.
I cinque passaggi di un test serio
- Scegli tre compiti che il tuo prodotto esegue davvero, con input reali e non inventati.
- Scrivi prima cosa vuol dire "risposta corretta" per ciascuno, in una riga.
- Lancia ogni compito cinque volte per modello, perché un modello che sbaglia una volta su cinque non si vede in una prova sola.
- Annota per ogni prova esito, token consumati e tempo.
- Confronta i totali per compito, non la media.
Un file di log basta:
{"modello":"muse-wonder","compito":"riassunto-ticket","prova":3,"esito":"ok","token":4210,"secondi":38}
Il conto dei costi sta in come decidere se aggiornare il modello di un agente e il confronto fra modelli già in uso in Claude contro ChatGPT. Per un cliente, la scelta del modello viene dopo il progetto, come spiego negli agenti AI su misura.
Cosa cambia per chi costruisce con Muse Wonder e con Muse Code
Per chi costruisce prodotti, Muse Wonder cambia l'elenco dei modelli da provare, non quello dei modelli da usare. Il blog di Meta lo dà disponibile sulla Meta Model API e dentro Muse Code, l'agente di coding che avevo già raccontato in Muse Code e il prezzo pagato in dati, mentre Muse Wonder Full è riservato agli abbonati di Muse Code.
Quali limiti dichiara la model card
La model card elenca limiti precisi: possibili errori nel ragionamento a più passaggi in situazioni nuove, difficoltà note con il ragionamento visivo e spaziale, soprattutto in 3D, e un uso non destinato ai minori di 18 anni.
Il mio parere
Un modello nuovo che arriva con benchmark propri merita un pomeriggio di prove, non una migrazione. Se vince sui tuoi compiti, lo adotti. Se vince solo nella tabella di Meta, hai imparato a leggere le tabelle. Il quadro degli strumenti per costruire con l'AI sta nel confronto fra strumenti di intelligenza artificiale, le basi da cui parte ogni valutazione in come funziona un modello di linguaggio.
Le fonti primarie sono il blog di Meta su Muse Wonder e la model card; prezzi e confronto con i concorrenti sono riportati da TechCrunch.
Domande frequenti
Quanto costa usare Muse Wonder dall'API?
Secondo TechCrunch del 12 ottobre 2026, Muse Wonder costa 4 dollari per milione di token in ingresso e 20 per milione in uscita sulla Meta Model API. Il blog ufficiale di Meta non riporta prezzi, quindi il listino va controllato sulla console prima di fare un preventivo. Muse Wonder Full, sempre secondo TechCrunch, non passa dall'API ed è riservato agli abbonati di Muse Code.
Muse Wonder capisce bene l'italiano?
La model card dichiara dati di addestramento multilingue con una rappresentazione ampia delle lingue del mondo, ma precisa che il modello non è stato valutato su tutte le lingue e che le prestazioni possono peggiorare fuori dal gruppo di lingue ben supportate. L'italiano non è nominato né fra le lingue valutate né fra quelle escluse. Per un prodotto in italiano l'unica risposta affidabile è una prova con testi veri dei tuoi utenti.
Quanto è lunga la finestra di contesto di Muse Wonder?
La model card di Meta indica una lunghezza di contesto di 1M token in inferenza (un milione di token). Il blog di Meta non cita questo numero.
Che cosa vuol dire che i risultati sono a ragionamento massimo?
Nella model card Meta scrive che i risultati di Muse Wonder e dei modelli confrontati sono generati al massimo livello di ragionamento. Un modello al massimo impegno in genere impiega più token e più tempo della configurazione predefinita, quindi i punteggi della tabella non descrivono né il costo né la velocità che avrai in produzione.
Come si fa un test di un modello AI con i miei dati?
Si sceglie un campione piccolo di richieste reali, si fissa in anticipo cosa vuol dire risposta corretta e si ripete ogni richiesta più volte per vedere quanto varia l'esito. Con tre compiti e cinque ripetizioni ciascuno si hanno già quindici prove, abbastanza per accorgersi di un modello che sbaglia in modo irregolare.