Confronto strumenti di intelligenza artificiale: cosa misurare davvero
Un confronto fra strumenti di intelligenza artificiale è la misura di due strumenti messi sullo stesso compito reale, con lo stesso input, con dei numeri segnati alla fine. Tutto il resto è una griglia di spunte. Il confronto fra strumenti di intelligenza artificiale che si trova cercando in italiano è quasi sempre la griglia: funzionalità dichiarate dai produttori, messe in fila da qualcuno che non ha fatto girare nessuno dei due prodotti su un lavoro suo.
La ragione per cui il metodo conta più della tabella non è metodologica, è economica. Uno strumento scelto male non si vede il primo giorno, si vede al terzo mese, quando il processo che ci hai costruito sopra va rifatto da capo. E i due criteri che le tabelle usano di più, l'elenco delle funzionalità e il prezzo per token, sono proprio i due che non reggono.
Perché quasi ogni confronto fra strumenti di intelligenza artificiale è inutile
Una tabella di funzionalità confronta quello che due prodotti dichiarano, non quello che fanno sul tuo lavoro. Nel 2026 la colonna delle spunte è quasi sempre piena da tutte e due le parti: entrambi leggono documenti, entrambi chiamano API, entrambi hanno una modalità agente. La differenza non sta nella presenza della funzione, sta in quanto bene quella funzione regge il tuo caso, e quello dalla tabella non si legge.
Le demo aggiungono un secondo problema, più sottile. Una demo mostra sempre il caso che funziona, e il caso che funziona non è mai il problema: il problema è il documento fatto male, la richiesta ambigua, il dato che manca. Due strumenti che sembrano identici in demo si separano nettamente sul primo input storto.
Un confronto fatto in buona fede cade nella stessa trappola. Ho scritto un pezzo su come si scelgono i migliori agenti di intelligenza artificiale e uno sul confronto fra Claude e ChatGPT: in entrambi i casi la parte utile non è la lista delle differenze, è il criterio con cui decidere quale differenza conta per te.
Il prezzo per token non è confrontabile fra due modelli
Il prezzo per token non è un'unità di misura comune, perché il token non è la stessa cosa in due modelli diversi. La pagina dei prezzi della piattaforma Claude, consultata il 5 settembre 2026, avverte che i modelli da Claude 4.7 in avanti usano un tokenizzatore nuovo che produce circa il 30% di token in più a parità di testo, mentre Claude Sonnet 4.6 e i precedenti usano quello vecchio.
| Modello | Input per milione di token | Output per milione di token |
|---|---|---|
| Claude Opus 5 | 5 dollari | 25 dollari |
| Claude Sonnet 5 | 2 dollari | 10 dollari |
| Claude Haiku 4.5 | 1 dollaro | 5 dollari |
Due modelli con lo stesso listino possono quindi costare in modo diverso sullo stesso identico testo, e il confronto fatto sul prezzo di listino sbaglia direzione senza che nessuno se ne accorga. L'unico numero che si può confrontare è quanto è costato il compito finito, differenze di tokenizzatore comprese. Su come si abbassa quel numero una volta scelto lo strumento ho scritto una guida dedicata a ridurre i token di un agente di coding.
Come si confrontano due strumenti AI in un pomeriggio
Due strumenti AI si confrontano dando a entrambi lo stesso compito che hai già fatto a mano almeno una volta, perché è l'unico caso in cui sai riconoscere il risultato giusto senza doverne discutere. Il metodo sta in quattro passaggi e in un pomeriggio si chiude.
- Scegli un compito che hai già completato a mano e di cui conservi il risultato. Serve un metro, e il metro è quello.
- Prepara un solo input, identico per i due strumenti: gli stessi file, la stessa richiesta scritta, gli stessi vincoli.
- Fai girare tutti e due nella stessa giornata, senza aiutare quello che ti sta più simpatico con un suggerimento in più.
- Segna i tre numeri prima di formarti un'opinione, perché l'opinione arriva comunque e arriva sbagliata.
Il passaggio che salta quasi sempre è la scelta di un compito già fatto a mano. Chi prova uno strumento nuovo tende a dargli un compito nuovo, ed è la scelta peggiore possibile: senza un risultato di riferimento non stai misurando lo strumento, stai guardando se ti piace come parla.
I tre numeri da segnare
I tre numeri da segnare sono il tempo, il costo e le correzioni, e vanno scritti in questa forma.
| Numero | Come si misura | Cosa ti dice |
|---|---|---|
| Tempo | dal primo comando al momento in cui accetteresti il risultato | quanto ti fa risparmiare oggi |
| Costo del compito finito | la spesa totale della prova, non il prezzo di listino | se regge quando il volume cresce |
| Correzioni | quante volte sei dovuto intervenire per rimettere in strada lo strumento | quanto costerà al terzo mese |
Il numero delle correzioni è quello che le prove informali non registrano mai ed è l'unico che prevede il futuro. Uno strumento che arriva al risultato giusto con sei correzioni tue è uno strumento che, il giorno in cui gira senza di te, si ferma sei volte. Se stai valutando di farlo girare da solo, i controlli da mettere prima li ho raccolti nel pezzo su far girare Claude Code in automatico.
Cosa ho misurato sul repository di questo sito
Sul repository di questo sito la cosa che ho misurato non è stata quale strumento scrivesse meglio, ma quanto costasse correggerlo quando sbagliava. È una misura meno nobile e molto più utile.
La parte che riguarda le parole chiave è ferma dentro data/seo/: sono file di misurazioni con una data sopra, il 1 agosto 2026, che si leggono e non si rilanciano a ogni articolo. La scelta di congelarli è nata proprio da un confronto: una misura ripetuta ogni giorno costa e cambia poco, una misura ferma costa una volta e si può controllare. Nello stesso repository, sotto .claude/skills/articolo/, stanno i controlli che ogni articolo deve passare prima di essere considerato finito, ed è lì che finisce la maggior parte del valore.
L'automazione che scrive le bozze è stata scelta con lo stesso criterio: il file automazione-blog/README.md descrive un agente cloud che non entra mai nella macchina dove stanno i dati e chiama un solo endpoint HTTP protetto da token, con la bozza che nasce con published: false dentro una Pull Request. Non è stato scelto perché produce testo migliore. È stato scelto perché un errore costa una revisione buttata, e questo è un numero che si può guardare in faccia.
Quando il confronto non serve
Il confronto fra due strumenti non serve quando il processo che vuoi automatizzare non è ancora scritto da nessuna parte. In quel caso qualsiasi prova misura una cosa che cambia mentre la misuri, e la conclusione vale finché non ti viene in mente il primo caso particolare. Prima si scrive il processo in dieci righe, con gli input, gli output e chi approva, e solo dopo si accendono due strumenti.
Il confronto non serve nemmeno quando la scelta è fra due famiglie diverse di prodotti, come un agente di coding e una piattaforma a nodi: lì non c'è un vincitore, c'è un compito che sta di casa da una parte sola. È la situazione che ho descritto confrontando n8n e Make, dove la domanda giusta non era quale fosse il migliore ma dove vivesse già il processo. Se il dubbio è a monte, cioè capire quale pezzo del lavoro convenga dare in mano a un agente, la pagina sugli agenti AI su misura racconta come affronto la cosa con i clienti.
Uno strumento scelto misurando tre numeri su un compito vero continua a essere la scelta giusta anche sei mesi dopo, quando il modello sotto è cambiato due volte. Uno strumento scelto leggendo una tabella dura esattamente fino al primo lunedì in cui serve davvero.
Domande frequenti
Quanto deve durare la prova di uno strumento AI prima di decidere?
Il tempo necessario a far girare lo stesso compito almeno tre volte, in giorni diversi. Una singola esecuzione non distingue lo strumento bravo dallo strumento fortunato, perché i modelli generativi danno risposte diverse allo stesso input. Tre esecuzioni bastano a vedere se la qualità è stabile o se oscilla, e l'oscillazione conta più della media quando lo strumento deve girare senza qualcuno che guarda.
I benchmark pubblici servono a qualcosa quando si sceglie uno strumento?
Servono a escludere, non a scegliere. Un modello che va male su un benchmark di ragionamento probabilmente andrà male anche da te, quindi il benchmark è utile per accorciare la lista dei candidati. Non è utile per decidere fra i primi due o tre, perché il compito su cui sono stati misurati non è il tuo e la classifica cambia a ogni rilascio.
Ogni quanto va rifatto un confronto fra strumenti di intelligenza artificiale?
Quando cambia il compito, non quando esce un modello nuovo. I rilasci arrivano ogni poche settimane e rincorrerli significa rifare la stessa prova all'infinito senza mai portare niente in produzione. La cosa che invece obbliga davvero a rimisurare è un cambio nel processo: un volume diverso, un dato nuovo da toccare, un vincolo contrattuale che prima non c'era.
Che differenza c'è fra confrontare due strumenti e confrontare due modelli?
Il modello è il motore, lo strumento è la macchina che ci sta intorno. Due strumenti possono usare lo stesso identico modello e comportarsi in modo molto diverso, perché cambiano il contesto che gli passano, gli strumenti che gli danno in mano e i limiti che gli impongono. Confrontare i modelli ha senso in un laboratorio, confrontare gli strumenti ha senso quando devi consegnare qualcosa.
Conviene provare due strumenti insieme o uno alla volta?
Insieme, sullo stesso compito e nella stessa giornata. Provarli a distanza di settimane introduce una variabile che rovina il confronto, cioè il fatto che nel frattempo sei diventato più bravo a formulare le richieste. Chi prova il secondo strumento un mese dopo il primo quasi sempre conclude che il secondo è migliore, e spesso sta misurando se stesso.