L'intelligenza artificiale è spesso misurata attraverso benchmark, ma secondo lo scienziato informatico Moritz Hardt, questa pratica ha creato più problemi che benefici. In un'intervista su Quanta Magazine, Hardt sostiene che i benchmark nell'AI, spesso considerati come "standardized tests", hanno trascinato il campo in un decennio di stagnazione e hanno contribuito a una crisi di replicabilità. Il libro di Hardt, "The Emerging Science of Machine Learning Benchmarks", esplora come i benchmark abbiano guidato progressi legittimi "per pura fortuna" e come abbiano perso credibilità nell'era dei modelli di linguaggio, lasciando in sospeso la possibilità di un recupero.
Questa è una sintesi. L'articolo completo, dal titolo "What Broke AI Benchmarks?", è stato scritto da John Pavlus e pubblicato su Quanta Magazine il 16 ottobre 2026.
What Broke AI Benchmarks?
Di John Pavlus
Come si fa a sapere quando un sistema di intelligenza artificiale è veramente intelligente? “Gli si dà un test standardizzato,” potrebbero rispondere la maggior parte delle persone. Ma questa idea è “l'errore che ha creato il machine learning,” secondo Moritz Hardt, scienziato informatico e direttore presso il Max Planck Institute for Intelligent Systems, e autore di The Emerging Science of Machine Learning Benchmarks.
Hardt sostiene che la pratica del benchmarking — l'uso di test standardizzati per valutare i sistemi di AI — ha portato il campo fuori strada per oltre un decennio, contribuendo a una crisi di replicabilità. Tuttavia, riconosce che i benchmark hanno anche guidato progressi legittimi “per pura fortuna.” Il suo lavoro tenta di riconciliare questa contraddizione comprendendo come i benchmark siano stati screditati nell'era dei grandi modelli di linguaggio, e se possano recuperare la loro credibilità.
La storia dei benchmark dell'AI è segnata da due eventi cruciali. Nel 1987, un benchmark della Defense Advanced Research Projects Agency per la traduzione automatica del parlato in testo rivelò che i sistemi di AI dell'epoca performavano peggio di semplici approcci statistici, portando a un “inverno dell'AI” di 25 anni. Poi, nel 2012, il benchmark ImageNet, che richiedeva di identificare oggetti nelle fotografie, fu “spazzato via” da un algoritmo a otto strati, innescando la “rivoluzione del deep learning” che continua ancora oggi.
Tuttavia, Hardt vede i recenti benchmark, specialmente quelli per i modelli di linguaggio come GPT-6 Astra, come segni di un sistema rotto. “Non ci sono due modi di vederla. L'ecosistema dei benchmark è rotto,” afferma.