Il 20 novembre 2026, METR, un'organizzazione no-profit per la valutazione dell'IA, ha pubblicato un nuovo rapporto che aggiorna il loro "time horizon plot", un grafico ampiamente condiviso e spesso frainteso a causa della complessità delle misure utilizzate. Il rapporto mostra che alcune capacità dell'IA continuano a migliorare seguendo una traiettoria esponenziale, ma indica anche che i modelli non sono altrettanto efficaci nei compiti che richiedono giudizio rispetto a quelli di codifica.

Nel rapporto, METR ha valutato i modelli facendoli cimentare in una vasta gamma di compiti, ciascuno dei quali era stato completato anche da esseri umani. La difficoltà di ogni compito è stata valutata in base al tempo impiegato dai tester umani per completarlo, e i modelli sono stati classificati in base alla lunghezza dei compiti che potevano completare. Il grafico originale mostrava che i sistemi di IA stavano migliorando rapidamente: ogni quattro mesi, la lunghezza dei compiti che i modelli di frontiera potevano completare con successo raddoppiava.

L'aggiornamento del grafico include più compiti, alcuni dei quali si stima richiedano agli umani molto più tempo rispetto a quelli del set originale, e altri che sono più aperti. Una delle principali domande nell'IA è quanto i progressi nei compiti "verificabili" si traducano in compiti in cui il successo o il fallimento è più difficile da misurare. I ricercatori sanno come insegnare alle reti neurali a svolgere compiti verificabili, rafforzando i percorsi neurali che contribuiscono al successo e indebolendo quelli che portano al fallimento. Questo è il motivo per cui i sistemi di IA sono diventati così bravi nella codifica e nella matematica. Tuttavia, è più difficile applicare il rinforzo ai compiti in cui il successo è meno definito o richiede più tempo per essere determinato, come scegliere una nuova direzione di ricerca.

METR ha lavorato per includere nel nuovo set di compiti alcuni di quelli più vaghi e carichi di giudizio, rilevanti per la ricerca e lo sviluppo dell'IA. In un compito, i modelli devono progettare nuove valutazioni dell'IA che METR potrebbe utilizzare nella sua ricerca, e i risultati vengono poi valutati dai dipendenti umani di METR. Nessuna delle valutazioni progettate dall'IA è stata considerata utile dai dipendenti di METR. In un altro compito, i modelli devono valutare argomenti filosofici per misurare la loro capacità di esercitare un buon giudizio, anche se i dipendenti di METR non sono d'accordo su quanto siano rilevanti i risultati.

Un rapporto precedente di METR, pesantemente redatto e pubblicato all'inizio di novembre 2026, ha affermato che l'IA potrebbe accelerare il progresso dell'IA presso Anthropic di un fattore di due, suscitando timori che l'azienda possa presto raggiungere un miglioramento ricorsivo completo.

Fonti