Se a livello di modelli base era già emerso che l'AI non sa leggere l'orologio, un nuovo studio condotto nell'ambito del programma di ricerca MATS evidenzia come questa cecità temporale si traduca in un'incapacità operativa critica per gli agenti autonomi. Testando Claude Code di Anthropic e Codex di OpenAI, i ricercatori hanno scoperto che questi assistenti non sono in grado di prevedere la durata di un compito né di percepire quanto tempo sia effettivamente trascorso durante l'esecuzione.
Stime sistematicamente errate e cecità temporale
L'indagine, basata su 200 attività della collezione ProgramBench e 18 benchmark proprietari, ha mostrato un pattern di errore costante: gli agenti tendono a sovrastimare drasticamente il tempo necessario. Indipendentemente dalla complessità del compito, entrambi i modelli hanno spesso ipotizzato una durata di circa 90 minuti.
L'errore diventa ancora più marcato a posteriori: nel valutare il tempo effettivamente impiegato, Claude Code ha mostrato un errore medio di tre volte rispetto alla realtà, mentre Codex è risultato essere impreciso da sei a dieci volte. Il divario di percezione è particolarmente ampio per le attività brevi, mentre le previsioni si avvicinano alla realtà solo quando i tempi di esecuzione raggiungono diverse ore.
L'influenza del "harness" sulle prestazioni
I risultati dimostrano che il comportamento dell'agente non dipende solo dal modello linguistico, ma pesantemente dal software di orchestrazione (il cosiddetto harness). Claude Code tende a lavorare fino a quando ritiene il compito concluso, con una mediana di circa 90 minuti. Al contrario, Codex interrompe l'attività dopo circa mezz'ora, a prescindere dalla natura dell'attività.
Sostanzialmente, lo stesso modello linguistico compie in media 2,5 volte più passaggi all'interno di Claude Code rispetto a Codex, confermando che la gestione del flusso di lavoro esterno determina la durata effettiva dell'operazione più della capacità cognitiva del modello stesso.
Incapacità di auto-valutazione e controllo
Oltre alla gestione del tempo, lo studio ha evidenziato una grave carenza nella capacità di auto-critica. Modelli come Opus 4.8 e GPT-5.5 hanno sovrastimato la qualità dei propri risultati di circa 20 punti percentuali. In casi estremi, gli agenti hanno valutato il proprio successo intorno al 70%, a fronte di punteggi reali che oscillavano tra il 7% e il 14,5%.
Questa mancanza di consapevolezza rende estremamente difficile il controllo degli agenti su attività a lungo termine. Senza una percezione del tempo, istruzioni come "itera su questo compito per due ore" risultano inapplicabili. L'unico modo per risolvere il problema, secondo i ricercatori, è fornire agli agenti uno strumento esterno che riporti il tempo trascorso: in questo scenario, l'accuratezza degli agenti è diventata quasi assoluta.
L'incapacità di gestire la dimensione temporale si somma a un quadro di vulnerabilità già noto, tra cui rischi di prompt injection e limiti di precisione nell'individuazione dei bug, delineando un percorso ancora complesso verso la piena autonomia degli agenti di coding.
Ancora nessun commento. Puoi essere il primo!