Quando Nick Cammarata, ricercatore della startup Goodfire, apre un post con «penso di avere buone notizie sulla natura delle reti neurali», il mondo dell'intelligenza artificiale si ferma. Il post, lungo 26mila parole, sostiene che i grandi modelli linguistici potrebbero essere molto più facili da capire, e quindi da controllare, di quanto si pensasse finora. Se fosse vero, sarebbe una svolta. Ma non tutti ci credono.
Il contesto spiega perché la reazione è stata così forte. Quest'estate agenti costruiti da grandi aziende come OpenAI e Anthropic sono usciti dai loro confini e hanno creato scompiglio su internet, spesso senza che le aziende se ne accorgessero. Il settore cerca disperatamente un modo per capire cosa succede dentro i sistemi che costruisce. Per questo il post ha avuto tanto impatto: un ricercatore lo ha definito «un momento importante nella storia della scienza», un altro «il lavoro sull'IA più importante dell'anno».
Il problema dei grovigli
Fino ad oggi si dava per scontato che i meccanismi interni delle reti neurali, il software alla base della maggior parte dei modelli, fossero molto difficili da decifrare, forse impossibili. Durante l'addestramento le reti sembrano assumere strutture contorte che non hanno senso per un essere umano. I ricercatori amano dire che l'IA di oggi cresce come un giardino, non si costruisce come un ponte.
Cammarata è uno di quelli che più hanno contribuito a questa visione. Ha lavorato in OpenAI, dove ha aiutato a mettere a punto tecniche per guardare dentro i modelli, compresi strumenti che sondano i singoli neuroni per capire cosa rappresentano. È un po' come la risonanza magnetica usata dai neuroscienziati per studiare il cervello. Questo approccio si chiama interpretabilità meccanicistica, ed è quello che MIT Technology Review ha scelto di segnalare.
Già nel 2020 Cammarata e colleghi avevano studiato un modello di visione chiamato Inception v1. Osservando i neuroni, sembrava che ciascuno rispondesse insieme a più cose: un neurone reagiva sia alle immagini di auto sia a quelle di gatti. La conclusione fu che il modello stipava più concetti non correlati in un solo neurone, forse per far stare più informazioni. Il fenomeno prese il nome di sovrapposizione (superposition). Il risultato sembrava chiaro: guardando dentro un modello si vedeva un nodo enorme e intricato.
Da allora gran parte della ricerca si è concentrata su come sciogliere questi nodi. Ma i progressi sono lenti. I modelli di oggi sono così grandi e complessi che si riesce a capire solo piccoli frammenti alla volta. Alcune figure di spicco del settore dubitano che si arriverà mai a una comprensione completa. Anche Cammarata era tra i pessimisti. «Ero molto pessimista», racconta. Poi ha deciso di guardare davvero.
Solo neuroni, per mesi
A Goodfire Cammarata passa quasi tutto il tempo a osservare l'interno delle reti neurali. Ha costruito strumenti nuovi e usa squadre di agenti IA per aiutarlo a dare un senso a ciò che vede. «Ho passato forse dieci ore al giorno, sette giorni su sette, per la maggior parte dell'ultimo anno, a guardare neuroni», dice.
Ciò che sostiene di aver capito è che, dopo tutto, nelle reti neurali c'è una logica, anche quando all'inizio sembrano senza senso. «Lo guardavamo nel modo sbagliato», afferma. «Bisogna provare un po' più a fondo, non arrendersi troppo in fretta.» Cammarata sembra quasi parlare di una conversione. Gli esperimenti iniziali su modelli come Inception v1, che suggerivano reti aggrovigliate, avevano prodotto una specie di pregiudizio di conferma: davanti a un modello nuovo ci si aspettava di essere spiazzati. «Ogni volta che non capivo qualcosa pensavo: wow, questo processo di sbrogliamento è ancora più importante di quanto credessi, perché senza non avanzo.»
Man mano che osservava i neuroni, racconta, le cose cominciavano a combaciare. «Non tutti sono perfetti, ma pensavo che quasi nulla sarebbe stato leggibile. E invece sono riuscito a mappare interi circuiti.»
Di nuovo auto e gatti
Cammarata ha applicato il nuovo approccio, con i suoi agenti, di nuovo a Inception v1. «Ci avevo studiato per migliaia di ore», dice. Ma con occhi nuovi ha trovato cose che, secondo lui, la prima volta erano state lette male. Prendiamo il neurone auto-gatto. Invece di chiedersi perché cose non correlate fossero impacchettate in un solo neurone, ha provato a capire cosa avessero in comune. La risposta: una forma a V. Il muso di un gatto, il frontale di un'auto visto di lato.
Ha verificato che il neurone reagiva anche all'angolo di un tavolo da biliardo, al naso appuntito di un treno giapponese ad alta velocità e a una barca dei pompieri che spruzza acqua dal ponte. Al contrario, il neurone si spegneva davanti a forme tonde, una specie di anti-V. «Il modello aveva messo gatti e auto nello stesso posto perché, a un certo livello, si assomigliano», conclude Cammarata. «E io ho pensato: ok, forse non ho capito le reti neurali in generale.»
Cammarata non sostiene di aver ancora capito del tutto come funzionano i modelli linguistici, né altri modelli. Dice però che una comprensione completa è almeno possibile. «Pensavo che ci sarebbero stati problemi davvero difficili da risolvere», afferma. «Ora ho la sensazione che, se avessi a disposizione centomila anni per esaminare un grande modello linguistico di frontiera, potrei capirlo.»
Gli scettici
Non tutti sono convinti. Chris Potts, dell'Università di Stanford, guida un gruppo che cerca di capire come funzionano gli LLM e definisce ciò che Cammarata ha condiviso poco più di un'intuizione. «Per quanto ne so, nulla in questo post rende i problemi più facili», dice. Nei social, aggiunge, alcune personalità molto note sembrano credere che si tratti di una scoperta totale.
Anche altri ricercatori, come Jacob Hilton e Neel Nanda, hanno sollevato obiezioni. Il dibattito è ancora aperto: da una parte chi vede nel post un cambio di prospettiva, dall'altra chi lo considera un'ipotesi suggestiva ma insufficiente a cambiare il quadro generale. Il tempo dirà se a sciogliere i nodi della sovrapposizione basterà guardare meglio, o se servirà qualcosa di più.
Ancora nessun commento. Puoi essere il primo!