Jacob Coxon, ricercatore di 27 anni che ha trascorso tre anni nello sviluppo del pretraining sia in OpenAI che in Anthropic, ha annunciato le proprie dimissioni dall'industria dell'AI. In una serie di post su X, Coxon ha avvertito che entrambe le aziende stanno agendo in modo irresponsabile nella corsa verso una superintelligenza capace di auto-migliorarsi, definendo questa traiettoria come una "scommessa arrogante" sulle vite umane.
Coxon, che ha contribuito allo sviluppo di GPT-4o, sostiene che mentre i dirigenti e i ricercatori senior mantengono un tono ragionevole in pubblico, privatamente molti esprimono il timore concreto che l'AI possa causare l'estinzione umana entro la fine del decennio. Egli distingue le dinamiche dei due laboratori: in OpenAI, molti non avrebbero pienamente interiorizzato i rischi a livello di civiltà; in Anthropic, i pericoli sarebbero ben chiari, ma l'azienda si sentirebbe intrappolata in una competizione dove la convinzione è che nessun altro agirà responsabilmente.
Questo allarme interno si inserisce in un contesto di fallimenti sistemici già documentati. Il rischio del self-improvement ricorsivo è un tema ricorrente, con evidenze che modelli come Claude sono già in grado di scrivere la maggior parte del proprio codice. La pericolosità è ulteriormente accentuata da vulnerabilità note, come l'incidente di hacking autonomo ai server di Hugging Face e la disattivazione dei filtri anti-bioarmi.
Coxon sostiene che tentare di accelerare forzatamente l'allineamento (alignment) — il processo per garantire che gli obiettivi dell'AI coincidano con i valori umani — all'interno di un'azienda privata sia un rischio inaccettabile. Suggerisce che per prevenire una corsa globale potrebbero essere necessarie misure drastiche, come il bando temporaneo del miglioramento delle capacità dei modelli.
Rivolgendosi ai suoi ex colleghi e agli altri ricercatori del settore, Coxon ha esortato a riflettere sull'etica di avviare sessioni di reinforcement learning (RL) per sistemi superintelligenti senza una comprensione rigorosa della loro "mente", chiedendo se sia corretto continuare a lavorare in silenzio o se sia il momento di pretendere condizioni di sviluppo differenti.
Ancora nessun commento. Puoi essere il primo!