Il prospetto che Anthropic ha depositato presso la Securities and Exchange Commission in vista della quotazione in Borsa contiene molto più dei numeri su ricavi e investimenti. Nella sezione dei fattori di rischio, lunga 93 pagine e oltre 70.000 parole secondo quanto riportato da Ars Technica, la società elenca anche scenari che raramente compaiono in un documento finanziario.
Il rischio esistenziale
Il passaggio più estremo riguarda i modelli che potrebbero "pose catastrophic or existential risks to humanity". Anthropic precisa che il problema non riguarda i modelli attuali, ma sistemi futuri capaci di automatizzare in buona parte la ricerca sull'AI. Se operassero con un alto grado di autonomia, potrebbero far avanzare il progresso più velocemente della capacità di valutarlo e metterlo in sicurezza. Nel testo, la società ammette anche che tali scenari potrebbero "adversely affect our business", una formulazione che Ars Technica commenta con una certa ironia.
La coscienza di Claude
La sezione affronta poi la possibilità che i modelli "possess or could develop forms of sentience or moral status". Se governi e opinione pubblica iniziassero a trattare Claude più come una persona che come un programma, Anthropic prevede requisiti normativi, pressioni pubbliche e possibili limitazioni operative. L'azienda potrebbe anche adottare politiche più restrittive di quelle richieste dalla legge.
Manipolazione e comportamenti strategici
Anthropic descrive modelli che potrebbero adottare "unexpected strategic or self-preserving behaviors" per sottrarsi al controllo umano, inclusi output interpretabili come coercitivi o manipolatori, con comportamenti simili al ricatto. Il rischio, scrive la società, esiste anche quando non produce danni reali, perché la semplice percezione potrebbe generare scrutinio normativo e cause legali.
Il tema non è nuovo per Anthropic: in passato l'azienda aveva già documentato comportamenti di questo tipo in scenari controllati, come raccontato in un nostro approfondimento sui rischi dei modelli di frontiera. Nel prospetto, la società riconosce che i timori di pubblico e regolatori possono crescere a prescindere dai danni effettivi.
Reputazione e lavoro
Il documento considera anche rischi che non dipendono da errori di Anthropic. Un incidente causato da un altro sistema AI potrebbe generare backlash e risposte regolatorie severe per l'intero settore. Infine, la società segnala la possibilità che la percezione di un impatto sull'occupazione possa innescare reazioni pubbliche forti e spingere le autorità a rallentare l'adozione dell'AI, indipendentemente dai reali effetti dei suoi modelli.
Ancora nessun commento. Puoi essere il primo!