Mentre l'Unione Europea e il Regno Unito accelerano verso un divieto legale delle applicazioni di "nudification", l'infrastruttura che alimenta questi strumenti rimane ampiamente accessibile e non moderata. Un'analisi condotta da AI Forensics evidenzia come il focus normativo sulle app consumer ignori l'origine del problema: i modelli di intelligenza artificiale ospitati su Hugging Face.

Psst!Aggiungi AlexTech.ai comeFonte Preferita su Google

Il fallimento della moderazione su Hugging Face

Il report rivela una discrepanza critica tra le policy ufficiali di Hugging Face e l'effettiva applicazione delle stesse. Sebbene la piattaforma vieti formalmente le immagini sessuali non consensuali, i ricercatori hanno scoperto che solo il 3% degli Spaces (gli ambienti cloud della piattaforma) implementa sistemi di moderazione dell'output. Test diretti hanno dimostrato che sette dei nove strumenti più popolari per l'editing di immagini hanno eseguito richieste esplicite di spogliamento digitale senza alcuna resistenza, utilizzando prompt semplici e privi di tentativi di manipolazione.

Una domanda tossica e sistematica

Per misurare l'entità del fenomeno, AI Forensics ha creato uno Space "esca" che non generava immagini ma registrava le richieste degli utenti. In una sola settimana, sono state raccolte oltre mille richieste, di cui quasi il 75% a contenuto sessuale. Di queste, l'83% mirava a spogliare persone in foto caricate, con le donne come target nel 95% dei casi. Dato ancora più allarmante è che quasi il 7% delle richieste sessuali riguardava minori, nonostante lo strumento non fosse pubblicizzato per usi adulti.

L'inefficacia dei ban sulle app consumer

L'attuale strategia regolatoria, che include l'ordine di San Francisco ad Apple e Google di rimuovere 13 app di face-swapping e nudify, colpisce solo l'ultimo anello della catena. Poiché i modelli risiedono in repository open-source, l'eliminazione di un'interfaccia utente (il "wrapper") non rimuove la capacità tecnica sottostante. Questa dinamica rende i ban delle app un intervento superficiale, poiché chiunque può collegarsi ai modelli ospitati su Hugging Face per creare nuovi servizi simili in pochi clic.

Il dilemma dell'infrastruttura open-source

Il dibattito si sposta ora sulla responsabilità dei provider. I difensori dell'open-source sostengono che Hugging Face sia un'infrastruttura neutra, paragonabile a GitHub o ai provider cloud, e che la responsabilità debba ricadere sullo sviluppatore del modello o sull'utente finale. Tuttavia, il report sottolinea che ospitare tali capacità su scala industriale senza applicare le proprie regole di sicurezza crei un varco sistemico che i regolatori faticano a colmare.