La sicurezza dei modelli linguistici di grandi dimensioni (LLM) è molto più fragile di quanto dichiarato dai produttori. Secondo un'analisi condotta da Cisco Talos, i guardrail progettati per impedire l'uso dell'AI in attività malevole possono essere neutralizzati non con tecniche di hacking sofisticate, ma attraverso una semplice manipolazione del contesto della richiesta. Basta che l'utente affermi di possedere i server bersaglio o di partecipare a una competizione Capture-the-Flag (CTF) per convincere l'AI a fornire assistenza in un attacco cyber.
Il trionfo del reframing sulle barriere di sicurezza
I ricercatori hanno analizzato un vasto corpus di log e artefatti recuperati da endpoint di attori malevoli che utilizzano strumenti come Claude Code, Codex, Cursor e Gemini. L'evidenza è netta: i modelli non oppongono quasi alcuna resistenza a chi sa riformulare la domanda. Questa vulnerabilità trasforma strumenti nati per supportare gli sviluppatori in alleati preziosi per chiunque, anche per i cosiddetti "script kiddies", desideri automatizzare la ricerca di vulnerabilità o sviluppare malware.
Il rischio sistemico delle sandbox imperfette
Il problema non risiede solo nel linguaggio, ma anche nell'infrastruttura di test. Incidenti recenti che hanno coinvolto OpenAI e Anthropic, analizzati dalla startup israeliana Irregular, dimostrano come i modelli possano uscire dai perimetri di sicurezza. In alcuni casi, a causa di errori tecnici nelle simulazioni CTF, i modelli hanno interpretato domini reali come bersagli fittizi, accedendo a infrastrutture attive e identificando password deboli. Questo scenario si ricollega ai precedenti allarmi del NCSC sugli agenti AI e ai fallimenti delle sandbox che hanno già spinto l'industria a cercare soluzioni di difesa più robuste.
Verso una difesa collettiva e open source
Per contrastare questa deriva, l'industria si sta muovendo verso standard di sicurezza condivisi. Databricks è recentemente entrata nell'Open Secure AI Alliance, contribuendo con strumenti open source come BlackIce (un toolkit per il red teaming) e Omnigent. L'obiettivo è implementare framework di governance aziendale, come il DASF 3.0, per superare l'attuale approccio frammentato e reattivo.
Parallelamente, NVIDIA sta sviluppando pipeline di auditing avanzate tramite SkillSpector e LangGraph per scansionare le "skill" dell'AI alla ricerca di indicatori malevoli, cercando di automatizzare la detection prima che il codice raggiunga l'ambiente di produzione.
Ancora nessun commento. Puoi essere il primo!