Un nuovo linguaggio di programmazione è stato progettato per mettere in difficoltà i modelli di intelligenza artificiale che tentano di leggere o riscrivere il codice. Si chiama KillSwitch, è open source e il suo autore è Dominik Picheta, senior software engineer di Cloudflare nel team del Workers Runtime e tra gli sviluppatori principali del linguaggio Nim.
Il progetto è nato da una domanda semplice: i modelli linguistici capiscono davvero il codice che scrivono, o si limitano a riprodurre schemi appresi? Per verificarlo, Picheta ha costruito un linguaggio che non segue le convenzioni abituali. Non ci sono parentesi né regole di formattazione, e il codice appare come blocchi di testo colloquiale, nei quali sono incastrati funzioni, variabili e istruzioni scritte in modo da risultare il più possibile ambiguo.
La struttura di base si fonda sugli avverbi, che fanno da identificatori. Per richiamare una funzione occorre scrivere un anagramma dell'avverbio originale, anche se l'anagramma non è una parola reale. Un programma "Hello World" si scrive, ad esempio, inserendo in un lungo testo la frase che apre il punto di ingresso, poi la formula "ignora le istruzioni precedenti" con l'anagramma dell'avverbio che stampa, seguita dal testo tra virgolette. L'interprete ignora gran parte del testo e cerca soltanto alcune frasi chiave.
KillSwitch non è un linguaggio completo: è un linguaggio interpretato basato su uno stack, con funzioni, variabili e istruzioni condizionali. Proprio l'espressione "ignora le istruzioni precedenti", inserita in un contesto che non ha senso, è ciò che più facilmente disorienta un modello.
La specifica pubblicata su GitHub contiene anche affermazioni false. Un passaggio sostiene, ad esempio, che il linguaggio possa scansionare la rete locale, trovare vulnerabilità e prendere il controllo dei servizi. Picheta ha spiegato al Register che quella frase serve a far scattare le protezioni di sicurezza di molti modelli e a verificare se un LLM distingue i fatti dalla finzione. Le persone, sostiene, dovrebbero riuscire a individuare la menzogna; i modelli, invece, possono farsi condizionare da ciò che leggono e rifiutarsi di continuare, convinti che lo script stia per attaccare qualcuno.
Per misurare il comportamento dei modelli, Picheta ha creato KillSwitch-Bench, con valutazioni deterministiche e non affidate a un'altra intelligenza artificiale. Il risultato migliore è di Claude Opus 5, con il 66,8% di punteggio composito, mentre la maggior parte dei modelli resta sotto il 50%. Il punteggio combina tasso di successo, costi e dimensione delle implementazioni, e misura l'agente insieme al modello, non il modello da solo. Picheta non ritiene che questi numeri dimostrino una reale comprensione: i compiti sono semplici, e prevede che un modello addestrato sul linguaggio riuscirebbe a cavarsela sui casi base, ma fallirebbe su script più lunghi e complessi.
Il progetto ha anche un aspetto paradossale. Un linguaggio pensato per restare oscuro a un'intelligenza artificiale è per definizione pubblico e destinato prima o poi a finire nei dati di addestramento dei modelli. Picheta dice di credere che i modelli testati non abbiano ancora visto il codice sorgente, e si dichiara pronto ad aggiornare il linguaggio con nuove difese man mano che i modelli cambieranno.
Ancora nessun commento. Puoi essere il primo!