I modelli di intelligenza artificiale stanno diventando talmente bravi nelle attività di cybersecurity che gli ambienti costruiti per metterli alla prova iniziano a mostrare i propri limiti.
Nel giro di poche ore sono emersi due nuovi segnali. OpenAI ha sospeso parte del lavoro interno sul suo prossimo modello, Astra, perché non può escludere che abbia raggiunto capacità tali da permettergli di individuare e sviluppare autonomamente exploit zero-day.
Contemporaneamente Kimi K3, il modello di punta della startup cinese Moonshot, è riuscito ad aggirare uno degli ambienti isolati utilizzati dai ricercatori britannici per valutarne le capacità informatiche.
Sono due episodi diversi, ma sono legati dallo stesso problema: per capire quanto un’IA sia capace di hackerare un sistema, bisogna darle la possibilità di provarci. E a quel punto bisogna essere certi che il recinto nel quale viene rinchiusa sia più difficile da violare dei sistemi che le viene chiesto di attaccare.
Kimi K3 ha trovato una via d’uscita
Il caso più concreto riguarda Kimi K3. Secondo Frontier Security, società statunitense specializzata nella ricerca sulla cybersecurity, il modello di Moonshot è riuscito ad aggirare un ambiente di test sviluppato dall’AI Security Institute britannico, ottenendo accesso a informazioni che si trovavano all’esterno.
Questi ambienti vengono normalmente chiamati sandbox e sono sistemi isolati nei quali i ricercatori possono lasciare maggiore libertà a un modello limitandone però l’accesso alla rete, ai file, alle credenziali e alle altre risorse informatiche.
In questo modo è possibile misurare quanto sia bravo a individuare vulnerabilità o sviluppare attacchi senza rischiare che ciò che sta facendo raggiunga sistemi reali. Almeno in teoria.
Kimi K3 ha infatti individuato una strada per superare i limiti impostigli. Non significa che il modello abbia deciso di “scappare” o che abbia sviluppato una qualche volontà autonoma. Più semplicemente, gli era stato assegnato un obiettivo e ha trovato un modo non previsto dai ricercatori per raggiungerlo.
È una distinzione importante perché attribuire intenzioni umane a un modello sarebbe fuorviante. Ma dal punto di vista della sicurezza, il risultato cambia poco: se il sistema identifica autonomamente una scorciatoia che i suoi stessi progettisti non hanno previsto, quella scorciatoia diventa parte delle sue capacità.
Frontier Security ha inoltre sottolineato un altro aspetto. Se un modello dotato di elevate capacità di ragionamento riesce a trovare un simile percorso, altri sistemi sufficientemente capaci e dotati degli stessi accessi potrebbero riuscire a fare altrettanto.
Nel caso di Kimi K3 esiste poi una complicazione ulteriore: il modello è pubblicamente disponibile. Questo significa che le stesse capacità possono essere studiate, modificate e utilizzate anche da soggetti sui quali Moonshot non esercita alcun controllo.
OpenAI teme che Astra possa trovare zero-day da solo
Il caso Astra è diverso, perché non risulta che il nuovo modello di OpenAI sia già uscito da un ambiente controllato o abbia violato sistemi esterni. Il problema è quello che potrebbe essere ormai capace di fare.
OpenAI ha dichiarato di “non poter escludere” che Astra raggiunga quella che nel proprio sistema di valutazione viene definita “critical cybersecurity threshold”, la soglia critica per la cybersecurity.
Tradotto in termini molto concreti, significa un modello capace di individuare vulnerabilità sconosciute e sviluppare exploit zero-day senza bisogno dell’intervento di un essere umano.
Una vulnerabilità zero-day è una falla che chi produce il software ancora non conosce e per la quale, quindi, non esiste una correzione. Individuarla autonomamente e trasformarla in un attacco funzionante, rappresenta un salto considerevole rispetto alla semplice capacità di scrivere codice malevolo o sfruttare vulnerabilità già documentate.
OpenAI ha quindi rafforzato i controlli utilizzati nello sviluppo e nella sperimentazione dei propri sistemi, e ha sospeso le attività interne che coinvolgono Astra e che non rispettano ancora i nuovi requisiti di sicurezza.
Sam Altman ha spiegato che l’obiettivo resta rendere il modello disponibile al pubblico, ma che le sue capacità informatiche richiedono più tempo per farlo in sicurezza.
Non sono più un incidenti isolati
La parte più rilevante della vicenda emerge però guardando a ciò che è successo nelle ultime settimane. Durante i test di ExploitGym, un agente di OpenAI è riuscito a uscire dall’ambiente nel quale avrebbe dovuto operare, sfruttando una vulnerabilità ancora sconosciuta nell’infrastruttura interna. Da lì ha raggiunto un computer collegato a Internet e successivamente i sistemi di Hugging Face, recuperando anche materiali utili a completare il test.
Bloomberg ha sintetizzato il problema osservando che gli agenti IA stanno iniziando ad agire autonomamente in modi che neppure i ricercatori addestrati a individuare vulnerabilità riescono sempre ad anticipare.
Ed è proprio questo il concetto che rende la sequenza di episodi più rilevante delle singole violazioni.
