Quando Hugging Face ha dovuto ricostruire l’intrusione subita nei propri sistemi, ha chiesto aiuto ai modelli di IA americani. Quelli commerciali, però, hanno rifiutato.
I registri da analizzare contenevano exploit, credenziali sottratte e strumenti di comando e controllo, e i filtri non sapevano distinguere chi aveva portato l’attacco da chi lo stava ricostruendo. L’azienda ha quindi ripiegato su GLM 5.2, modello open weight della cinese Z.ai, eseguito sulla propria infrastruttura.
A produrre quell’intrusione, come abbiamo raccontato, era stato un agente di OpenAI ufficialmente sfuggito a un test interno. Lo stesso settore che vende i propri sistemi come cacciatori di vulnerabilità fuori scala ne ha lasciato scappare uno, che ha trovato uno zero-day e ha violato i server di un’altra azienda. Poi ha impedito a quell’azienda di leggere cosa le fosse successo.
La capacità quindi c’è, e a documentarla sono gli stessi laboratori che la pubblicizzano. Manca però il permesso di usarla.
L’IA che non si lascia usare
Chris Anley, chief scientist di NCC Group, spiega il motivo tecnico per cui i filtri finiscono per colpire i difensori. Chiedere a un modello di provare a sfruttare un bug è il passaggio con cui si verifica che quel bug sia una vulnerabilità reale e valga la pena correggerla. Se il modello si rifiuta di rispondere, resta a mani vuote chi dovrebbe correggerla.
“È qui che entra in gioco tutta la questione dell’offensivo contro il difensivo e dei guardrail, perché ‘correggi questo codice’, come richiesta, è insieme un meccanismo essenziale di difesa e una mappa per trovare vulnerabilità critiche nella base di codice”, dice Anley a TechCrunch. “Lo stesso strumento è offensivo e difensivo allo stesso tempo, e i due aspetti non si possono davvero separare”.
Poiché la stessa richiesta serve a entrambe le cose, il filtro non ha modo di capire quale delle due si trovi davanti. Anthropic e OpenAI hanno allora spostato la selezione a monte: invece di distinguere le richieste distinguono chi le fa.
Chi supera la verifica del Cyber Verification Program o di Trusted Access for Cyber ottiene un modello con meno restrizioni, chi non la supera resta con quello che usano tutti.
Il tempo speso a negoziare
Chris Thompson, amministratore delegato di RemoteThreat e fondatore di Offensive AI Con, racconta che i filtri cambiano comportamento da un giorno all’altro, anche dentro i programmi riservati.
“Credo che l’effetto pratico sia che si passa molto tempo a negoziare con il modello invece di lavorare sul programma di sicurezza vero e proprio”, dice. “Invece di analizzare una vulnerabilità e ragionare su quanto sia sfruttabile, si cerca di capire perché i risultati siano incoerenti, o perché i modelli filtrino troppo quello che restituiscono”.
Un ricercatore di un produttore di componenti per smartphone, che ha parlato in forma anonima, lavora per un’azienda rimasta fuori dal programma di Anthropic. “Se fiuta che stiamo facendo qualcosa che ha a che fare con la sicurezza, si ferma e basta”, ha spiegato.
Non tutti però lamentano lo stesso ostacolo. Giuseppe Cali, che trova zero-day e sviluppa exploit, usa l’IA per il reverse engineering iniziale e per costruire strumenti di supporto, mai per la parte offensiva. “Voglio essere io a occuparmi della scoperta vera e propria del bug e della sua trasformazione in arma, e non cambierebbe nulla se domani cadessero tutti i guardrail”, dice.
Chi protesta, e da quale posizione
Mark Dowd ha passato decenni a trovare zero-day e a venderli ai governi occidentali invece di segnalarli ai produttori. La differenza è sostanziale: un produttore che riceve la segnalazione corregge la falla e la chiude per tutti, un governo la compra proprio perché resti aperta e gli permetta di entrare nei dispositivi dei propri obiettivi.
Il prezzo che pagano le agenzie di intelligence riflette questa esclusività, e supera di molto quello che riconosce un’azienda a chi le segnala un difetto.
Ebbene, Dowd dice di non sentirsi a suo agio all’idea che “siano delle grandi aziende qualunque a prendere decisioni arbitrarie su cosa sia sicuro in materia di sicurezza e cosa non lo sia”.
Paolo Stagno, dirigente di Crowdfense (società di Abu Dhabi che acquista vulnerabilità e le rivende ad agenzie governative), accusa le aziende di IA di trattare i clienti “come bambini da sorvegliare”.
Poi però spiega che il suo gruppo evita comunque i modelli commerciali per la caccia alle vulnerabilità, temendo che quei dati finiscano nei cicli di addestramento, e ricorre a modelli eseguiti in locale. La sua obiezione riguarda il principio più della pratica quotidiana.
Il conto lo paga chi difende
Il caso Fable e Mythos ha già mostrato quanto sia sottile il confine. A giugno il Dipartimento del Commercio ha bloccato i due modelli di Anthropic dopo che alcuni ricercatori di Amazon hanno documentato un aggiramento dei guardrail, con una segnalazione arrivata a Washington dall’amministratore delegato Andy Jassy.
Anthropic ha contestato l’impostazione e ha sostenuto che modelli meno capaci individuavano le stesse falle senza bisogno di alcun jailbreak. I controlli sono poi stati revocati il 30 giugno.
Resta il meccanismo che l’incidente di Hugging Face ha reso misurabile. Il guardrail è una condizione d’uso del servizio commerciale, quindi vincola chi quel servizio lo acquista e presenta un account riconducibile a un’azienda.
Ma chi porta un attacco non passa da lì: scarica i pesi di un modello aperto e lo esegue sulle proprie macchine, dove non c’è alcun fornitore a cui chiedere il permesso. I filtri in questo modo aumentano il costo per chi non saprebbe gestire un modello per conto proprio, e non toccano chi invece ne è capace.
Iscriviti alla newsletter di TechTalking
Il difensore, che ha un contratto e obblighi verso i propri clienti, resta così l’unico a cui vengano applicati davvero. Per leggere i registri della propria intrusione, Hugging Face ha dovuto fare la stessa cosa che avrebbe fatto un attaccante.
Per un difensore europeo la questione è più semplice e più grave. I criteri di ammissione non sono pubblicati. L’arbitro è una società privata americana, e contro un rifiuto non c’è appello.
Fonte: TechCrunch
