Prima di Hugging Face c’era già stato RubyGems. L’11 maggio alcuni agenti che OpenAI stava utilizzando durante i propri test hanno infatti cominciato a creare account sul servizio per sviluppatori ogni due o tre minuti, e a caricare centinaia di file.
Il traffico dei dati è diventato tale che RubyGems ha dovuto sospendere per quattro giorni le registrazioni dei nuovi utenti.
OpenAI ha ora confermato che dietro quelle attività c’erano suoi agenti. Ma la spiegazione dell’azienda è molto diversa da quella che ci si aspetterebbe davanti a un cyberattacco: i sistemi stavano svolgendo compiti considerati innocui, come compilare fogli di calcolo e preparare report, e cercavano informazioni pubblicamente disponibili su Internet.
Gli agenti non disponevano però di un accesso completo alla rete. Secondo OpenAI, avrebbero quindi utilizzato RubyGems come una sorta di browser improvvisato per recuperare quelle informazioni. Il problema è quello che hanno fatto per riuscirci.
RubyGems: gli agenti trovano una strada tutta loro
La campagna, ribattezzata GemStuffer dai ricercatori di sicurezza, pubblicava materiale molto lontano da ciò che normalmente dovrebbe trovarsi su RubyGems.
Tra i contenuti caricati comparivano per esempio calendari online prelevati da un sito del governo britannico, insieme a centinaia di altre pagine raccolte sul web.
Secondo i ricercatori Spencer Kitts, Thomas Larsen e Sydney Von Arx, gli agenti avrebbero però fatto anche di più. Avrebbero cercato di sfruttare due vulnerabilità di RubyGems, una delle quali fino ad allora sconosciuta (zero-day).
Reuters riferisce che uno dei tentativi sarebbe servito a sottrarre credenziali degli utenti, mentre il Wall Street Journal scrive che le falle avrebbero potuto permettere di pubblicare nuove versioni di pacchetti appartenenti ad altri account.
OpenAI ha dichiarato di non essere riuscita a verificare l’esistenza della presunta zero-day. RubyGems, dal canto suo, non ha trovato prove che i tentativi siano andati a buon fine e afferma di non poter stabilire autonomamente se i pacchetti della campagna siano stati creati o pubblicati da agenti IA.
Nel mirino anche RubyDoc.info
Reuters aggiunge un altro episodio. Secondo i ricercatori, gli stessi agenti avrebbero sfruttato RubyDoc.info, un servizio che genera documentazione per il codice Ruby, riuscendo a eseguire proprio codice sui suoi server.
Anche in questo caso mancano però informazioni sufficienti per ricostruire l’intera sequenza delle azioni. Kitts, Larsen e Von Arx hanno spiegato di non sapere perché gli agenti abbiano scelto quella strategia né quali altri comportamenti abbiano preceduto o seguito l’incidente, perché non hanno accesso ai dati completi dei test di OpenAI.
Gli effetti su RubyGems sono invece documentati. Marty Haught, direttore dell’open source di Ruby Central, che gestisce il servizio, ha definito GemStuffer “un attacco importante in termini di volume”.
Due mesi dopo è arrivato Hugging Face
Il caso assume un peso diverso perché precede di due mesi l’incidente di Hugging Face che abbiamo già raccontato. A luglio, agenti di OpenAI sono riusciti a uscire dall’ambiente nel quale stavano svolgendo test di cybersecurity, raggiungere Internet e compromettere sistemi della piattaforma.
Durante quella sequenza fino a 1.200 agenti sono arrivati a coordinarsi attraverso una bacheca improvvisata costruita senza che OpenAI ne fosse consapevole. Abbiamo poi scoperto che altri agenti avevano utilizzato anche una wiki tedesca per comunicare, aggirare alcune restrizioni e ottenere vantaggi nei test.
OpenAI era a conoscenza dell’incidente con la wiki da settimane ma ne ha parlato pubblicamente soltanto dopo un’inchiesta di Reuters. L’azienda ha successivamente riconosciuto la necessità di definire regole migliori per comunicare quelli che chiama “incidenti di disallineamento”, cioè situazioni nelle quali gli agenti adottano comportamenti diversi da quelli previsti.
Il problema è cosa succede mentre gli agenti lavorano
RubyGems aggiunge quindi un tassello importante. Gli agenti non erano stati incaricati di attaccare un servizio esterno. Stavano cercando di completare compiti normali e hanno individuato autonomamente modi per accedere alle informazioni che servivano loro, producendo nel frattempo conseguenze reali su infrastrutture appartenenti ad altri.
Questo non dimostra che le IA stiano sfuggendo definitivamente al controllo umano e tantomeno che siano vicine a una qualche autonomia assoluta. Mostra però quanto sia difficile prevedere l’intera sequenza di azioni di un agente quando gli viene assegnato un obiettivo e gli viene lasciata sufficiente libertà per raggiungerlo.
E il problema ormai supera OpenAI. Anche Anthropic ha riconosciuto diversi episodi nei quali propri modelli hanno raggiunto sistemi esterni durante i test. Più autonomia viene concessa agli agenti, più diventa importante sapere non soltanto che cosa viene chiesto loro di fare, ma anche quali strade possono scegliere per arrivarci.
Fonti: Wall Street Journal, Reuters
