Una telecamera può continuare a riprenderci perfettamente e, allo stesso tempo, il sistema di sorveglianza collegato può non accorgersi che siamo lì.
È quello che Bill Swearingen sostiene di essere riuscito a ottenere con noRecognition, un progetto che utilizza pattern grafici generati dall’intelligenza artificiale per confondere gli algoritmi incaricati di riconoscere persone, veicoli e altri oggetti nelle immagini.
Swearingen ha lavorato al progetto per circa un anno e, secondo quanto raccontato a TechCrunch, il sistema ha effettuato circa 31 milioni di test prima di arrivare a produrre pattern in grado di ingannare contemporaneamente diversi algoritmi di computer vision.
Il punto fondamentale è che noRecognition non rende invisibili alle telecamere. Le immagini continuano a essere registrate e una persona che guarda il filmato può vedere tranquillamente ciò che è successo. A essere messo in difficoltà è invece il software che analizza automaticamente quelle immagini e dovrebbe stabilire, per esempio, che nell’inquadratura è presente una persona, un’automobile o una targa.
È una differenza tutt’altro che secondaria. La videosorveglianza moderna non si basa infatti soltanto sulla registrazione delle immagini: gli algoritmi permettono di analizzare enormi quantità di filmati e segnalare automaticamente ciò che viene considerato interessante.
È questo meccanismo che consente, per esempio, ai lettori automatici di targhe di individuare un determinato veicolo senza che qualcuno debba guardare manualmente ore e ore di registrazioni.
noRecognition confonde l’IA con un disegno
Alla base di noRecognition ci sono quelli che vengono definiti “adversarial pattern”, ossia immagini create appositamente per sfruttare il modo in cui i modelli di visione artificiale interpretano forme, colori e texture.
Per un essere umano possono sembrare semplicemente grafiche astratte. Per un algoritmo, invece, possono alterare abbastanza le caratteristiche dell’immagine da impedire una classificazione corretta di ciò che il pattern ricopre.
Swearingen ha iniziato testando progressivamente diversi algoritmi open source per il riconoscimento degli oggetti. Il progetto si è poi trasformato in un sistema di reinforcement learning: ogni volta che un pattern falliva e l’algoritmo riusciva comunque a riconoscere ciò che aveva davanti, il modello ne generava un altro e riprovava.
Swearingen ha descritto il processo dicendo di avere insegnato al modello “come dipingere”. In pratica, non ha disegnato manualmente il pattern definitivo: ha lasciato che l’IA sperimentasse milioni di combinazioni, imparando dai fallimenti e producendo soluzioni progressivamente più efficaci.
Secondo Swearingen, il sistema è arrivato a generare pattern capaci di superare tutti gli 11 algoritmi open source utilizzati nei suoi test, che comprendono tecnologie collegate a sistemi impiegati da aziende come Flock, Axon e Clearview AI.
Sia chiaro però che testare con successo un algoritmo in un laboratorio non significa automaticamente rendere inefficace qualsiasi telecamera o dispositivo prodotto da quelle aziende.
La prova con una Toyota Yaris
Il primo test pubblico fuori dal laboratorio è arrivato alla Def Con di Las Vegas. Con l’aiuto di Donut Media, Swearingen ha ricoperto una Toyota Yaris del 2009 con uno dei pattern prodotti dal sistema e ha provato a farla rilevare da una telecamera Flock.
Secondo Swearingen, il test ha funzionato: il sistema non è riuscito a identificare correttamente l’auto. Non tutto, però, è scomparso dagli occhi dell’algoritmo.
Le ruote hanno continuato a rappresentare un problema, un dettaglio questo che mostra bene i limiti della tecnica. Basta che una parte sufficientemente riconoscibile dell’oggetto rimanga scoperta, perché il sistema possa avere altri elementi su cui lavorare.
Il video della dimostrazione, ha spiegato Donut Media, dovrebbe essere pubblicato nelle prossime settimane.
Vestiti contro la sorveglianza algoritmica
L’obiettivo di Swearingen è ora portare questi pattern fuori dal laboratorio. noRecognition ha avviato una campagna di crowdfunding per realizzare T-shirt e felpe e, in futuro, potrebbero arrivare anche rivestimenti destinati alle automobili.
L’idea nasce da una preoccupazione legata alla diffusione della sorveglianza automatizzata. Swearingen ha raccontato a TechCrunch di avere iniziato a lavorare al progetto dopo essersi chiesto quanto facilmente le telecamere presenti nella sua città avrebbero potuto tracciare chi partecipava a una protesta.
“La privacy è un diritto fondamentale”, ha spiegato, descrivendo noRecognition come uno strumento che permetta alle persone di «scegliere di non essere tracciate».
Non è il primo tentativo di utilizzare abiti o elementi visivi per ingannare il riconoscimento automatico. Progetti artistici e capi di abbigliamento contro il riconoscimento facciale esistono da anni. La differenza, in questo caso, sta nel metodo con cui i pattern vengono prodotti: è una IA a cercare continuamente la combinazione capace di mettere in difficoltà altre IA.
Ed è probabilmente qui che il progetto diventa più interessante. Swearingen ha scelto di non pubblicare online i pattern più efficaci perché i produttori dei sistemi di sorveglianza potrebbero studiarli e addestrare i propri algoritmi a riconoscerli. A quel punto noRecognition dovrebbe generarne altri.
È insomma una corsa tra algoritmi: da una parte troviamo quelli addestrati a riconoscere sempre meglio persone e oggetti, dall’altra quelli addestrati appositamente per trovare nuovi modi di impedirglielo. Chi dei due avrà la meglio, è impossibile dirlo ora con certezza. Ma potrebbe essere una rincorsa continua.
Fonte: TechCrunch
