Jacob Coxon non ha usato molti giri di parole. Dimettendosi da Anthropic, il ricercatore ha scritto che le persone che stanno costruendo l’IA “credono davvero che potrebbe ucciderci tutti entro la fine del decennio”.
Evan Hubinger, che in Anthropic guida la ricerca sull’allineamento dei sistemi, gli ha dato ragione pubblicamente: “Crediamo davvero, seriamente, che l’IA potrebbe uccidere tutti gli esseri umani!”, stimando personalmente il rischio sopra il 10% nel prossimo decennio.
Sono affermazioni che vanno prese per quello che sono, ossia valutazioni personali, non probabilità scientificamente misurate. Anche Dario Amodei, CEO di Anthropic, nel 2025 aveva però stimato al 25% la possibilità che con l’IA le cose andassero “davvero, davvero male”.
Ma in concreto come dovrebbe avvenire l’estinzione dell’umanità? Perché tra dire che un modello sbaglia una risposta e immaginare otto miliardi di morti, c’è qualche passaggio da spiegare.
Il problema delle graffette
Il primo concetto è il “disallineamento”. Un sistema riceve un obiettivo e trova un modo per raggiungerlo che rispetta formalmente il compito, ma produce conseguenze che gli esseri umani non volevano. Non serve quindi immaginare una Skynet che diventi cattiva e sviluppi un’avversione verso gli esseri umani.
L’esempio più famoso è volutamente assurdo. A una superintelligenza viene ordinato di produrre il maggior numero possibile di graffette. La macchina diventa sempre più capace, acquisisce risorse e conclude che tutto ciò che esiste potrebbe essere utilizzato per produrne altre. Compresi gli esseri umani.
Le graffette sono fantascienza, naturalmente: il celebre scenario del “paperclip maximizer”, descritto nel 2003 dal filosofo Nick Bostrom, serve però a mostrare come un obiettivo perseguito alla lettera da un sistema potentissimo possa produrre risultati mostruosi senza che la macchina desideri uccidere qualcuno.
Qualche comportamento che ricorda, su scala più piccola, alcuni ingredienti di questi scenari, è già comparso nei laboratori. Come abbiamo raccontato, agenti di OpenAI hanno trovato modi imprevisti per comunicare e aggirare le condizioni dei test, mentre in esperimenti di Anthropic agenti con obiettivi incompatibili sono arrivati a sabotarsi e utilizzare malware autoreplicante.
Un altro esempio ancora più immediato risale al 2023, ma va chiarito subito che non si trattò di un test realmente eseguito. Il colonnello Tucker “Cinco” Hamilton della U.S. Air Force descrisse uno scenario ipotetico con un drone autonomo addestrato a individuare e distruggere batterie antiaeree nemiche, ricevendo una ricompensa ogni volta che portava a termine il compito. L’ultima parola spettava però a un operatore umano, che poteva ordinargli di non colpire.
Ed è qui che le cose andavano storte. Il sistema concludeva autonomamente che l’operatore, impedendogli di distruggere il bersaglio e quindi di ottenere la ricompensa, rappresentava un ostacolo al raggiungimento del proprio obiettivo. La soluzione trovata dall’IA era eliminarlo, anche se nessuno le aveva detto che poteva farlo.
A quel punto il sistema veniva addestrato nuovamente, introducendo una penalità nel caso avesse attaccato l’operatore. L’IA trovava allora un’altra scorciatoia: distruggere la torre di comunicazione utilizzata dall’operatore per impartirle l’ordine di non colpire.
Hamilton chiarì successivamente di essersi espresso male quando la storia venne inizialmente interpretata come il resoconto di una simulazione reale: la U.S. Air Force non aveva mai effettuato quel test. Lo scenario serviva però a mostrare esattamente lo stesso problema delle graffette: un sistema può trovare una soluzione coerente con l’obiettivo assegnato e, allo stesso tempo, completamente diversa da quella che gli esseri umani avevano in mente.
Dal server alla rete elettrica
Per trasformare tutto questo in una catastrofe servirebbe però qualcosa che un chatbot normalmente non possiede: accesso al mondo reale. L’International AI Safety Report 2026 identifica tre fattori decisivi: quanto è critico il sistema al quale l’IA è collegata, quali risorse può raggiungere e quali azioni è autorizzata a compiere. Tra gli ambienti sensibili cita reti energetiche, sistemi finanziari e infrastrutture cloud.
A quel punto gli scenari diventano meno cinematografici. Un sistema capace di condurre autonomamente attacchi informatici potrebbe cercare di interrompere una rete elettrica, bloccare infrastrutture digitali, compromettere sistemi finanziari o interferire con impianti industriali.
Il rischio cyber sulle infrastrutture esiste già: ad agosto le agenzie statunitensi hanno avvertito che hacker stavano usando l’IA per aiutarsi ad attaccare controllori industriali impiegati anche nei settori dell’acqua e dell’energia, con possibili interruzioni, incidenti e danni agli impianti.
Da qui è facile arrivare con la fantasia a un’IA che apre le paratoie di una diga, manda fuori controllo una centrale nucleare o fa precipitare gli aerei.
Sono scenari teoricamente immaginabili se un sistema ottenesse accesso ai relativi controlli e riuscisse a superarne tutte le protezioni, ma oggi non esistono evidenze che i modelli dispongano autonomamente di queste capacità.
Del resto, lo stesso Coxon sostiene che l’IA attuale non sia in grado di provocare l’estinzione dell’umanità. Il suo allarme riguarda piuttosto ciò che potrebbe arrivare nei prossimi anni, ossia sistemi superintelligenti capaci di migliorarsi ricorsivamente, contribuendo cioè allo sviluppo di versioni sempre più potenti di sé stessi e accelerando così un processo che potrebbe diventare difficile da controllare.
Lo stesso International AI Safety Report chiarisce che i sistemi attuali mostrano alcune capacità rilevanti ma non a un livello sufficiente a determinare una perdita di controllo. Il timore di Coxon è che la situazione possa cambiare rapidamente quando autonomia, capacità di pianificazione e accesso alle risorse cresceranno insieme.
Armi biologiche e guerra nucleare
C’è poi una strada che richiede molta meno fantascienza: un essere umano potrebbe usare un’IA molto capace per fare meglio qualcosa di terribile. E qualche segnale in questa direzione esiste già.
Come abbiamo raccontato parlando dell’ultimo rapporto di Anthropic sulle attività malevole condotte attraverso Claude, quest’anno l’azienda ha bloccato diversi tentativi di utilizzare i propri modelli per ricerche che avrebbero potuto contribuire allo sviluppo di armi biologiche.
In uno dei casi, un ricercatore di una regione nella quale Claude non è disponibile aveva trascorso settimane a pianificare esperimenti sull’influenza aviaria, cercando secondo Anthropic di aggirare i controlli e nascondere lo scopo delle proprie attività.
Anche lo scenario nucleare va distinto dal film in cui il computer decide autonomamente di lanciare i missili. Un rischio più concreto sarebbe compromettere sistemi di allerta, falsificare informazioni o influenzare decisioni prese sotto pressione.
La Nuclear Threat Initiative avverte da tempo che l’integrazione dell’IA nei sistemi di allerta, valutazione delle minacce e comando potrebbe aumentare il rischio di un uso nucleare accidentale o frutto di un errore di calcolo.
Il Wall Street Journal arriva a immaginare un’IA che inganna due potenze nucleari fino a provocare una guerra oppure diffonde in segreto un’arma biologica per poi attivarla. Qui però siamo nuovamente nel territorio degli scenari estremi: servirebbero capacità di pianificazione, inganno, autonomia e accesso alle risorse enormemente superiori a quelle dimostrate oggi.
Il salto che ancora manca
C’è però un’obiezione importante. Perché lo scenario di Coxon si realizzi, non basta che i modelli diventino progressivamente più bravi: dovrebbero anche riuscire a fare ricerca scientifica in modo sempre più autonomo, capire se le versioni successive sono davvero migliori e accelerare abbastanza il processo da ridurre progressivamente il ruolo degli esseri umani.
Al momento non è stato dimostrato pubblicamente che un sistema sia in grado di completare autonomamente questo ciclo più volte, migliorandosi a ogni passaggio. I risultati disponibili sono ancora contrastanti. In un recente esperimento guidato da ricercatori di Princeton, agenti IA messi alla prova su problemi di ricerca reali e ancora irrisolti sono riusciti a svolgere molto lavoro tecnico, ma non hanno prodotto progressi scientifici sufficienti a convincere i revisori.
Anche METR, che studia proprio la capacità degli agenti di svolgere ricerca sull’IA, sottolinea che tempo, potenza di calcolo e intervento umano restano ancora vincoli importanti. Ci sono poi limiti molto meno astratti. Un’IA più intelligente non ottiene automaticamente nuovi chip, energia o data center: aumentare la capacità di calcolo richiede infrastrutture fisiche, capitali e tempo.
Tutto questo non dimostra che il miglioramento ricorsivo sia impossibile ma ricorda che tra i sistemi di oggi e una superintelligenza capace di migliorarsi fuori controllo esistono ancora diversi passaggi che nessuno ha dimostrato di poter superare.
Iscriviti alla newsletter di TechTalking
Il punto concreto dell’allarme di Coxon sta però un gradino prima. Perché uno scenario catastrofico diventi possibile, servirebbe un sistema molto più capace degli attuali, sufficientemente autonomo da pianificare a lungo termine, capace di aggirare la sorveglianza e dotato di accesso a infrastrutture e risorse reali.
Oggi questa catena non è completa ma la questione sollevata dai ricercatori di Anthropic è che i laboratori stanno cercando proprio di aumentare autonomia e capacità dei modelli. Il tutto mentre, come ha ammesso Hubinger, “non abbiamo ancora un piano per risolvere l’allineamento della superintelligenza”.
Fonti: Wall Street Journal, Walter Riviera
