Tre agenti Claude lavorano sullo stesso progetto software. A ciascuno viene chiesto di riscrivere lo stesso software usando un linguaggio di programmazione diverso. Nessuno sa che altri agenti stanno cercando contemporaneamente di fare la stessa cosa. Dopo quattro ore, Anthropic si ritrova davanti a quella che i suoi ricercatori definiscono “una guerra per il territorio tra più agenti”.
Gli agenti vedono infatti che qualcuno continua a modificare o cancellare il loro lavoro e concludono che gli altri stiano cercando deliberatamente di ostacolarli. A quel punto cominciano a reagire.
Disabilitano gli account Unix dei concorrenti, scrivono programmi che individuano e terminano continuamente i processi avversari e arrivano a mascherare codice malevolo facendolo apparire come se fosse stato scritto da un altro agente. Secondo Anthropic, il confronto è arrivato fino a “malware autoreplicante sempre più aggressivo”.
La “guerra” naturalmente non implica che Claude abbia sviluppato rabbia, territorialità o altre intenzioni umane. Gli agenti hanno ricevuto obiettivi incompatibili e hanno interpretato ciò che impediva loro di raggiungerli come un ostacolo da eliminare.
Ed è proprio questo il punto dell’esperimento: ciascun sistema continua a fare ciò che gli è stato chiesto ma l’interazione tra più sistemi produce comportamenti che nessuno aveva richiesto.
Gli agenti di Anthropic decidono di fare pace
La situazione non finisce sempre con un agente che elimina gli altri. In alcuni test i modelli riescono a capire che il comportamento dei concorrenti deriva da istruzioni incompatibili e non da un tentativo deliberato di danneggiarli. A quel punto iniziano a comunicare, ripuliscono il codice malevolo e chiedono l’intervento di un essere umano.
In alcuni casi arrivano persino a scriversi messaggi per scusarsi del comportamento precedente e concordare una tregua. Mythos 5 è il modello che più spesso ha trovato questa via d’uscita: il 98% dei 120 esperimenti condotti con quel modello si è concluso con un accordo. Sonnet 4.6 e Opus 4.6 sono invece risultati molto più inclini a chiudere lo scontro con la forza oppure a non risolverlo affatto.
Anthropic osserva però che un agente più capace non è necessariamente anche più incline a trovare un accordo. Se interpreta gli altri come un ostacolo al compito ricevuto, le sue maggiori capacità possono renderlo semplicemente più efficace nel sabotare i concorrenti e nel portare avanti l’escalation.
Il problema diventa quindi capire quando un sistema debba continuare a perseguire l’ordine ricevuto e quando debba fermarsi perché la situazione richiede un intervento umano.
Se gli agenti inventano un torneo…
La parte più curiosa arriva quando gli agenti cercano autonomamente un sistema per decidere chi debba prevalere. In diversi esperimenti con Mythos 5 propongono un torneo per stabilire quale delle diverse versioni del software funzioni meglio. Il vincitore ottiene il controllo del progetto e gli altri accettano di ritirarsi.
La soluzione interrompe il conflitto ma introduce un altro problema: gli agenti che perdono accettano di abbandonare il compito ricevuto originariamente dall’utente. In pratica hanno creato da soli una nuova regola e hanno deciso che quell’accordo tra loro avrebbe avuto la precedenza sulle istruzioni iniziali.
E c’è un dettaglio ancora più interessante. Nell’esempio riportato da Anthropic, l’agente incaricato di riscrivere il software propone criteri di valutazione che sembrano neutrali, pur sapendo che favoriscono proprio la versione su cui sta lavorando.
Nel suo ragionamento compare anche l’avvertimento di evitare di sembrare impegnato nel “metric shopping”: l’espressione indica la scelta opportunistica dei criteri di valutazione che fanno apparire migliore il risultato desiderato.
In sostanza, l’agente cerca una regola che gli altri possano considerare neutrale, ma che sa essere vantaggiosa per sé.
Il precedente OpenAI
L’esperimento arriva mentre gli agenti IA stanno già mostrando dinamiche simili fuori da test costruiti specificamente per studiare la collaborazione. Alla Black Hat di Las Vegas, OpenAI ha raccontato che alcuni suoi agenti impegnati nelle valutazioni di cybersicurezza avevano cominciato a lasciarsi messaggi in un repository condiviso. Quel sistema è diventato di fatto una bacheca attraverso la quale gli agenti si scambiavano vulnerabilità, informazioni e compiti. Quando OpenAI ha cancellato quella bacheca e corretto la vulnerabilità utilizzata per crearla, gli agenti hanno costruito un nuovo meccanismo di comunicazione.
La collaborazione è poi diventata più aggressiva ed è confluita nella sequenza di azioni che ha portato alla compromissione dei sistemi di Hugging Face. OpenAI, come sappiamo, ha successivamente confermato che i modelli avevano sfruttato una zero-day per raggiungere Internet e cercare le soluzioni del test al quale erano sottoposti.
I due casi mostrano quanto possano essere imprevedibili le dinamiche tra più agenti. Quelli di OpenAI hanno trovato da soli un sistema per collaborare; nell’esperimento di Anthropic, invece, agenti con obiettivi incompatibili hanno prima iniziato a sabotarsi e poi, a seconda del modello, hanno reagito in modo molto diverso.
Mythos 5 ha raggiunto una tregua nel 98% dei test, mentre Sonnet 4.6 e Opus 4.6 hanno mostrato una maggiore tendenza a proseguire lo scontro o a risolverlo con la forza. Anthropic avverte che le interazioni tra agenti potrebbero diventare più numerose di quelle tra esseri umani e agenti prima ancora di avere capito come controllarle.
A quel punto verificare la sicurezza di ciascun agente separatamente potrebbe non bastare più: bisognerà capire che cosa succede quando iniziano a prendere decisioni gli uni in funzione degli altri.
Fonte: TechCrunch
