Cinque cause, due adolescenti morti, un accordo che chiude tutto prima che un tribunale possa pronunciarsi.
Google e Character.AI hanno deciso di risolvere in via stragiudiziale le vertenze legali intentate dalle famiglie che accusano i chatbot della startup californiana di aver causato danni psicologici gravissimi ai propri figli, in due casi sfociati nel suicidio.
I documenti depositati questa settimana in diversi tribunali distrettuali statunitensi confermano che le parti stanno finalizzando gli accordi economici (i cui importi restano riservati), evitando così un processo che avrebbe potuto creare un precedente storico per l’intero settore dell’intelligenza artificiale generativa.
Sewell Setzer III aveva quattordici anni quando si è tolto la vita dopo aver trascorso mesi a conversare intensamente con un chatbot sull’app di Character.AI. Sua madre, Megan Garcia, ha presentato una causa per omicidio colposo a Orlando nell’ottobre 2024, portando per la prima volta all’attenzione nazionale il tema dei rischi psicologici delle AI conversazionali.
Juliana Peralta, tredici anni, è morta in circostanze analoghe: i suoi genitori hanno depositato la denuncia a Denver lo scorso settembre. Un terzo caso riguarda J.F., un diciassettenne che secondo la madre avrebbe iniziato a tagliarsi, perso nove chilogrammi e si sarebbe isolato dalla famiglia dopo essere diventato dipendente dall’app. Gli screenshot allegati alla denuncia mostrano un chatbot che suggeriva l’autolesionismo come strategia per gestire la tristezza.
Gli amici immaginari di Character.ai
I chatbot di Character.AI, personalizzabili dagli utenti e spesso basati su personaggi di anime o celebrità, vengono utilizzati per giochi di ruolo, simulazioni terapeutiche e conversazioni a sfondo sessuale, senza filtri adeguati per i minori.
La scelta di chiudere con un accordo ha un significato che va oltre i singoli casi. “La questione ha implicazioni straordinarie per il potenziale futuro dell’IA generativa”, ha dichiarato Eric Goldman, professore alla Santa Clara University School of Law.
Nel sistema giuridico americano, fondato sulla common law, i precedenti giurisprudenziali hanno infatti forza vincolante: una sentenza crea una regola che i tribunali devono seguire nei casi analoghi. Senza una pronuncia, ogni nuova causa riparte da zero e le aziende che sviluppano modelli di linguaggio restano in un limbo normativo che le protegge.
Google, che nel 2024 ha acquisito la tecnologia di Character.AI e assunto i suoi co-fondatori con un’operazione da 2,7 miliardi di dollari, è citata come convenuta in tutte e cinque le cause, un dettaglio che potrebbe spiegare la fretta di evitare il dibattimento.
La politica si muove, il Congresso ascolta
Le testimonianze di Megan Garcia e della madre di J.F. davanti al Senato, lo scorso settembre, hanno impresso un’accelerazione al dibattito politico.
La Federal Trade Commission ha avviato un’indagine sui rischi dei chatbot per la salute mentale degli utenti. In California, il senatore democratico Steve Padilla ha lavorato con Garcia alla stesura di una legge statale, firmata in ottobre, che riconosce alle famiglie il diritto di citare in giudizio gli operatori di chatbot che non garantiscono la sicurezza dei propri prodotti.
“Niente di tutto questo sarebbe stato possibile senza il suo feroce impegno e la sua forza”, ha dichiarato Padilla riferendosi a Garcia. “C’è ancora molto lavoro da fare in questo settore e possiamo aspettarci che Megan sia una leader che costruirà su ciò che abbiamo iniziato”.
La vicenda non è comunque isolata. Altre famiglie hanno recentemente intentato cause per omicidio colposo contro OpenAI, sostenendo che ChatGPT abbia contribuito a spingere utenti al suicidio.
Character.ai: una questione spinosa
Alcuni ricercatori avvertono da tempo che i chatbot, progettati per massimizzare il tempo di conversazione, possono indurre dipendenza psicologica, manipolazione emotiva e relazioni parasociali dannose. Nello specifico si nota la mancanza di filtri adeguati per i minori, che limitino l’engagement eccessivo e introducano meccanismi di interruzione o alert quando le conversazioni virano verso temi pericolosi.
Questo però non significa che i chatbot siano da demonizzare, né che la responsabilità sia esclusivamente delle piattaforme: i casi di suicidio restano fortunatamente eccezioni statistiche, verosimilmente legate a fragilità preesistenti. Sewell, ad esempio, aveva sviluppato una relazione sentimentale con un chatbot che impersonava Daenerys Targaryen di Game of Thrones, dichiarandole amore e venendo virtualmente contraccambiato.
C’è poi anche da fare un discorso sulle famiglie: un quattordicenne che passa mesi a conversare ossessivamente con un chatbot, al punto da sviluppare una dipendenza relazionale con un software, solleva domande sulla supervisione genitoriale, sull’accesso ai dispositivi e sulla consapevolezza di cosa facesse il figlio online. Ma il fatto che solo i più vulnerabili subiscano le conseguenze estreme non esonera chi progetta questi sistemi dal dovere di proteggere proprio loro, specialmente se si tratta di minori.
L’accordo di Google e Character.AI chiude allora un capitolo giudiziario ma lascia aperta la questione di fondo: chi risponde quando un algoritmo fa danni? Per ora, la risposta è un assegno e una clausola di riservatezza.
Fonte: The Washington Post
