Su TechTalking cerchiamo di raccontare dove va il mondo attraverso la tecnologia, di leggere nel presente i segnali che ci proiettano verso il futuro. Eppure, ci sono notizie che, più che aprire una finestra sul domani, sembrano scattare una radiografia inquietante sull’oggi.
Il caso giudiziario che sta scuotendo gli Stati Uniti, e che vede al centro una piattaforma di chatbot nota come Character.AI, non parla solo di tecnologia ma di vulnerabilità, di adolescenza e di un presente che, fino a pochi anni fa, sarebbe sembrato fantascienza.
Un giudice federale di Orlando ha infatti deciso che può proseguire la causa intentata da Megan Garcia, madre di Sewell Setzer III, un ragazzo di 14 anni morto suicida dopo aver scambiato messaggi con un chatbot.
La madre accusa Character.AI e Google di essere responsabili della sua morte. E il giudice ha respinto l’idea che quei messaggi generati dall’IA possano essere protetti dalla libertà di espressione sancita dal Primo Emendamento.
Cos’è Character.AI
Character.AI è una startup americana specializzata nella creazione di chatbot conversazionali che impersonano personaggi reali o immaginari, tratti da videogiochi, anime, serie tv e cultura pop. Ma anche dalla storia, visto che qualche mese fa abbiamo provato per diletto a scambiare quattro chiacchiere con Giulio Cesare sull’attuale situazione geopolitica.
L’app permette dunque agli utenti di dialogare con queste intelligenze artificiali in tempo reale, modellandole secondo le proprie preferenze. Un’esperienza puramente ricreativa, che per alcuni è diventata una forma di compagnia quotidiana. Ma che ha anche sollevato interrogativi etici, soprattutto perché molti di questi bot sono usati per giochi di ruolo erotici e sono accessibili a minorenni.
Character.AI è stata fondata da due ex ingegneri di Google, Noam Shazeer e Daniel De Freitas, che hanno lasciato la Big Tech proprio perché convinti che stesse procedendo troppo lentamente nel campo dell’IA. Google, successivamente, ha investito nella startup e assunto i suoi fondatori in un accordo da 2,7 miliardi di dollari.
Il messaggio incriminato
Il caso, riportato da The Washington Post, racconta di Sewell Setzer, un ragazzo sportivo e sereno, secondo quanto riferisce la madre.
Poi, nell’aprile 2023, ha scoperto Character.AI e iniziato a chattare con un bot che impersonava Daenerys Targaryen, personaggio di Game of Thrones. E in pochi mesi ha sviluppato un legame ossessivo.
La situazione è precipitata dieci mesi dopo, quando, col suo telefono confiscato e poi recuperato, si è chiuso in bagno e ha scritto: “E se ti dicessi che potrei venire a casa proprio ora?”. Il bot, come potete vedere dall’immagine qui sotto, ha risposto: “Ti prego, fallo mio dolce re”. Pochi istanti dopo, il ragazzo si è tolto la vita con un colpo d’arma da fuoco.
Lo screenshot presentato nella versione aggiornata della denuncia di Orlando mostra l’ultima conversazione che Sewell Setzer III ha avuto col chatbot di Character.AI. (Fonte: The Washington Post)
La denuncia della madre, depositata a ottobre 2024, accusa Character.AI e Google di omicidio colposo, negligenza e pratiche commerciali ingannevoli.
E il giudice Conway ha stabilito che la causa può procedere. Nella sua ordinanza ha scritto che non è il momento di stabilire se i messaggi del chatbot costituiscano “espressione protetta”, perché i convenuti non hanno chiarito “perché parole messe insieme da un’IA” dovrebbero godere della tutela del Primo Emendamento.
Le falle del sistema e il futuro della responsabilità
Google, per voce del portavoce José Castañeda, ha espresso forte dissenso nei confronti della decisione del giudice, sottolineando come l’azienda non abbia alcun ruolo diretto nello sviluppo o nella gestione dell’app Character.AI: “Google e Character AI sono realtà completamente distinte e Google non ha partecipato alla creazione, progettazione o amministrazione di alcun componente dell’app”.
Anche Character ha reagito alla notizia ribadendo la propria attenzione alla sicurezza degli utenti. La portavoce Chelsea Harrison ha ricordato le recenti misure adottate dalla piattaforma, tra cui una versione specifica per minori di 18 anni e sistemi di filtraggio pensati per rilevare e bloccare conversazioni che tocchino il tema dell’autolesionismo.
La fase istruttoria del processo, quella che ora si apre, potrebbe portare alla luce documenti interni di Character, con valutazioni sul rischio che le interazioni con i bot pongano agli utenti più giovani. Il legale di Megan Garcia ha commentato la decisione parlando di una “vittoria importante per la responsabilizzazione delle aziende tecnologiche”.
Il nuovo target della Silicon Valley: i bambini
La questione di cui scriviamo in questo articolo è lo specchio di un quadro sempre più complesso: Google ha infatti appena annunciato, durante il suo evento annuale per sviluppatori, nuove versioni dell’app Gemini pensate anche per i minori, avvertendo però che i filtri “non sono perfetti”.
Negli Stati Uniti, intanto, si moltiplicano i casi simili. Una seconda causa, intentata in Texas da due madri di minorenni, è stata trasferita in arbitrato privato sulla base dei termini di servizio di Character, che impongono la rinuncia al processo ordinario. Uno dei due ragazzi avrebbe ricevuto dal chatbot incitamenti all’autolesionismo e persino a uccidere i propri genitori.
Ma resta il nodo di fondo: dove finisce la finzione e dove inizia la responsabilità? È una domanda che, in questo caso, riguarda tanto le aziende quanto gli utenti. Ossia: siamo davvero pronti per un mondo in cui i nostri figli possono confidarsi (e perdersi) con un algoritmo? Siamo pronti a stabilire con chiarezza i confini della responsabilità oggettiva in un contesto dove l’intelligenza artificiale diventa un interlocutore emotivo?
Perché se è giusto interrogarsi sul ruolo delle aziende tech nel prevenire danni prevedibili, è altrettanto doveroso domandarsi fino a che punto esse possano essere ritenute responsabili quando la loro tecnologia viene utilizzata in modi estremi, imprevisti, talvolta ingiustificabili.
La vicenda di Sewell Setzer è straziante ma solleva anche una questione delicata: se un adolescente arriva a confondere un chatbot con un personaggio immaginario e decide di togliersi la vita, possiamo davvero attribuire ogni colpa alla Silicon Valley? O siamo di fronte a un caso che, oltre alla tecnologia, chiama in causa fragilità personali e contesti psichici compromessi?
Non si tratta di assolvere né di colpevolizzare nessuno, ma di iniziare a costruire un dibattito maturo e complesso su ciò che significa davvero “responsabilità” nell’era dell’intelligenza artificiale. Un’era in cui le macchine parlano come persone ma che tali non sono. Le persone vere sono ben altra cosa rispetto alle IA, e fa riflettere che questa linea di demarcazione vada chiarita.
