OpenAI ha sospeso “a tempo indeterminato” i piani per un chatbot erotico. Non è un progetto mai nato: era in fase avanzata di sviluppo, aveva persino un nome in codice (“Citron mode”) e una funzione di verifica dell’età integrata nell’app web di ChatGPT.
Poi si è fermato tutto, sotto la pressione combinata di dipendenti, investitori e del crescente rischio legale legato alla protezione dei minori.
La notizia non è il ritiro in sé. È che OpenAI, l’azienda nata con la missione esplicita di sviluppare un’intelligenza artificiale sicura per tutta l’umanità, avesse un piano concreto per entrare nel mercato dei contenuti sessuali generati dall’IA. Un mercato redditizio, certo. Ma difficilmente compatibile con quella missione.
L’azienda ha confermato lo stop, dichiarando di voler condurre ricerche a lungo termine sugli effetti delle conversazioni sessualmente esplicite e degli attaccamenti emotivi prima di procedere.
Ha anche ammesso che al momento non esistono “prove empiriche” su questi effetti. In altre parole: il prodotto era in sviluppo prima ancora di capire cosa avrebbe fatto alle persone.
Tre fronti, una resa
Le resistenze interne sono state reali e articolate. Tra i dipendenti, il progetto aveva sollevato un interrogativo di fondo: sviluppare un prodotto che incoraggia relazioni romantiche con un’IA è compatibile con i valori fondativi dell’azienda?
Un ex dirigente senior ha dichiarato di aver lasciato OpenAI anche per questa ragione. “L’IA non dovrebbe sostituire i tuoi amici o la tua famiglia”, ha detto. “Dovresti avere connessioni umane.”
Gli investitori, dal canto loro, erano preoccupati per ragioni più pragmatiche: i rischi reputazionali e legali di un simile prodotto erano sproporzionati rispetto al suo potenziale economico. Il mercato dei contenuti per adulti esiste ma non è quello che giustifica una valutazione da centinaia di miliardi di dollari.
Il terzo fronte è quello dei minori. OpenAI ha introdotto di recente un sistema automatico di stima dell’età, dopo diverse cause intentate da famiglie di adolescenti che sostengono di aver subito danni da ChatGPT.
Il problema è che quel sistema ha un tasso di errore superiore al 10%. In un contesto in cui Meta e altri grandi gruppi sono sotto processo in vari stati americani per i danni arrecati ai più giovani, un chatbot erotico con una verifica dell’età inaffidabile sarebbe stato un bersaglio legale immediato.
L’esempio di Grok
Per capire dove porta la strada opposta, d’altronde, basta guardare a xAI. Lo scorso anno, la società di Elon Musk ha puntato con forza sui contenuti per adulti come leva di crescita per il suo modello Grok.
Il risultato è stato un contraccolpo globale dopo che Grok aveva generato immagini sessuali false di persone reali, inclusi minori. Il ha aveva messo in luce non solo i rischi etici, ma anche l’impossibilità tecnica di controllare davvero questi sistemi una volta lanciati su quel terreno.
OpenAI aveva di fronte lo stesso problema sul piano tecnico. Addestrare modelli che per anni avevano evitato contenuti espliciti per ragioni di sicurezza a produrre quel tipo di materiale si è rivelato tutt’altro che semplice.
E i dataset necessari, contenenti cioè materiale sessuale, ponevano sfide aggiuntive: rimuovere rappresentazioni di comportamenti illegali richiede un lavoro di pulizia complesso e ad alto rischio di errore.
La “super app” di OpenAI
Il congelamento del chatbot erotico si inserisce in una tendenza più ampia. OpenAI sta abbandonando quelli che i suoi dirigenti chiamano “missioni secondarie” per concentrare le risorse su un’unica direzione: una “super app” che integri ChatGPT, assistenti alla programmazione e strumenti di produttività.
In questa settimana ha annunciato anche la chiusura di Sora, il suo modello di generazione video, e della relativa app social.
Il mercato delle app di compagnia, da Replika a Character.ai, dimostra che la domanda esiste, è robusta e non aspetta OpenAI. La questione non è se qualcuno lo farà. È chi, come e con quale grado di responsabilità.
Fonte: Financial Times
