Giovedì OpenAI ha pubblicato la “system card” per il nuovo modello GPT-4o di ChatGPT, che descrive le limitazioni di questo modello e le procedure dei test per la sicurezza che sono stati fatti. Da questi documenti è emerso che durante i test la funzione avanzata di riconoscimento vocale del modello ha occasionalmente imitato la voce degli utenti senza il loro permesso.
Attualmente, OpenAI ha implementato delle misure di sicurezza per evitare che questi episodi accadano nuovamente in futuro, ma l’incidente evidenzia la crescente complessità nella gestione di un chatbot IA in grado di imitare qualsiasi voce a partire da una breve clip audio.
Nella sezione della “system card” intitolata “Generazione non autorizzata di voce“, OpenAI descrive un episodio in cui un rumore di fondo ha inavvertitamente spinto il modello a imitare la voce dell’utente. Durante i test, si sono verificati casi rari in cui il modello ha emesso frasi imitando la voce di chi parlava. Ad esempio, un tester ha riportato che l’IA ha esclamato “No!” con una voce simile alla sua, proseguendo poi la frase.
Secondo Arstechnica questo incidente ha però suscitato delle preoccupazioni. La capacità di GPT-4o di imitare qualsiasi voce è possibile perché il modello può sintetizzare quasi qualsiasi suono presente nei dati di addestramento, inclusi effetti sonori e musica.
Tuttavia, in un caso di “generazione non autorizzata di voce”, il modello è stato confuso da un rumore audio che ha agito come un’istruzione accidentale, sostituendo il campione di voce autorizzato con la voce dell’utente. OpenAI ha ora implementato un sistema autonomo che rileva eventuali deviazioni dalla voce autorizzata, garantendo che il rischio di imitazioni non autorizzate sia minimo.
Il problema della capacità di imitazione vocale da parte dell’AI rappresenta una sfida significativa per la sicurezza di ChatGPT e delle altre IA, motivo per cui OpenAI ha limitato alcune delle capacità del modello. Tuttavia, alcuni ricercatori indipendenti ritengono che queste tecnologie, anche se ora controllate, saranno presto disponibili da altre fonti, rendendo la questione della sicurezza ancora più pressante. Anche per questo motivo l’azienda sta creando strumenti sempre più potenti per rilevare ciò che è umano e ciò che è artificiale, OpenAI anche se è restia a utilizzarli pubblicamente.
