O tempora o mores, direbbero i latini. O, più probabilmente, visto quanto ci apprestiamo a scrivere, mala tempora currunt.
Whisper, infatti, è il modello di riconoscimento vocale sviluppato da OpenAI, progettato per trascrivere l’audio in testo, riconoscere il parlato e supportare la traduzione in più lingue.
Rilasciato come modello open-source, Whisper è stato addestrato su una grande quantità di dati audio, inclusi contenuti video provenienti da diverse piattaforme online, per poter comprendere vari accenti e idiomi.
Whisper: l’utilizzo che non t’aspetti
Tuttavia, questo modello mostra ancora alcune vulnerabilità, tra cui la tendenza a produrre “allucinazioni”, ossia parti di testo inesistenti o errate.
Il che non sarebbe un problema limitato qualora venisse utilizzato per la trascrizione automatica di meeting o la traduzione in tempo reale.
Peccato invece che, secondo ABC News, Whisper sia usato in oltre 30.000 cliniche e 40 sistemi sanitari. E che al momento ha trascritto circa sette milioni di conversazioni mediche.
Ma un gruppo di ricercatori della Cornell University e dell’Università di Washington ha evidenziato che Whisper allucina in circa l’1% delle trascrizioni, generando frasi inesistenti che possono includere sentimenti violenti, espressioni illogiche o interi passaggi di testo inventati durante i momenti di silenzio.
Rischio afasia
“E che problema sarà mai?”, si domanderà qualcuno di voi? In verità, è un problema che va oltre il mero aspetto tecnico.
Per comprendere meglio il fenomeno, gli studiosi hanno esaminato audio tratti da AphasiaBank, una risorsa contenente campioni di parlato di persone con afasia, un disturbo del linguaggio.
In questi contesti, i momenti di silenzio sono particolarmente frequenti, e Whisper sembra interpretarli in maniera errata.
La ricercatrice Allison Koenecke della Cornell University ha condiviso esempi di queste trascrizioni in un thread online, mostrando come Whisper possa arrivare persino a inventare condizioni mediche o a inserire frasi che appaiono completamente fuori contesto, come “Grazie per aver guardato!”.
We noticed in 2023 that, even when an audio file had ended, Whisper had a habit of hallucinating additional sentences that were never spoken. And, re-running Whisper on the same file yielded different hallucinations – see below example (hallucinations in red) (1/14) pic.twitter.com/uXrI6P58gj
— Allison Koenecke (@allisonkoe) June 3, 2024
Se vi domandate il perché di questa uscita… beh, è la tipica espressione con la quale si chiudono i video su YouTube, piattaforma su cui OpenAI ha addestrato GPT-4 trascrivendo oltre un milione di ore di filmati.
Questi risultati sono stati presentati a giugno durante la conferenza FAccT dell’Association for Computing Machinery in Brasile. Al momento, non è noto se lo studio sia stato sottoposto a revisione paritaria.
La risposta di OpenAI
Preso atto della situazione, OpenAI ha dichiarato che affronta la questione delle allucinazioni con serietà.
La portavoce Taya Christianson ha così dichiarato a The Verge, da cui abbiamo ripreso questa notizia: “Prendiamo molto seriamente questo problema e stiamo lavorando continuamente per migliorare, inclusa la riduzione delle allucinazioni”.
“Per l’uso di Whisper sulla nostra piattaforma API” ha proseguito, “le nostre policy d’uso vietano l’utilizzo in contesti decisionali ad alto rischio e la nostra scheda del modello per l’uso open-source include raccomandazioni contro l’impiego in ambiti a rischio elevato. Ringraziamo i ricercatori per aver condiviso i loro risultati”.
Il caso Whisper solleva dunque domande importanti sull’utilizzo dell’intelligenza artificiale in settori come quello sanitario, dove gli errori possono costare caro.
Se da un lato i modelli di IA come Whisper promettono maggiore efficienza e precisione, dall’altro le loro “allucinazioni” possono rappresentare un serio rischio per la sicurezza.
Ma è tutto così più comodo, veloce ed economico…
