Evitare i cibi grassi se si ha un tumore al pancreas. È il consiglio che Google ha fornito attraverso le sue AI Overviews, i riassunti generati dall’intelligenza artificiale che compaiono in cima ai risultati di ricerca.
Peccato che sia l’esatto opposto di quanto raccomandano gli oncologi: seguirlo potrebbe impedire ai pazienti di assumere abbastanza calorie per tollerare la chemioterapia o un intervento salvavita.
Un’indagine del Guardian ha portato alla luce questo e altri casi di disinformazione sanitaria nelle risposte automatiche di Google, spingendo l’azienda a rimuovere le AI Overviews per alcune richieste mediche.
AI Overviews, non un incidente isolato
L’inchiesta documenta uno schema ricorrente. Alla domanda sull’intervallo normale dei test epatici, l’IA ha restituito numeri grezzi, senza distinzioni per età, sesso, etnia o paese. Il rischio, secondo il Guardian, è che pazienti con gravi patologie del fegato potrebbero credersi sani e saltare i controlli.
Una richiesta sui sintomi del cancro vaginale ha invece indicato il pap test come strumento diagnostico, il che è scorretto. “Informazioni sbagliate come queste potrebbero portare qualcuno a ignorare i sintomi perché ha avuto un risultato negativo a uno screening cervicale recente”, hanno spiegato le associazioni sanitarie britanniche che hanno segnalato il problema.
Non solo: la stessa ricerca, ripetuta in momenti diversi, produceva risposte differenti attingendo a fonti diverse. Anche le query sulla salute mentale (psicosi, disturbi alimentari) hanno generato consigli che gli esperti definiscono “molto pericolosi” e potenzialmente in grado di dissuadere le persone dal cercare aiuto.
La difesa di Google e i suoi limiti
L’azienda ha risposto che molti degli esempi condivisi dal Guardian erano “screenshot incompleti” e che le risposte rimandavano comunque a “fonti note e autorevoli”, raccomandando di consultare esperti.
Google ha inoltre sostenuto che il tasso di accuratezza delle AI Overviews è paragonabile a quello dei featured snippet, ossia i riquadri di risposta rapida che il motore di ricerca mostra da oltre un decennio in cima ai risultati.
“Investiamo significativamente nella qualità delle AI Overviews, in particolare per argomenti come la salute, e la stragrande maggioranza fornisce informazioni accurate”, ha dichiarato un portavoce.
Il problema è che la “stragrande maggioranza” può non essere una statistica accettabile quando c’è di mezzo la salute. E il confronto con i featured snippet dice forse più di quanto Google intendesse: significa ammettere che l’IA generativa non ha migliorato l’affidabilità delle risposte automatiche che esistono da un decennio.
Il paradosso di ChatGPT Health
Il tempismo dell’inchiesta è notevole. Neggli stessi giorni in cui il Guardian documenta gli errori sanitari di Google, OpenAI annuncia ChatGPT Health, un sistema progettato per integrare cartelle cliniche, risultati di laboratorio e dati da dispositivi indossabili per fornire risposte mediche personalizzate.
Sulla carta, più contesto dovrebbe significare meno errori generici: se l’IA conosce la storia clinica del paziente, non restituirà numeri sui test epatici senza considerare chi ha di fronte.
Ma il rischio cambia natura, non scompare. I modelli linguistici come ben sappiamo continuano ad avere il problema delle allucinazioni, ossia affermazioni plausibili ma false.
E qui emerge il paradosso: più il sistema appare affidabile e personalizzato, più l’utente si fida, meno verifica. Un terzo dei cittadini britannici ha già usato l’IA per supporto emotivo, secondo una ricerca recente. La propensione a fidarsi c’è. La domanda è se la tecnologia sia pronta a meritarla.
La corsa senza arbitro
Il mercato dell’IA in sanità vale decine di miliardi e tutti vogliono una fetta. Google, OpenAI, Microsoft, Amazon: nessuno intende restare fuori. Ma la velocità del deployment sta superando quella delle garanzie di sicurezza.
Chi risponde quando un’IA fornisce un consiglio medico sbagliato? Il fornitore della tecnologia, la piattaforma che la distribuisce, il sistema sanitario che la integra?
Per ora, la risposta è: nessuno in particolare. Le aziende si tutelano con disclaimer (“non sostituisce il parere medico”) mentre costruiscono prodotti che, nella percezione degli utenti, fanno esattamente quello.
È una tensione destinata a crescere. E che prima o poi dovrà trovare uno sfogo regolatorio.
Fonte: The Guardian
