Oltre l’80% di errori, su tutti i modelli testati. È il risultato principale di uno studio pubblicato lunedì su JAMA Network Open, che ha valutato le prestazioni di 21 modelli linguistici ( tra cui i principali sviluppati da OpenAI, Anthropic, Google, xAI e DeepSeek), in scenari di diagnosi medica con informazioni incomplete.
Il limite non riguarda casi estremi o condizioni rare: emerge sistematicamente nella fase iniziale di qualsiasi valutazione clinica, quella in cui i dati disponibili sono ancora parziali e il ragionamento diagnostico è più aperto.
Il problema non è che questi modelli siano inutili in ambito medico. È che falliscono esattamente dove il lavoro del medico comincia: nel momento in cui il paziente descrive i sintomi, i dati sono frammentari e la diagnosi è ancora tutta da costruire.
Convergenza prematura
Il meccanismo del fallimento è preciso. Quando le informazioni sono incomplete, i chatbot tendono a restringere troppo rapidamente il campo, indicando una singola diagnosi invece di mantenere aperto un ventaglio di ipotesi (quello che in medicina si chiama diagnosi differenziale).
È una competenza fondamentale: il medico non sa ancora cosa ha il paziente, e deve tenere in sospeso più possibilità mentre raccoglie nuovi elementi. I modelli testati, invece, forzano una risposta dove sarebbe necessaria una domanda.
“Questi modelli sono ottimi nell’indicare una diagnosi finale quando i dati sono completi, ma faticano nella fase iniziale e aperta di un caso, quando le informazioni disponibili sono scarse”, ha dichiarato Arya Rao, autrice principale dello studio e ricercatrice presso il sistema sanitario Mass General Brigham nel Massachusetts.
La metodologia dello studio chiarisce il perché di questa distinzione. I ricercatori hanno utilizzato 29 scenari clinici, sottoponendo ai modelli i dati in modo progressivo: prima la storia della malattia, poi i risultati dell’esame fisico, infine i referti di laboratorio.
Con dati completi, i tassi di errore scendono sotto il 40%, e i modelli più performanti superano il 90% di accuratezza sulla diagnosi finale. È nella fase aperta, quella con poche informazioni, che il tasso di errore supera l’80% per tutti i modelli senza distinzione.
La policy e la realtà
Di fronte ai risultati, le aziende hanno risposto con i propri caveat istituzionali. Anthropic ha precisato che Claude è addestrato a indirizzare chi pone domande mediche verso professionisti. Google ha dichiarato che Gemini è progettato nello stesso senso, con promemoria integrati nell’app. xAI e DeepSeek non hanno invece risposto.
Il punto, però, è che milioni di persone già usano questi strumenti per orientarsi su sintomi e condizioni di salute, spesso proprio perché non hanno accesso immediato a un medico, o perché cercano un primo riferimento prima di una visita.
È esattamente in quel contesto (dati scarsi, quadro clinico aperto, utente senza formazione medica), che i modelli performano peggio. Le stesse aziende, nel frattempo, stanno sviluppando modelli linguistici medici specializzati: Google ha in sviluppo AMIE (Articulate Medical Intelligence Explorer), pensato specificamente per il ragionamento clinico.
Si tratta di un binario separato rispetto ai chatbot generalisti, con architetture e fasi di addestramento orientate all’ambito medico. I risultati preliminari sono stati descritti come promettenti, ma restano per ora nell’ambito della ricerca.
Dove l’IA medica potrebbe servire davvero
Lo studio non chiude la porta a ogni applicazione dell’IA in ambito sanitario. Sanjay Kinra, epidemiologo clinico presso la London School of Hygiene & Tropical Medicine, ha osservato che i modelli specializzati difficilmente potranno replicare la valutazione clinica del medico, che “si basa in larga misura sull’aspetto e sulla sensazione fisica del paziente”.
Ma ha anche indicato uno spazio reale di utilità: “Potrebbero avere un ruolo da svolgere, in particolare nelle situazioni o nelle aree geografiche in cui l’accesso ai medici è limitato.”
È uno scenario concreto e urgente. In molte parti del mondo la carenza di medici è strutturale. Un modello imperfetto, in quel contesto, potrebbe comunque fare la differenza. Ma, come ha precisato Kinra, servono studi con pazienti reali in quei contesti specifici e per ora i dati disponibili dicono altro.
Fonte: Financial Times
