ChatGPT è accurato per le domande mediche?

Quanto è accurato ChatGPT negli esami di medicina?

ChatGPT ottiene buoni punteggi nelle domande degli esami di abilitazione medica, e i suoi punteggi sono saliti a ogni nuovo modello. Nel primo studio più noto, Kung e colleghi (PLOS Digital Health, 2023) hanno sottoposto a ChatGPT, basato su GPT-3.5, 350 domande dell'esame d'esempio pubblico dell'USMLE di giugno 2022, dopo aver rimosso le domande con immagini, e hanno rilevato prestazioni pari o vicine alla soglia di superamento di circa il 60% per Step 1, Step 2 CK e Step 3. Più avanti nel 2023, Brin e colleghi (Scientific Reports, 2023) hanno testato 80 domande in stile USMLE su comunicazione, etica, empatia e professionalità: GPT-4 ha risposto correttamente al 90% e ChatGPT su GPT-3.5 al 62,5%, contro una media del 78% degli utenti AMBOSS sulle stesse domande. Nel 2026, gli autori di uno studio su Nature Medicine hanno scritto che i modelli linguistici di grandi dimensioni ottengono ormai punteggi quasi perfetti negli esami di abilitazione medica. Sulle conoscenze da manuale, ChatGPT è forte.

Una domanda d'esame, però, fornisce ogni dato rilevante in un caso clinico pulito con un'unica risposta migliore. Una vera domanda clinica ha un'anamnesi incompleta, raccomandazioni che potrebbero essere cambiate e un unico paziente a cui adattarle.

Quanto è accurato ChatGPT nelle domande cliniche reali?

Nelle domande cliniche aperte, ChatGPT ha ragione la maggior parte delle volte, ma non in modo costante. Goodman e colleghi (JAMA Network Open, 2023) hanno chiesto a 33 medici di 17 specialità di scrivere 284 domande mediche e di valutare le risposte di ChatGPT: il punteggio mediano di accuratezza è stato 5,5 su una scala a 6 punti, tra quasi del tutto corretto e del tutto corretto, ma la media è stata 4,8, e le domande difficili hanno ottenuto punteggi inferiori a quelle facili. Le risposte con punteggio basso sono migliorate quando le domande sono state riproposte da 8 a 17 giorni dopo, e GPT-4 ha ottenuto punteggi superiori a GPT-3.5. Chen e colleghi (JAMA Oncology, 2023) hanno chiesto a ChatGPT consigli sul trattamento dei tumori di mammella, prostata e polmone: il 34,3% delle 102 risposte che formulavano una raccomandazione includeva almeno un trattamento non conforme alle linee guida NCCN, e il 12,5% di tutte le 104 risposte nominava un trattamento che non faceva parte di alcun trattamento raccomandato. Le raccomandazioni errate erano mescolate a quelle corrette, il che secondo gli autori le rendeva difficili da individuare anche per gli esperti.

Conoscere la risposta, inoltre, non equivale ad aiutare una persona a raggiungerla. In uno studio randomizzato di Bean e colleghi (Nature Medicine, 2026), modelli tra cui GPT-4o hanno identificato la condizione nel 94,9% degli scenari scritti quando testati da soli, ma 1.298 partecipanti britannici che li usavano hanno identificato le condizioni pertinenti in meno del 34,5% dei casi, non meglio di un gruppo di controllo che usava le proprie fonti abituali.

ChatGPT inventa riferimenti medici?

ChatGPT ha inventato riferimenti medici con frequenza elevata quando gli è stato chiesto di scrivere con citazioni a memoria, anche se i modelli più recenti lo fanno meno spesso. Bhattacharyya e colleghi (Cureus, 2023) hanno chiesto a ChatGPT su GPT-3.5 di scrivere 30 brevi articoli medici con almeno tre riferimenti ciascuno. Dei 115 riferimenti prodotti, il 47% era inventato, il 46% era reale ma inesatto e solo il 7% era sia reale sia esatto. Walters e Wilder (Scientific Reports, 2023) hanno fatto scrivere a ChatGPT brevi revisioni della letteratura su 42 argomenti e hanno controllato tutte le 636 citazioni: il 55% delle citazioni di GPT-3.5 e il 18% di quelle di GPT-4 erano inventate, e tra quelle reali, il 43% e il 24% contenevano errori sostanziali come volume, fascicolo o numero di pagina sbagliati. Un riferimento inventato è formattato come uno reale, con autori, rivista e anno, quindi può superare un'occhiata veloce e rivelarsi falso solo quando lo cerchi.

Un tasso del 18% significa comunque circa un riferimento inventato su cinque, quindi cerca su PubMed ogni riferimento fornito da un chatbot prima di citarlo.

Dove sbagliano i chatbot generici?

I chatbot generici come ChatGPT sbagliano in medicina in quattro modi prevedibili, e nessuno di essi significa che il modello conosca poco la medicina. Primo, un riferimento scritto a memoria può essere inventato, come mostrano gli studi sulle citazioni. Secondo, un modello risponde a partire da dati di addestramento che si fermano a una data limite: nello studio oncologico del 2023, gli autori hanno confrontato le risposte con le linee guida NCCN del 2021 perché le conoscenze del modello si fermavano a settembre 2021, quindi ogni successiva modifica delle raccomandazioni gli era invisibile. Terzo, una risposta scritta a partire dai dati di addestramento non mostra alcuna fonte, quindi non puoi vedere da dove viene un'affermazione né quanto siano solide le evidenze che la sostengono. Quarto, il tono resta ugualmente sicuro che la risposta sia giusta o sbagliata: nello studio di Brin del 2023, GPT-4 non ha modificato nessuna delle sue risposte quando gli è stato chiesto se ne fosse sicuro, comprese quelle sbagliate. Un errore mescolato ad affermazioni corrette, espresso con la stessa sicurezza, è il più difficile da cogliere.

Per correttezza verso ChatGPT, la sua interfaccia avverte che può commettere errori, i modelli più recenti inventano meno riferimenti e, quando ChatGPT cerca sul web, collega le pagine che ha usato. Quella ricerca, però, non è limitata a riviste, linee guida e schede tecniche dei farmaci, e un link è utile solo se lo apri.

ChatGPT è utile per gli studenti di medicina e la ricerca?

ChatGPT è un utile compagno di studio per studenti di medicina e ricercatori, a patto che ogni dato rilevante venga verificato. Per gli studenti, ChatGPT è bravo a spiegare un meccanismo con parole semplici, a ragionare sul perché una diagnosi differenziale abbia senso, a interrogarti su un argomento e a riformulare un paragrafo denso, e gli studi sugli esami mostrano che conosce gran parte della medicina da manuale. Il rischio è una spiegazione scorrevole ma sbagliata in un dettaglio, che poi impari come un dato di fatto. Per la preparazione agli esami, una banca di domande le cui spiegazioni sono state scritte e verificate sulle fonti è la base più sicura, con un chatbot al suo fianco. Per i ricercatori, ChatGPT può aiutare nel brainstorming, nella stesura di scalette e nelle sintesi in linguaggio semplice di testi incollati, ma gli studi sulle citazioni mostrano perché non bisogna affidargli la fornitura di riferimenti. Ogni riferimento proveniente da un chatbot va trovato e letto prima di inserirlo in un manoscritto o in una slide per un journal club.

Per un confronto tra strumenti per gli esami, incluso il ruolo di ChatGPT, vedi le migliori app di IA per l'USMLE.

Come si può verificare una risposta medica dell'IA?

Puoi verificare qualsiasi risposta medica dell'IA, di ChatGPT o di qualsiasi altro strumento, con gli stessi cinque passaggi. Inizia trovando la fonte dietro la specifica affermazione che intendi usare; se la risposta non ne fornisce, considera l'affermazione non verificata finché non la trovi in una linea guida, in una scheda tecnica o in un articolo sottoposto a revisione paritaria. Apri la fonte e conferma che esista e dica ciò che dice la frase, per lo stesso gruppo di pazienti, perché un trial negli adulti non risponde a una domanda sui bambini. Controlla la data, perché una linea guida aggiornata dopo l'addestramento di un modello potrebbe aver cambiato la raccomandazione. Verifica di chi sono le raccomandazioni: le linee guida NICE, statunitensi ed europee possono differire, quindi segui quella che si applica dove eserciti. Infine, ricava qualsiasi dose di farmaco dalle informazioni di prescrizione aggiornate o dal prontuario locale, mai dalla risposta di un chatbot. Queste verifiche richiedono pochi minuti e intercettano gli errori descritti dagli studi citati sopra.

• Campanello d'allarme: una linea guida senza anno. Non puoi sapere se la raccomandazione è ancora attuale.
• Campanello d'allarme: certezza su una questione aperta. Dove le evidenze sono deboli o le linee guida non concordano, una buona risposta lo dice.

In che modo AskMed è costruito diversamente?

AskMed è costruito in modo che ogni affermazione di una risposta possa essere verificata, invece di affidarsi a ciò che un modello ricorda. Prima di scrivere qualsiasi risposta, AskMed consulta un elenco fisso di fonti mediche: riviste e banche dati come PubMed, la Cochrane Library, NEJM, The Lancet, JAMA e The BMJ; linee guida e agenzie come NICE, OMS e CDC; le schede tecniche dei farmaci di FDA e DailyMed; e opere di riferimento come StatPearls e BMJ Best Practice. AskMed non effettua ricerche sul web aperto, nei forum o sui social media. Un modello di IA scrive poi la risposta a partire da ciò che la ricerca ha trovato, e ogni affermazione è seguita da un link alla sua fonte all'indirizzo web esatto di quella fonte, da 8 fonti per impostazione predefinita. Se non emerge alcuna fonte utilizzabile, AskMed mostra una risposta standard che lo dice invece di rispondere a memoria. Per le domande sulla gestione clinica, AskMed cerca l'ultimo aggiornamento delle linee guida ed è istruito a indicare l'anno di ogni raccomandazione di linea guida che riporta.

AskMed non fornisce mai dosi di farmaci; il dosaggio esatto proviene dalle informazioni di prescrizione. Anche le risposte di AskMed sono generate dall'IA, senza revisione umana prima che tu le veda, quindi AskMed può fraintendere una fonte. La differenza è che ogni frase ha un link che puoi aprire. AskMed funziona su iPhone, iPad, Android e web. Tutti i dettagli: Come risponde AskMed.