ChatGPT est-il fiable pour les questions médicales ?

Quelle est la fiabilité de ChatGPT aux examens de médecine ?

ChatGPT obtient de bons scores aux questions d’examens d’autorisation d’exercice de la médecine, et ses scores ont progressé à chaque nouveau modèle. Dans l’étude initiale la plus connue, Kung et ses collègues (PLOS Digital Health, 2023) ont soumis à ChatGPT, alors sous GPT-3.5, 350 questions de l’examen d’exemple public de l’USMLE de juin 2022, après avoir retiré les questions comportant des images, et ont constaté qu’il se situait au niveau ou près du seuil de réussite d’environ 60 % pour le Step 1, le Step 2 CK et le Step 3. Plus tard en 2023, Brin et ses collègues (Scientific Reports, 2023) ont testé 80 questions de type USMLE portant sur la communication, l’éthique, l’empathie et le professionnalisme : GPT-4 a répondu correctement à 90 % d’entre elles et ChatGPT sous GPT-3.5 à 62,5 %, contre une moyenne de 78 % pour les utilisateurs d’AMBOSS sur les mêmes questions. En 2026, les auteurs d’une étude publiée dans Nature Medicine écrivaient que les grands modèles de langage obtiennent désormais des scores quasi parfaits aux examens d’autorisation d’exercice de la médecine. Pour les connaissances de manuel, ChatGPT est solide.

Une question d’examen fournit cependant tous les éléments pertinents dans une vignette nette, avec une seule meilleure réponse. Une vraie question clinique s’accompagne d’une anamnèse incomplète, de recommandations qui ont pu changer et d’un patient particulier à qui la réponse doit s’appliquer.

Quelle est la fiabilité de ChatGPT sur de vraies questions cliniques ?

Sur des questions cliniques ouvertes, ChatGPT a raison la plupart du temps, mais pas de façon constante. Goodman et ses collègues (JAMA Network Open, 2023) ont demandé à 33 médecins de 17 spécialités de rédiger 284 questions médicales et d’évaluer les réponses de ChatGPT : le score médian d’exactitude était de 5,5 sur une échelle de 6 points, entre presque entièrement et entièrement correct, mais la moyenne était de 4,8, et les questions difficiles obtenaient des scores plus bas que les questions faciles. Les réponses mal notées s’amélioraient lorsque les questions étaient reposées 8 à 17 jours plus tard, et GPT-4 obtenait de meilleurs scores que GPT-3.5. Chen et ses collègues (JAMA Oncology, 2023) ont demandé à ChatGPT des conseils de traitement pour les cancers du sein, de la prostate et du poumon : 34,3 % des 102 réponses formulant une recommandation incluaient au moins un traitement non conforme aux recommandations du NCCN, et 12,5 % de l’ensemble des 104 réponses citaient un traitement ne faisant partie d’aucun traitement recommandé. Les recommandations erronées étaient mêlées aux recommandations correctes, ce qui, selon les auteurs, les rendait difficiles à repérer même pour des experts.

Connaître la réponse ne revient pas non plus à aider une personne à y parvenir. Dans un essai randomisé de Bean et ses collègues (Nature Medicine, 2026), des modèles dont GPT-4o identifiaient l’affection dans 94,9 % des scénarios écrits lorsqu’ils étaient testés seuls, mais les 1 298 participants britanniques qui les utilisaient identifiaient les affections pertinentes dans moins de 34,5 % des cas, sans faire mieux qu’un groupe témoin utilisant ses sources habituelles.

ChatGPT invente-t-il des références médicales ?

ChatGPT a inventé des références médicales à des taux élevés lorsqu’on lui demandait de rédiger des textes avec des citations de mémoire, même si les modèles plus récents le font moins souvent. Bhattacharyya et ses collègues (Cureus, 2023) ont demandé à ChatGPT sous GPT-3.5 de rédiger 30 courts articles médicaux comportant chacun au moins trois références. Sur les 115 références produites, 47 % étaient inventées, 46 % étaient réelles mais inexactes, et seulement 7 % étaient à la fois réelles et exactes. Walters et Wilder (Scientific Reports, 2023) ont fait rédiger à ChatGPT de courtes revues de la littérature sur 42 sujets et ont vérifié les 636 citations : 55 % des citations de GPT-3.5 et 18 % de celles de GPT-4 étaient inventées, et parmi les citations réelles, 43 % et 24 % comportaient des erreurs substantielles, comme un mauvais volume, un mauvais numéro ou une mauvaise page. Une référence inventée a la même forme qu’une vraie, avec des auteurs, une revue et une année : elle peut donc passer inaperçue au premier coup d’œil et n’échoue que lorsqu’on la recherche.

Un taux de 18 % représente encore environ une référence inventée sur cinq : recherchez donc dans PubMed chaque référence fournie par un chatbot avant de la citer.

Où les chatbots généralistes se trompent-ils ?

Les chatbots généralistes comme ChatGPT se trompent en médecine de quatre façons prévisibles, et aucune ne signifie que le modèle connaît mal la médecine. Premièrement, une référence rédigée de mémoire peut être inventée, comme le montrent les études sur les citations. Deuxièmement, un modèle répond à partir de données d’entraînement qui s’arrêtent à une date limite : dans l’étude de 2023 en cancérologie, les auteurs ont comparé les réponses aux recommandations du NCCN de 2021, car les connaissances du modèle s’arrêtaient en septembre 2021 ; toute évolution ultérieure des recommandations lui était donc invisible. Troisièmement, une réponse rédigée à partir des données d’entraînement n’indique aucune source : vous ne pouvez donc pas voir d’où vient une affirmation ni quelle est la solidité des données qui l’étayent. Quatrièmement, le ton reste tout aussi assuré, que la réponse soit juste ou fausse : dans l’étude de Brin de 2023, GPT-4 n’a modifié aucune de ses réponses lorsqu’on lui a demandé s’il en était sûr, y compris les réponses fausses. Une erreur mêlée à des affirmations correctes, énoncée avec la même assurance, est la plus difficile à repérer.

Pour être juste envers ChatGPT, son interface avertit qu’il peut faire des erreurs, les modèles plus récents inventent moins de références, et lorsque ChatGPT fait une recherche sur le web, il donne les liens des pages utilisées. Cette recherche ne se limite cependant pas aux revues, recommandations et notices de médicaments, et un lien n’est utile que si vous l’ouvrez.

ChatGPT est-il utile aux étudiants en médecine et à la recherche ?

ChatGPT est un partenaire de révision utile pour les étudiants en médecine et les chercheurs, à condition de vérifier chaque information importante. Pour les étudiants, ChatGPT sait bien expliquer un mécanisme en termes simples, discuter de la pertinence d’un diagnostic différentiel, vous interroger sur un sujet et reformuler un paragraphe dense, et les études sur les examens montrent qu’il connaît l’essentiel de la médecine des manuels. Le risque est une explication fluide mais fausse sur un détail, que vous apprenez ensuite comme un fait. Pour préparer un examen, une banque de questions dont les explications ont été rédigées et vérifiées à partir de sources constitue un socle plus sûr, avec un chatbot en complément. Pour les chercheurs, ChatGPT peut aider au brainstorming, à l’élaboration d’un plan et aux résumés en langage simple d’un texte que vous collez, mais les études sur les citations montrent pourquoi il ne faut pas lui confier la fourniture de références. Chaque référence issue d’un chatbot doit être retrouvée et lue avant d’entrer dans un manuscrit ou une diapositive de club de lecture.

Pour une comparaison des outils de préparation aux examens, y compris la place de ChatGPT, consultez les meilleures applications d’IA pour l’USMLE.

Comment vérifier une réponse médicale d’une IA ?

Vous pouvez vérifier toute réponse médicale d’une IA, qu’elle provienne de ChatGPT ou d’un autre outil, en suivant les cinq mêmes étapes. Commencez par trouver la source de l’affirmation précise que vous comptez utiliser ; si la réponse n’en donne aucune, considérez l’affirmation comme non vérifiée tant que vous ne l’avez pas trouvée dans une recommandation, une notice de médicament ou un article évalué par des pairs. Ouvrez la source et vérifiez qu’elle existe et dit bien ce que dit la phrase, pour le même groupe de patients, car un essai chez l’adulte ne répond pas à une question sur l’enfant. Vérifiez la date, car une recommandation mise à jour après l’entraînement d’un modèle peut avoir changé. Vérifiez de quelles recommandations il s’agit : celles du NICE, des États-Unis et de l’Europe peuvent différer, suivez donc celles qui s’appliquent là où vous exercez. Enfin, prenez toute posologie dans les informations de prescription en vigueur ou votre formulaire local, jamais dans la réponse d’un chatbot. Ces vérifications prennent quelques minutes et permettent de repérer les erreurs décrites par les études ci-dessus.

• Signal d’alerte : une recommandation sans année. Impossible de savoir si la recommandation est toujours en vigueur.
• Signal d’alerte : de la certitude sur une question ouverte. Lorsque les données sont faibles ou que les recommandations divergent, une bonne réponse le dit.

En quoi AskMed est-il conçu différemment ?

AskMed est conçu pour que chaque affirmation d’une réponse puisse être vérifiée, au lieu de reposer sur ce dont un modèle se souvient. Avant de rédiger toute réponse, AskMed interroge une liste fixe de sources médicales : des revues et bases de données comme PubMed, la Cochrane Library, le NEJM, The Lancet, le JAMA et The BMJ ; des recommandations et agences comme le NICE, l’OMS et les CDC ; les notices de médicaments de la FDA et de DailyMed ; et des ouvrages de référence comme StatPearls et BMJ Best Practice. AskMed ne fait pas de recherche sur le web ouvert, les forums ou les réseaux sociaux. Un modèle d’IA rédige ensuite la réponse à partir de ce que la recherche a trouvé, et chaque affirmation est suivie d’un lien vers sa source, à l’adresse web exacte de celle-ci, à partir de 8 sources par défaut. Si aucune source exploitable n’est trouvée, AskMed affiche une réponse type qui le signale au lieu de répondre de mémoire. Pour les questions de prise en charge, AskMed recherche la dernière mise à jour des recommandations et a pour consigne d’indiquer l’année de chaque recommandation qu’il cite.

AskMed ne donne jamais de posologies ; la posologie exacte relève des informations de prescription. Les réponses d’AskMed sont elles aussi générées par l’IA, sans relecture humaine avant que vous ne les voyiez : AskMed peut donc mal interpréter une source. La différence, c’est que chaque phrase porte un lien que vous pouvez ouvrir. AskMed fonctionne sur iPhone, iPad, Android et le web. Tous les détails : Comment AskMed répond.