OpenEvidence avis : est-il fiable ? Ce que montrent les études
Mis à jour le
Dans les tests publiés, OpenEvidence est exact sur la plupart des questions cliniques et ses références sont réelles, mais il commet encore des erreurs, et les études ne s’accordent pas sur sa place face aux chatbots d’IA généralistes : un avis sur OpenEvidence doit donc s’appuyer sur ces données. Les annonces d’OpenEvidence font état d’un score parfait à un examen d’entraînement public de l’USMLE. Des chercheurs indépendants ont trouvé des réponses de grande qualité dans plusieurs spécialités, aucune référence inventée parmi près de 5 000 vérifiées, mais aussi des réponses incomplètes, des scores inférieurs à ceux des chatbots de pointe sur une série de benchmarks et des résultats plus faibles sur les questions d’information sur les médicaments. Ci-dessous : sur quoi repose OpenEvidence, ce qu’il revendique, ce qu’ont trouvé les études, comment vérifier une réponse, et comment répond AskMed, une référence médicale fondée sur l’IA pour les médecins, infirmiers, pharmaciens, étudiants en médecine et chercheurs.
- Ce qu’affirme OpenEvidence100 % à l’examen d’entraînement public de l’USMLE, questions textuelles uniquement, test mené par OpenEvidence (2025)
- Benchmark indépendant89,6 % sur 500 questions MedQA, derrière trois chatbots de pointe (Nature Medicine, 2026)
- RéférencesAucune référence inventée parmi 4 979 citations vérifiées (npj Health Systems, 2026)
- Tests par spécialitéRéponses surtout de grande qualité, avec des lacunes en exhaustivité, en information sur les médicaments et en données pédiatriques (2026)
Sur quoi repose OpenEvidence ?
OpenEvidence est un moteur de recherche médicale par IA d’OpenEvidence Inc. qui rédige des réponses sourcées aux questions cliniques des professionnels de santé vérifiés. Sa fiche App Store américaine indique que les réponses sont « sourced, cited, and grounded in peer-reviewed medical literature » (sourcées, citées et fondées sur la littérature médicale évaluée par les pairs), chaque affirmation étant citée, à partir de plus de 35 millions d’articles évalués par les pairs, de plus de 300 revues médicales et de sources de la FDA et des CDC. La fiche cite comme partenaires officiels le NEJM, le JAMA et ses 11 revues de spécialité, le NCCN, Nature, la Cochrane Library et Wiley, et mentionne le texte intégral sous licence de plusieurs d’entre eux ainsi que des accords de contenu avec des sociétés savantes comme l’AAFP, l’ACC, l’ADA, l’AAP et l’ACOG. Depuis juillet 2026, une fonction appelée EvidenceGrade évalue la solidité des preuves derrière chaque réponse, en s’appuyant sur le cadre GRADE. Les conditions d’utilisation d’OpenEvidence précisent que le service est destiné uniquement à l’éducation et à l’information et ne remplace pas le jugement clinique.
Les modèles de langage de base d’OpenEvidence ne sont pas publics, comme le notent les auteurs d’une étude parue dans Nature Medicine en 2026. En septembre 2026, OpenEvidence a lancé sa propre famille de modèles : Osler, le modèle par défaut pour les réponses rapides ; Sackett, un modèle de recherche plus approfondie ; et Snow, qui rédige des rapports plus longs.
Que dit OpenEvidence de sa propre précision ?
OpenEvidence communique sa précision surtout au moyen de benchmarks d’examen menés par l’entreprise elle-même. Le 14 juillet 2023, OpenEvidence a annoncé que son IA était la première à dépasser 90 % à l’USMLE, mesuré sur l’examen d’entraînement officiel de 2022. Le 15 août 2025, il a annoncé un score parfait de 100 % à l’USMLE. Sa section méthodes précise que le test utilisait les questions de l’examen d’entraînement publiées par Kung et ses collègues en 2023, excluait toutes les questions contenant une image, corrigeait une erreur de saisie dans ce jeu de données et notait une question du Step 3 selon la réponse d’OpenEvidence plutôt que selon le corrigé officiel, après que sept psychiatres l’eurent examinée et eurent donné raison à OpenEvidence. Le 3 septembre 2026, OpenEvidence a indiqué qu’un nouveau modèle de recherche, Darwin, avait obtenu 100 % sur MedQA, 72,8 % sur MedXpertQA, 82,7 % sur HealthBench Professional et 87,2 % sur NOHARM. Darwin est en préversion de recherche, accessible uniquement sur candidature : ce n’est donc pas le modèle que les cliniciens utilisent au quotidien.
Ces trois résultats proviennent tous des annonces d’OpenEvidence, et non de tests indépendants, et une question d’examen d’autorisation d’exercice fournit tous les éléments utiles dans une vignette épurée avec une seule meilleure réponse, ce qui est rarement le cas des vraies questions cliniques.
Qu’ont trouvé les études indépendantes ?
Le plus grand test indépendant d’OpenEvidence à ce jour l’a jugé exact, mais derrière trois chatbots généralistes. Vishwanath et ses collègues de NYU Langone (Nature Medicine, 2026) ont interrogé OpenEvidence via son site web en septembre 2025 et en février 2026 et l’ont comparé à UpToDate Expert AI, GPT-5.2, Gemini 3.1 Pro et Claude Opus 4.6. Sur 500 questions d’examen MedQA, OpenEvidence a obtenu 89,6 %, contre 97,4 % pour Gemini, 94,2 % pour GPT-5.2, 90,2 % pour Claude et 88,4 % pour UpToDate Expert AI. Sur 100 vraies questions que des médecins avaient posées à une IA pendant les soins, 12 cliniciens en aveugle ont attribué à OpenEvidence une moyenne de 3,24 sur une échelle de 4 points, contre 3,62 pour Gemini. OpenEvidence a obtenu son plus faible score sur la clarté, et les auteurs ont écrit que sa faiblesse tenait à la communication, non aux connaissances. Le contenu dangereux et les hallucinations ne différaient pas significativement entre les six systèmes testés. Les auteurs présentent leurs résultats comme un instantané d’outils qui évoluent vite, et ils n’ont pas évalué la qualité des citations.
Une deuxième étude a abouti au classement inverse. Feng et ses collègues (prépublication arXiv, juin 2026, non évaluée par les pairs) ont demandé à 149 médecins américains de comparer en aveugle des réponses à 620 vraies questions posées sur OpenEvidence, et les médecins ont préféré OpenEvidence à Claude Opus 4.8, Gemini 3.1 Pro et GPT-5.5 pour l’exactitude, l’utilité clinique, la qualité des sources, la vérifiabilité et l’exhaustivité. L’article précise qu’aucun de ses auteurs n’est affilié à OpenEvidence, mais qu’OpenEvidence a coélaboré le plan de collecte des données, réalisé cette collecte et rémunéré les médecins qui ont évalué les réponses.
OpenEvidence invente-t-il des références ?
Les études menées jusqu’ici ont montré que les références d’OpenEvidence sont réelles, ce qui le distingue des chatbots qui citent de mémoire. Lotan et ses collègues (npj Health Systems, 2026) ont soumis à OpenEvidence 150 requêtes standardisées dans cinq spécialités et vérifié les 4 979 citations renvoyées : aucune n’a été confirmée comme inventée, trois résumés présentaient des erreurs d’attribution, et la plupart des références étaient récentes et issues de revues à fort impact. Cette étude vérifiait l’existence de chaque référence, et non si elle étaye la phrase à laquelle elle est rattachée. Hunter et ses collègues (Hospital Pediatrics, 2026) ont, eux, vérifié cet étayage : sur 17 questions fondées sur des recommandations dans six surspécialités pédiatriques, 88,2 % des réponses ont été jugées solidement étayées par leurs citations, et OpenEvidence a cité la recommandation principale pour 15 des 17 questions. Mais 35,3 % des réponses citaient des études non spécifiques aux enfants : un article réel peut donc décrire les mauvais patients. Des références réelles sont le point de départ de la vérification d’une réponse, pas la preuve qu’elle est juste.
La même étude a attribué aux réponses une qualité médiane de 27 sur 30, et 6 des 17 réponses comportaient un certain risque de préjudice, aucune au-delà de 3 sur l’échelle de préjudice en 7 points de l’étude.
Où les réponses d’OpenEvidence sont-elles insuffisantes ?
Les réponses d’OpenEvidence pèchent le plus souvent par manque d’exhaustivité, en information sur les médicaments et pour les décisions nuancées, selon des études de spécialité publiées en 2026. Meyer et ses collègues (American Surgeon, 2026) ont testé 138 scénarios de cancer du rectum construits à partir des recommandations du NCCN : les réponses d’OpenEvidence ont été jugées correctes dans 92,8 % des cas et exactes dans 81,2 %, contre 98,6 % et 84,1 % pour ChatGPT-5, et les auteurs ont jugé les deux outils limités en exhaustivité, en nuance et pour les décisions dépendant des préférences du patient. Dans une étude en pharmacie d’Issa et ses collègues (American Journal of Health-System Pharmacy, 2026), OpenEvidence a répondu correctement à 40 % de 20 questions d’information sur les médicaments, contre 70 % pour ChatGPT 5.1, bien que ses réponses aient obtenu le meilleur score de qualité globale parmi les outils d’IA. Stephenson et ses collègues de la Mayo Clinic (Mayo Clinic Proceedings: Digital Health, 2026) ont trouvé que les 125 télé-expertises d’OpenEvidence sur la stéatose hépatique étaient mieux notées que celles des spécialistes eux-mêmes, mais 12 contenaient des erreurs mineures et une une erreur potentiellement majeure.
Dans un test de triage de Jia et ses collègues (International Journal of Medical Informatics, 2026), OpenEvidence avait raison dans 71,3 % des cas tranchés auxquels il a répondu, sous-estimait la gravité de 12,5 % des urgences et surestimait celle de 68,0 % des cas qui pouvaient être pris en charge à domicile. Ses erreurs penchaient du côté de la prudence.
Quelles limites tous les moteurs de réponse par IA partagent-ils ?
Les moteurs de réponse par IA comme OpenEvidence partagent des limites qui tiennent à leur fonctionnement, quelles que soient leurs sources. Un moteur de réponse récupère d’abord des documents, puis un modèle de langage en rédige un résumé, et les deux étapes peuvent mal tourner. Les auteurs de l’étude de Nature Medicine citent des données montrant que la recherche documentaire peut dégrader les performances lorsque des documents non pertinents sont récupérés ou mal intégrés par le modèle. Même avec des sources réelles, une phrase peut affirmer davantage que sa source : Wu et ses collègues (Nature Communications, 2025) ont testé sept modèles populaires sur 800 questions médicales et constaté que 50 % à 90 % des réponses n’étaient pas entièrement étayées, et parfois contredites, par les sources citées ; même pour GPT-4o avec recherche web, environ 30 % des affirmations individuelles n’étaient pas étayées. Cette étude n’a pas testé OpenEvidence. Les moteurs de réponse changent aussi souvent : OpenEvidence a lancé un nouveau modèle par défaut, Osler, en septembre 2026, après que les études de Nature Medicine et de pharmacie eurent recueilli leurs réponses, si bien que les chiffres publiés peuvent ne pas décrire la version actuelle.
Enfin, une réponse fluide et bien sourcée se lit avec la même assurance, qu’elle soit complète ou non. Vérifier la source derrière l’affirmation sur laquelle vous vous appuyez est la seule garantie fiable.
Comment vérifier une réponse d’OpenEvidence ?
Vous pouvez vérifier une réponse d’OpenEvidence, ou de n’importe quel outil d’IA, en quelques minutes avec les mêmes cinq étapes. Premièrement, ouvrez la citation derrière la phrase précise sur laquelle vous comptez agir, et confirmez que la source dit bien ce que dit la phrase ; une référence réelle peut être rattachée à une affirmation qu’elle n’étaye pas. Deuxièmement, vérifiez que la source a étudié les mêmes patients : l’étude pédiatrique ci-dessus a montré qu’environ un tiers des réponses citaient des études non spécifiques aux enfants. Troisièmement, vérifiez la date et le type de preuve, car une recommandation actuelle l’emporte sur une revue plus ancienne et une petite étude isolée pèse moins qu’une méta-analyse ; la note EvidenceGrade d’OpenEvidence aide ici, mais lisez aussi la source. Quatrièmement, vérifiez de qui émane la recommandation, car les recommandations du NICE, américaines et européennes peuvent différer. Cinquièmement, prenez toute posologie dans le résumé des caractéristiques du produit en vigueur ou dans votre livret thérapeutique local, jamais dans un résumé d’IA.
- Ouvrez la citation. Lisez la phrase dans la source elle-même.
- Vérifiez les patients. Adultes, enfants, grossesse et fonction rénale changent la réponse.
- Vérifiez la date et le type. La recommandation la plus récente d’abord, puis les revues systématiques, puis les études isolées.
- Vérifiez l’origine de la recommandation. Suivez celle qui s’applique là où vous exercez.
- Prenez la posologie dans la notice. Utilisez le résumé des caractéristiques du produit en vigueur.
Pour ce que les études ont trouvé sur les chatbots généralistes, voir ChatGPT est-il fiable pour les questions médicales ?
En quoi AskMed répond-il différemment ?
AskMed est conçu pour que chaque affirmation puisse être vérifiée et pour que toute personne travaillant en médecine puisse l’utiliser. Avant de rédiger la moindre réponse, AskMed interroge une liste fixe de sources médicales : revues et bases de données comme PubMed, la Cochrane Library, le NEJM, The Lancet, le JAMA et The BMJ ; recommandations et agences comme le NICE, l’OMS, les CDC, l’ESC et les KDIGO ; notices de médicaments de la FDA et de DailyMed, ainsi que des registres comme l’EMA pour les noms de marque locaux ; et des références comme StatPearls et BMJ Best Practice. AskMed n’interroge ni le web ouvert, ni les forums, ni les réseaux sociaux. Chaque affirmation est suivie d’un lien vers sa source, à partir de 8 sources par défaut, et les filtres de sources permettent de choisir les types de sources, les types d’études et de 3 à 12 sources. Si aucune source exploitable n’est trouvée, AskMed affiche une réponse fixe qui le signale au lieu de répondre de mémoire. AskMed ne donne jamais de posologie, fonctionne dans le monde entier sans NPI ni numéro d’autorisation d’exercice, et tourne sur iPhone, iPad, Android et le web.
Les réponses d’AskMed sont elles aussi rédigées par une IA, sans relecture humaine avant que vous ne les voyiez, si bien qu’AskMed peut lui aussi mal interpréter une source ; l’essentiel est que chaque phrase porte un lien que vous pouvez ouvrir. Les conditions d’utilisation d’OpenEvidence indiquent qu’il n’est pas disponible au Royaume-Uni, dans l’UE ni dans l’EEE, et son inscription demande un NPI ou un autre numéro d’autorisation d’exercice. Pour une comparaison détaillée, voir AskMed vs OpenEvidence et les alternatives à OpenEvidence ; pour chaque source et chaque limite, voir Comment AskMed répond.
Questions fréquentes
OpenEvidence est-il fiable ?
Le plus souvent, mais pas toujours. Des études indépendantes ont trouvé des réponses de grande qualité dans plusieurs spécialités et aucune référence inventée parmi 4 979 citations vérifiées, mais aussi des réponses incomplètes, 40 % d’exactitude sur une petite série de questions d’information sur les médicaments, et des scores de benchmark inférieurs à ceux de trois chatbots de pointe dans une étude de Nature Medicine de 2026. Utilisez OpenEvidence comme point de départ et ouvrez la source derrière toute affirmation sur laquelle vous vous appuyez.
OpenEvidence a-t-il vraiment obtenu 100 % à l’USMLE ?
OpenEvidence l’affirme, dans une annonce d’août 2025. Le test utilisait les questions de l’examen d’entraînement public de l’USMLE tirées d’une étude de 2023, sans les questions contenant des images, et comptait une question du Step 3 selon la réponse d’OpenEvidence plutôt que selon le corrigé officiel. Le test a été mené par OpenEvidence et n’a pas été publié dans une revue à comité de lecture.
OpenEvidence a-t-il des hallucinations ?
Moins que les chatbots généralistes en matière de références : une étude de 2026 n’a trouvé aucune référence inventée parmi 4 979 citations d’OpenEvidence. Dans l’étude de Nature Medicine de 2026, le taux de contenu halluciné d’OpenEvidence ne différait pas significativement de celui des cinq autres systèmes testés. Une référence réelle peut toutefois être rattachée à une affirmation qu’elle n’étaye pas entièrement : ouvrez-la.
OpenEvidence est-il plus fiable que ChatGPT ?
Les études divergent. Une étude de Nature Medicine de 2026, évaluée par les pairs, a classé GPT-5.2, Gemini et Claude devant OpenEvidence, tandis qu’une prépublication de 2026 dont OpenEvidence a mené et financé la collecte des données a trouvé que les médecins préféraient les réponses d’OpenEvidence. Les études par spécialité sont elles aussi partagées. Pour en savoir plus, voir OpenEvidence vs ChatGPT pour les cliniciens vs AskMed.
AskMed peut-il se tromper ?
Oui. Les réponses d’AskMed sont rédigées par une IA : vérifiez donc la source liée derrière toute affirmation sur laquelle vous vous appuyez, et touchez le pouce vers le bas sous une réponse pour signaler une erreur.
AskMed donne-t-il des posologies ?
Non. AskMed ne donne jamais de posologies, de calculs de dose ni de schémas de titration, même pour des questions d’examen. Il explique tout de même les indications d’un médicament, la façon dont la posologie est choisie et ajustée, la surveillance et les effets indésirables. Les doses exactes figurent dans le résumé des caractéristiques du produit en vigueur.