OpenEvidenceは正確か？評判と研究でわかったこと
最終更新日：
OpenEvidenceの精度についての評判を公表された検証で確かめると、ほとんどの臨床上の質問に正確に答え、参考文献も実在します。ただし誤りはあり、汎用AIチャットボットと比べてどうかについては研究によって結論が分かれています。OpenEvidence自身の発表では、公開されているUSMLEのサンプル試験で満点を取ったとしています。独立した研究者は、複数の専門分野で質の高い回答を確認し、約5,000件の引用のなかに捏造された参考文献は見つかりませんでした。一方で、不完全な回答、ある一連のベンチマークで最先端のチャットボットより低いスコア、医薬品情報の質問での弱い結果も報告されています。以下では、OpenEvidenceが何にもとづいているか、何を主張しているか、研究で何がわかったか、回答をどう確認するか、そして医師、看護師、薬剤師、医学生、研究者のためのAI医療リファレンスであるAskMedがどう答えるかを説明します。
- OpenEvidence自身の主張公開USMLEサンプル試験（テキストのみの問題）で100%、OpenEvidenceが実施（2025年）
- 独立したベンチマークMedQAの500問で89.6%、最先端のチャットボット3つより低い結果（Nature Medicine、2026年）
- 参考文献確認した4,979件の引用に捏造された参考文献はなし（npj Health Systems、2026年）
- 専門分野での検証大半は質の高い回答だが、網羅性、医薬品情報、小児のエビデンスに課題（2026年）
OpenEvidenceは何にもとづいているのか？
OpenEvidenceは、OpenEvidence Inc.のAI医療検索エンジンで、認証済みの医療従事者に向けて臨床上の質問への出典つきの回答を作成します。米国App Storeの掲載ページによると、回答は「sourced, cited, and grounded in peer-reviewed medical literature」（出典があり、引用され、査読済みの医学文献にもとづいている）とされ、すべての記述に出典が付き、3,500万本以上の査読済み論文、300以上の医学雑誌、FDAとCDCの情報を利用しています。掲載ページでは、NEJM、JAMAとその11の専門誌、NCCN、Nature、Cochrane Library、Wileyを公式パートナーとして挙げ、そのいくつかの全文のライセンス利用や、AAFP、ACC、ADA、AAP、ACOGなどの学会とのコンテンツ契約にも触れています。2026年7月からは、EvidenceGradeという機能が、GRADEの枠組みにもとづいて各回答の根拠となるエビデンスの強さを評価しています。OpenEvidenceの利用規約には、このサービスは教育と情報提供のみを目的とし、臨床判断に代わるものではないと書かれています。
2026年のNature Medicineの研究の著者らが指摘しているように、OpenEvidenceの基盤となる言語モデルは公開されていません。2026年9月には独自のモデルファミリーを公開しました。高速な回答の既定モデルであるOsler、より深く検索するモデルのSackett、長いレポートを書くSnowです。
OpenEvidenceは自社の精度について何と言っているか？
OpenEvidenceは主に、自社で実施した試験のベンチマークを通じて精度を報告しています。2023年7月14日、OpenEvidenceは、2022年の公式サンプル試験で測定し、同社のAIがUSMLEで初めて90%を超えたと発表しました。2025年8月15日には、USMLEで満点の100%を取ったと発表しました。その方法の項によると、検証にはKungらが2023年に公表したサンプル試験の問題を用い、画像を含む問題はすべて除外し、そのデータセットの記録ミスを1つ修正し、Step 3の1問については、7人の精神科医が見直してOpenEvidenceの回答に同意したのち、公式の正答ではなくOpenEvidenceの回答で採点しました。2026年9月3日には、新しい研究用モデルのDarwinが、MedQAで100%、MedXpertQAで72.8%、HealthBench Professionalで82.7%、NOHARMで87.2%を記録したと発表しました。Darwinは申請制のリサーチプレビューで、臨床医が日常的に使うモデルではありません。
これら3つの結果はいずれもOpenEvidence自身の発表によるもので、独立した検証ではありません。また、医師国家試験の問題は、関連する事実がすべて整理された症例文で示され、最善の答えが1つあるという形式ですが、実際の臨床上の質問はほとんどそうなっていません。
独立した研究では何がわかったか？
これまでで最大のOpenEvidenceの独立した検証では、OpenEvidenceは正確だったものの、3つの汎用チャットボットには及びませんでした。NYU LangoneのVishwanathら（Nature Medicine、2026年）は、2025年9月と2026年2月にウェブサイト経由でOpenEvidenceに質問し、UpToDate Expert AI、GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6と比較しました。MedQAの試験問題500問では、OpenEvidenceは89.6%で、Geminiは97.4%、GPT-5.2は94.2%、Claudeは90.2%、UpToDate Expert AIは88.4%でした。医師が診療中に実際にAIに尋ねた100の質問では、盲検化された12人の臨床医がOpenEvidenceに4点満点で平均3.24をつけ、Geminiは3.62でした。OpenEvidenceは明瞭さで最も低いスコアとなり、著者らはその弱点は知識ではなく伝え方にあると述べています。有害な内容とハルシネーションについては、検証した6つのシステムの間に有意差はありませんでした。著者らはこの結果を変化の速いツールのスナップショットとしており、引用の質は評価していません。
2つ目の研究は逆の順位になりました。Fengら（arXivプレプリント、2026年6月、査読前）は、米国の医師149人に、OpenEvidenceで実際に尋ねられた620の質問に対する盲検化された回答を比較してもらいました。医師たちは、正確性、臨床的有用性、情報源の質、検証可能性、網羅性のすべてで、Claude Opus 4.8、Gemini 3.1 Pro、GPT-5.5よりOpenEvidenceを好みました。論文には、著者のなかにOpenEvidenceの関係者はいないものの、OpenEvidenceがデータ収集計画を共同で作成し、データ収集を実施し、回答を評価した医師に報酬を支払ったと記載されています。
OpenEvidenceは参考文献をでっち上げるのか？
これまでの研究では、OpenEvidenceの参考文献は実在することがわかっており、記憶にもとづいて引用するチャットボットとはこの点が異なります。Lotanら（npj Health Systems、2026年）は、5つの専門分野にわたる150の標準的なプロンプトをOpenEvidenceに送り、返された4,979件の引用をすべて確認しました。捏造と確認されたものはなく、3件の抄録に帰属の誤りがあり、ほとんどの参考文献は新しく、インパクトの高い学術誌のものでした。この研究は、各参考文献が実在するかどうかを確認したもので、付けられた文の内容を裏付けているかどうかは確認していません。Hunterら（Hospital Pediatrics、2026年）は裏付けを確認しました。小児の6つのサブスペシャルティにわたるガイドラインにもとづく17の質問で、88.2%の回答が引用によって十分に裏付けられていると評価され、OpenEvidenceは17問中15問で主要なガイドラインを引用していました。しかし、35.3%の回答は小児に特化していない研究を引用しており、実在する論文でも対象とする患者が違うことがあります。実在する参考文献は回答を確認する出発点であって、回答が正しいことの証明ではありません。
同じ研究では、回答の質は30点満点で中央値27点と評価され、17の回答のうち6つに何らかの害の可能性がありましたが、研究の7段階の害のスケールで3を超えるものはありませんでした。
OpenEvidenceの回答はどこで不十分なのか？
2026年に発表された専門分野の研究によると、OpenEvidenceの回答が不十分になりやすいのは、網羅性、医薬品情報、繊細な判断の場面です。Meyerら（American Surgeon、2026年）は、NCCNガイドラインから作成した直腸がんの138のシナリオで検証しました。OpenEvidenceの回答は92.8%が正しく、81.2%が正確と評価され、ChatGPT-5ではそれぞれ98.6%と84.1%でした。著者らは、どちらのツールも網羅性、ニュアンス、患者の意向に左右される判断に限界があるとしています。Issaらの薬学研究（American Journal of Health-System Pharmacy、2026年）では、OpenEvidenceは20の医薬品情報の質問のうち40%に正確に答え、ChatGPT 5.1は70%でしたが、OpenEvidenceの回答はAIツールのなかで総合的な質のスコアが最も高い結果でした。Mayo ClinicのStephensonら（Mayo Clinic Proceedings: Digital Health、2026年）は、OpenEvidenceによる脂肪肝の125件のeコンサルトが専門医自身のものより高く評価された一方、12件に軽微な誤り、1件に重大となりうる誤りがあったと報告しました。
Jiaらのトリアージの検証（International Journal of Medical Informatics、2026年）では、OpenEvidenceは回答した明確な症例の71.3%で正しく、緊急症例の12.5%を過小評価し、自宅で対応できる症例の68.0%を過大評価しました。誤りは慎重な方向に偏っていました。
すべてのAI回答エンジンに共通する限界は？
OpenEvidenceのようなAI回答エンジンには、情報源にかかわらず、そのしくみに由来する共通の限界があります。回答エンジンはまず文書を検索し、次に言語モデルがそれを要約するため、どちらの段階でも誤りが生じえます。Nature Medicineの著者らは、無関係な資料が検索されたり、モデルがうまく統合できなかったりすると、検索によって性能が下がりうるというエビデンスを指摘しています。実在する情報源があっても、文が情報源以上のことを述べてしまうことがあります。Wuら（Nature Communications、2025年）は、よく使われる7つのモデルを800の医学的な質問で検証し、回答の50〜90%が引用した情報源によって完全には裏付けられておらず、ときには矛盾していることを示しました。ウェブ検索付きのGPT-4oでも、個々の記述の約30%が裏付けられていませんでした。この研究ではOpenEvidenceは検証されていません。回答エンジンは頻繁に変わります。OpenEvidenceは、Nature Medicineと薬学の研究が回答を収集したあとの2026年9月に、新しい既定モデルOslerを公開したため、公表された数値は現在のバージョンを表していない可能性があります。
最後に、流暢で出典がしっかり付いた回答は、完全であってもなくても同じように自信をもって読めてしまいます。行動の根拠にする記述の出典を確認することが、唯一の信頼できる安全策です。
OpenEvidenceの回答はどう確認すればよいか？
OpenEvidenceの回答も、ほかのAIツールの回答も、同じ5つのステップで数分のうちに確認できます。第1に、行動の根拠にしようとしている文の引用を開き、その情報源が文と同じことを述べているか確かめます。実在する参考文献でも、裏付けていない記述に付けられていることがあります。第2に、情報源が同じ患者を対象にしているか確かめます。上記の小児の研究では、回答の約3分の1が小児に特化していない研究を引用していました。第3に、日付とエビデンスの種類を確かめます。最新のガイドラインは古いレビューより重く、1つの小規模研究はメタアナリシスより弱いからです。ここではOpenEvidenceのEvidenceGradeの評価が役立ちますが、情報源も読んでください。第4に、どこのガイダンスかを確かめます。NICE、米国、欧州のガイドラインは異なることがあるからです。第5に、薬の用量は必ず最新の添付文書や施設の採用薬集から確認し、AIの要約から取らないことです。
- 引用を開く。情報源そのものに書かれた文を読みます。
- 患者を合わせる。成人か小児か、妊娠、腎機能で答えは変わります。
- 日付と種類を確かめる。最新のガイドラインが最優先、次にシステマティックレビュー、その次に個々の研究。
- どこのガイダンスか確かめる。自分が診療する地域で適用されるガイドラインに従います。
- 用量は添付文書から。最新の添付文書を使います。
汎用チャットボットについての研究結果は、ChatGPTは医療の質問に正確か？をご覧ください。
AskMedの答え方はどう違うのか？
AskMedは、すべての記述を確認でき、医療に携わる誰もが使えるように作られています。回答を書く前に、AskMedは決められた医療情報源のリストを検索します。PubMed、Cochrane Library、NEJM、The Lancet、JAMA、The BMJなどの学術誌とデータベース。NICE、WHO、CDC、ESC、KDIGOなどのガイドラインと機関。FDAとDailyMedの医薬品添付文書に加え、各国の商品名のためのEMAなどのレジストリ。そしてStatPearlsやBMJ Best Practiceなどのリファレンスです。AskMedはオープンウェブ、掲示板、ソーシャルメディアは検索しません。各記述のあとにはその出典へのリンクが付き、情報源は既定で8件で、ソースフィルターで情報源の種類、研究の種類、3〜12件の情報源数を選べます。使える情報源が見つからない場合、AskMedは記憶に頼って答えるのではなく、その旨を伝える決まった返答を表示します。AskMedは薬の用量を示さず、NPIや免許番号なしで世界中で使え、iPhone、iPad、Android、ウェブで動作します。
AskMedの回答もAIが書いており、表示される前に人が確認することはないため、AskMedも情報源を読み違えることがあります。大切なのは、各文に開いて確かめられるリンクが付いていることです。OpenEvidenceの利用規約には、英国、EU、EEAでは利用できないと記載されており、登録にはNPIまたはその他の免許番号が必要です。詳しい比較はAskMed vs OpenEvidenceとOpenEvidenceの代替ツールを、すべての情報源と限界についてはAskMedの回答のしくみをご覧ください。
よくある質問
OpenEvidenceは正確ですか？
おおむね正確ですが、常にではありません。独立した研究では、複数の専門分野で質の高い回答が確認され、確認した4,979件の引用に捏造された参考文献はありませんでした。しかし、不完全な回答、少数の医薬品情報の質問での正確性40%、2026年のNature Medicineの研究での最先端のチャットボット3つより低いベンチマークスコアも報告されています。OpenEvidenceは出発点として使い、行動の根拠にする記述の出典を開いて確認してください。
OpenEvidenceは本当にUSMLEで100%を取ったのですか？
OpenEvidenceは2025年8月の発表でそう報告しています。検証には2023年の研究にある公開USMLEサンプル試験の問題を、画像を含む問題を除いて用い、Step 3の1問は公式の正答ではなくOpenEvidenceの回答で採点しました。この結果はOpenEvidenceが実施したもので、査読付きの学術誌には発表されていません。
OpenEvidenceはハルシネーションを起こしますか？
参考文献については汎用チャットボットより少ないといえます。2026年の研究では、OpenEvidenceの4,979件の引用に捏造された参考文献はありませんでした。2026年のNature Medicineの研究では、OpenEvidenceのハルシネーションを含む内容の割合は、検証したほかの5つのシステムと有意差はありませんでした。実在する参考文献でも、完全には裏付けていない記述に付けられていることがあるので、開いて確認してください。
OpenEvidenceはChatGPTより正確ですか？
研究によって結論が分かれます。2026年の査読付きのNature Medicineの研究では、GPT-5.2、Gemini、ClaudeがOpenEvidenceより上位でしたが、OpenEvidenceがデータ収集を実施し費用を負担した2026年のプレプリントでは、医師はOpenEvidenceの回答を好みました。単一の専門分野の研究でも結果は分かれています。詳しくはOpenEvidence vs ChatGPT for Clinicians vs AskMedをご覧ください。
AskMedが間違えることはありますか？
はい。AskMedの回答はAIが書いているため、行動の根拠にする記述はリンク先の出典を確認し、誤りがあれば回答の下にある低評価ボタンをタップして報告してください。
AskMedは薬の用量を示しますか？
いいえ。AskMedは、試験問題であっても、用量、用量計算、漸増スケジュールを示しません。それでも、薬の用途、用量の選び方と調整の考え方、モニタリング、副作用は説明します。正確な用量は最新の添付文書で確認してください。