ChatGPTは医療に関する質問に正確に答えられるか？

ChatGPTは医師国家試験でどのくらい正確か？

ChatGPTは医師国家試験の問題で好成績を収めており、新しいモデルが出るたびにスコアは上がっています。最もよく知られた初期の研究では、Kungら（PLOS Digital Health, 2023）が、画像を含む問題を除いた2022年6月公開のUSMLEサンプル試験の350問をGPT-3.5で動作するChatGPTに解かせ、Step 1、Step 2 CK、Step 3のいずれでも約60%の合格ライン前後の成績であることを示しました。2023年後半には、Brinら（Scientific Reports, 2023）がコミュニケーション、倫理、共感、プロフェッショナリズムに関するUSMLE形式の80問を検証し、GPT-4は90%、GPT-3.5で動作するChatGPTは62.5%に正答しました。同じ問題でのAMBOSSユーザーの平均は78%でした。2026年までに、Nature Medicineに掲載された研究の著者らは、大規模言語モデルが今では医師国家試験でほぼ満点を達成していると記しています。教科書的な知識については、ChatGPTは優れています。

しかし試験問題は、関連するすべての事実を整理されたビネットにまとめ、1つの最良解答とともに提示するものです。実際の臨床上の質問では、病歴は不完全で、ガイダンスは変わっているかもしれず、当てはめるべき患者は目の前の1人です。

ChatGPTは実際の臨床上の質問でどのくらい正確か？

自由形式の臨床上の質問では、ChatGPTはほとんどの場合正しいものの、一貫してはいません。Goodmanら（JAMA Network Open, 2023）は、17の診療科の医師33人に284の医療に関する質問を作成させ、ChatGPTの回答を評価させました。正確性スコアの中央値は6段階評価で5.5（「ほぼ完全に正しい」と「完全に正しい」の間）でしたが、平均は4.8で、難しい質問は易しい質問よりスコアが低くなりました。スコアの低かった回答は、8〜17日後に同じ質問をし直すと改善し、GPT-4はGPT-3.5より高いスコアでした。Chenら（JAMA Oncology, 2023）は、乳がん、前立腺がん、肺がんの治療についてChatGPTに助言を求めました。推奨を示した102件の回答のうち34.3%に、NCCNガイドラインに合致しない治療が少なくとも1つ含まれており、全104件の回答のうち12.5%では、どの推奨治療にも含まれない治療が挙げられていました。誤った推奨は正しい推奨の中に紛れ込んでおり、著者らは専門家でさえ見抜くのは難しいとしています。

また、答えを知っていることと、人がその答えにたどり着くのを助けることは同じではありません。Beanら（Nature Medicine, 2026）のランダム化試験では、GPT-4oを含むモデルは単独で検証すると文章のシナリオの94.9%で病態を特定しましたが、それらを使った英国の参加者1,298人が関連する病態を特定できたのは34.5%未満の症例にとどまり、普段使っている情報源を使った対照群と変わりませんでした。

ChatGPTは医学の参考文献をでっち上げるのか？

ChatGPTは、記憶に頼って出典付きの文章を書くよう求められると、高い割合で医学の参考文献をでっち上げてきました。ただし新しいモデルほどその頻度は低くなっています。Bhattacharyyaら（Cureus, 2023）は、GPT-3.5で動作するChatGPTに、それぞれ少なくとも3件の参考文献を付けた短い医学論文を30本書かせました。生成された115件の参考文献のうち、47%はでっち上げ、46%は実在するが不正確で、実在かつ正確だったのはわずか7%でした。WaltersとWilder（Scientific Reports, 2023）は、ChatGPTに42のトピックについて短い文献レビューを書かせ、636件の引用すべてを確認しました。GPT-3.5の引用の55%、GPT-4の引用の18%がでっち上げで、実在するものの中でもそれぞれ43%と24%に、巻、号、ページ番号の誤りなどの実質的な誤りがありました。でっち上げられた参考文献は、著者、掲載誌、発行年など本物と同じ形式で書かれているため、ざっと見ただけでは見抜けず、検索して初めて存在しないことが分かります。

18%という割合でも、およそ5件に1件は架空の参考文献ということになります。チャットボットが示した参考文献は、引用する前に必ずPubMedで検索してください。

汎用チャットボットはどこで誤るのか？

ChatGPTのような汎用チャットボットが医療で誤るパターンは予測可能な4つで、そのどれもモデルの医学知識が乏しいことを意味するわけではありません。第一に、記憶に頼って書かれた参考文献は、引用に関する研究が示すように、でっち上げられることがあります。第二に、モデルはある時点で打ち切られた学習データから回答します。2023年のがんの研究では、モデルの知識が2021年9月で終わっていたため、著者らは回答を2021年のNCCNガイドラインと比較しました。つまり、それ以降のガイダンスの変更はモデルには見えていなかったのです。第三に、学習データから書かれた回答には情報源が示されないため、記述がどこから来たのか、その根拠となるエビデンスがどれほど強いのかが分かりません。第四に、回答が正しくても誤っていても、口調は同じように自信に満ちています。Brinの2023年の研究では、本当に確かかと尋ねられても、GPT-4は誤った回答も含めて1つも回答を変えませんでした。正しい記述の中に紛れ込み、同じ自信をもって述べられた誤りは、最も見抜きにくいものです。

ChatGPTの名誉のために言えば、そのインターフェースには間違える可能性があるという警告が表示され、新しいモデルほど参考文献のでっち上げは少なく、ChatGPTがWebを検索した場合は使ったページへのリンクが示されます。ただし、その検索は学術誌、ガイドライン、添付文書に限られておらず、リンクは開いて初めて役に立ちます。

ChatGPTは医学生や研究に役立つか？

重要な事実をすべて確認する限り、ChatGPTは医学生や研究者にとって役に立つ学習パートナーです。学生にとって、ChatGPTは機序を平易な言葉で説明する、鑑別診断がなぜ妥当かを一緒に考える、トピックについてクイズを出す、難解な段落を言い換えるといったことが得意で、試験に関する研究はChatGPTが教科書的な医学の大部分を知っていることを示しています。リスクは、流暢な説明の細部が1か所だけ誤っていて、それを事実として覚えてしまうことです。試験対策では、情報源と照らし合わせて作成・確認された解説を持つ問題バンクを中心に据え、チャットボットはその補助として使うほうが安全です。研究者にとって、ChatGPTはブレインストーミング、構成案の作成、貼り付けた文章の平易な要約に役立ちますが、引用に関する研究は、参考文献の提供をChatGPTに任せるべきでない理由を示しています。チャットボットが示した参考文献は、原稿や抄読会のスライドに入れる前に、すべて見つけて読む必要があります。

ChatGPTの位置づけを含めた試験対策ツールの比較は、USMLE対策におすすめのAIアプリをご覧ください。

AIによる医療回答はどう確認すればよいか？

ChatGPTでもその他のツールでも、AIによる医療回答は同じ5つのステップで確認できます。まず、使おうとしている特定の記述の根拠となる情報源を探します。回答に情報源が示されていない場合は、ガイドライン、添付文書、査読付き論文で見つかるまで、その記述を未検証として扱ってください。情報源を開き、それが実在し、同じ患者群について、その文と同じことを述べているかを確認します。成人を対象とした試験は、小児についての質問には答えないからです。日付を確認します。モデルの学習後に改訂されたガイドラインでは、推奨が変わっている可能性があるからです。どこが出したガイダンスかを確認します。NICE、米国、欧州のガイドラインは異なることがあるため、自分が診療する地域に適用されるものに従います。最後に、薬の用量はチャットボットの回答からではなく、必ず最新の処方情報または施設の採用薬情報から得てください。これらの確認は数分で済み、上記の研究が示すような誤りを見つけられます。

• 注意信号：発行年のないガイドライン。その推奨が今も有効かどうか判断できません。
• 注意信号：未解決の問題についての断定。エビデンスが弱い場合やガイドライン間で見解が分かれる場合、良い回答はその旨を述べます。

AskMedはどこが違うのか？

AskMedは、モデルの記憶に頼るのではなく、回答内のすべての記述を確認できるように作られています。回答が書かれる前に、AskMedはあらかじめ定められた医療情報源のリストを検索します。PubMed、Cochrane Library、NEJM、The Lancet、JAMA、The BMJなどの学術誌とデータベース、NICE、WHO、CDCなどのガイドラインと機関、FDAとDailyMedの添付文書、そしてStatPearlsやBMJ Best Practiceなどのリファレンスです。AskMedはオープンWeb、フォーラム、ソーシャルメディアは検索しません。その後、検索で見つかった内容からAIモデルが回答を作成し、各記述の後にはその情報源の正確なWebアドレスへのリンクが付きます。情報源は標準で8件です。使える情報源が見つからない場合、AskMedは記憶に頼って答えるのではなく、その旨を伝える定型の返答を表示します。治療・管理に関する質問では、AskMedは最新のガイドライン改訂を探し、示したガイドラインの推奨ごとにその発行年を示すよう指示されています。

AskMedは薬の用量を一切示しません。正確な用量は処方情報に従ってください。AskMedの回答もAIが生成したものであり、あなたが目にする前に人がレビューすることはないため、AskMedが情報源を読み誤ることもあります。違いは、各文に開いて確認できるリンクが付いていることです。AskMedはiPhone、iPad、Android、Webで使えます。詳しくはAskMedの回答のしくみをご覧ください。