هل ChatGPT دقيق في الأسئلة الطبية؟

ما مدى دقة ChatGPT في الامتحانات الطبية؟

يحقّق ChatGPT درجات جيدة في أسئلة امتحانات الترخيص الطبي، وقد ارتفعت درجاته مع كل نموذج جديد. في أشهر الدراسات المبكرة، أعطى Kung وزملاؤه (PLOS Digital Health, 2023) ChatGPT العامل بنموذج GPT-3.5 350 سؤالًا من امتحان USMLE النموذجي العام الصادر في يونيو 2022، بعد استبعاد الأسئلة التي تتضمّن صورًا، ووجدوا أن أداءه كان عند عتبة النجاح البالغة نحو 60% أو قريبًا منها في Step 1 وStep 2 CK وStep 3. ولاحقًا في 2023، اختبر Brin وزملاؤه (Scientific Reports, 2023) 80 سؤالًا على نمط USMLE في التواصل والأخلاقيات والتعاطف والمهنية: أجاب GPT-4 عن 90% منها إجابة صحيحة، وأجاب ChatGPT العامل بنموذج GPT-3.5 عن 62.5%، مقابل متوسط 78% لمستخدمي AMBOSS على الأسئلة نفسها. وبحلول 2026، كتب مؤلفو دراسة في Nature Medicine أن النماذج اللغوية الكبيرة باتت تحقّق درجات شبه كاملة في امتحانات الترخيص الطبي. ففي معرفة الكتب الدراسية، ChatGPT قوي.

غير أن سؤال الامتحان يقدّم كل المعطيات ذات الصلة في حالة سريرية مرتّبة لها إجابة واحدة هي الأفضل. أما السؤال السريري الحقيقي فله تاريخ مرضي ناقص، وتوصيات ربما تغيّرت، ومريض واحد ينبغي أن تناسبه الإجابة.

ما مدى دقة ChatGPT في الأسئلة السريرية الحقيقية؟

في الأسئلة السريرية المفتوحة، يصيب ChatGPT في معظم الأحيان لكن ليس على نحو ثابت. طلب Goodman وزملاؤه (JAMA Network Open, 2023) من 33 طبيبًا من 17 تخصصًا كتابة 284 سؤالًا طبيًا وتقييم إجابات ChatGPT: كان وسيط درجة الدقة 5.5 على مقياس من 6 نقاط، بين «صحيحة بالكامل تقريبًا» و«صحيحة بالكامل»، لكن المتوسط كان 4.8، وحصلت الأسئلة الصعبة على درجات أقل من السهلة. وتحسّنت الإجابات ذات الدرجات المنخفضة حين أُعيد طرح الأسئلة بعد 8 إلى 17 يومًا، وحقّق GPT-4 درجات أعلى من GPT-3.5. وسأل Chen وزملاؤه (JAMA Oncology, 2023) ChatGPT عن نصائح علاج سرطان الثدي والبروستاتا والرئة: من بين 102 إجابة تضمّنت توصية، احتوت 34.3% منها على علاج واحد على الأقل غير متوافق مع إرشادات NCCN، وذكرت 12.5% من الإجابات الـ104 كلها علاجًا لا يندرج ضمن أي علاج موصى به. وكانت التوصيات الخاطئة ممزوجة بالصحيحة، وهو ما وصفه المؤلفون بأنه صعب الاكتشاف حتى على الخبراء.

ومعرفة الإجابة ليست كمساعدة شخص على الوصول إليها. ففي تجربة عشوائية أجراها Bean وزملاؤه (Nature Medicine, 2026)، حدّدت نماذج منها GPT-4o الحالة في 94.9% من السيناريوهات المكتوبة حين اختُبرت وحدها، لكن 1,298 مشاركًا في المملكة المتحدة استخدموها حدّدوا الحالات ذات الصلة في أقل من 34.5% من الحالات، دون تفوّق على مجموعة ضابطة استخدمت مصادرها المعتادة.

هل يختلق ChatGPT مراجع طبية؟

اختلق ChatGPT مراجع طبية بمعدلات مرتفعة حين طُلب منه الكتابة مع استشهادات من الذاكرة، وإن كانت النماذج الأحدث تفعل ذلك بدرجة أقل. طلب Bhattacharyya وزملاؤه (Cureus, 2023) من ChatGPT العامل بنموذج GPT-3.5 كتابة 30 ورقة طبية قصيرة في كلٍّ منها ثلاثة مراجع على الأقل. ومن بين 115 مرجعًا أنتجها، كان 47% مختلقًا، و46% حقيقيًا لكن غير دقيق، و7% فقط حقيقيًا ودقيقًا معًا. وطلب Walters وWilder (Scientific Reports, 2023) من ChatGPT كتابة مراجعات أدبيات قصيرة في 42 موضوعًا وتحقّقا من الاستشهادات الـ636 كلها: كان 55% من استشهادات GPT-3.5 و18% من استشهادات GPT-4 مختلقًا، ومن بين الحقيقية، احتوى 43% و24% على التوالي على أخطاء جوهرية مثل رقم مجلّد أو عدد أو صفحة خاطئ. والمرجع المختلق منسّق كالمرجع الحقيقي، بمؤلفين ومجلة وسنة، فقد يمرّ من نظرة سريعة ولا ينكشف إلا حين تبحث عنه.

ومعدل 18% لا يزال يعني مرجعًا مختلقًا من كل خمسة تقريبًا، فابحث عن كل مرجع من روبوت محادثة في PubMed قبل أن تستشهد به.

أين تخطئ روبوتات المحادثة العامة؟

تخطئ روبوتات المحادثة العامة مثل ChatGPT في الطب بأربع طرق متوقّعة، ولا تعني أيٌّ منها أن النموذج قليل المعرفة بالطب. أولًا، قد يكون المرجع المكتوب من الذاكرة مختلقًا، كما تُظهر دراسات الاستشهادات. ثانيًا، يجيب النموذج من بيانات تدريب تتوقّف عند تاريخ معيّن: ففي دراسة السرطان عام 2023، قارن المؤلفون الإجابات بإرشادات NCCN لعام 2021 لأن معرفة النموذج انتهت في سبتمبر 2021، فكان أي تغيير لاحق في التوصيات غائبًا عنه. ثالثًا، الإجابة المكتوبة من بيانات التدريب لا تُظهر أي مصدر، فلا ترى من أين جاءت المعلومة ولا مدى قوة الأدلة وراءها. رابعًا، تبقى النبرة واثقة بالقدر نفسه سواء كانت الإجابة صحيحة أم خاطئة: ففي دراسة Brin عام 2023، لم يغيّر GPT-4 أيًّا من إجاباته حين سُئل إن كان متأكدًا، بما فيها الخاطئة. والخطأ الممزوج بعبارات صحيحة، المقدَّم بالثقة نفسها، هو أصعب الأخطاء اكتشافًا.

وإنصافًا لـChatGPT، فإن واجهته تحذّر من أنه قد يخطئ، والنماذج الأحدث تختلق مراجع أقل، وحين يبحث ChatGPT في الويب يربط الصفحات التي استخدمها. لكن هذا البحث لا يقتصر على المجلات العلمية والإرشادات السريرية ونشرات الأدوية، والرابط لا يفيد إلا إذا فتحته.

هل ChatGPT مفيد لطلاب الطب والبحث العلمي؟

ChatGPT شريك مذاكرة مفيد لطلاب الطب والباحثين، ما دامت كل معلومة مهمة تخضع للتحقّق. بالنسبة إلى الطلاب، يجيد ChatGPT شرح آلية ما بكلمات بسيطة، ومناقشة سبب منطقية تشخيص تفريقي، واختبارك في موضوع ما، وإعادة صياغة فقرة كثيفة، وتُظهر دراسات الامتحانات أنه يعرف معظم طب الكتب الدراسية. والخطر هو شرح سلس خاطئ في تفصيل واحد، تتعلّمه بعد ذلك على أنه حقيقة. وللتحضير للامتحانات، فإن بنك أسئلة كُتبت شروحه ورُوجعت مقابل المصادر هو النواة الأكثر أمانًا، مع روبوت محادثة إلى جانبه. وبالنسبة إلى الباحثين، يمكن لـChatGPT المساعدة في العصف الذهني ووضع المخططات والملخّصات المبسّطة للنصوص التي تلصقها، لكن دراسات الاستشهادات تُظهر لماذا لا ينبغي الوثوق به في تقديم المراجع. فكل مرجع من روبوت محادثة يجب العثور عليه وقراءته قبل أن يدخل في مخطوطة أو شريحة لنادي المجلات.

لمقارنة أدوات الامتحانات جنبًا إلى جنب، بما في ذلك موقع ChatGPT بينها، راجع أفضل تطبيقات الذكاء الاصطناعي لامتحان USMLE.

كيف تتحقّق من إجابة طبية من الذكاء الاصطناعي؟

يمكنك التحقّق من أي إجابة طبية من الذكاء الاصطناعي، من ChatGPT أو أي أداة أخرى، بالخطوات الخمس نفسها. ابدأ بالعثور على المصدر وراء المعلومة المحدّدة التي تنوي استخدامها؛ وإذا لم تقدّم الإجابة أي مصدر، فاعتبر المعلومة غير موثّقة حتى تجدها في إرشاد سريري أو نشرة دواء أو ورقة بحثية محكَّمة. افتح المصدر وتأكّد من أنه موجود ويقول ما تقوله الجملة، لفئة المرضى نفسها، إذ إن تجربة على البالغين لا تجيب عن سؤال يخص الأطفال. تحقّق من التاريخ، لأن إرشادًا سريريًا حُدّث بعد تدريب النموذج ربما غيّر التوصية. تحقّق من الجهة صاحبة التوصية: فإرشادات NICE والإرشادات الأمريكية والأوروبية قد تختلف، فاتّبع ما ينطبق حيث تمارس. وأخيرًا، خذ أي جرعة دوائية من معلومات الوصف السارية أو دليل الأدوية المحلي، لا من إجابة روبوت محادثة أبدًا. تستغرق هذه الخطوات دقائق، وتكشف الأخطاء التي تصفها الدراسات أعلاه.

• علامة تحذير: إرشاد سريري بلا سنة. لا يمكنك معرفة ما إذا كانت التوصية لا تزال سارية.
• علامة تحذير: يقين في مسألة مفتوحة. حيث تكون الأدلة ضعيفة أو تتعارض الإرشادات السريرية، تقول الإجابة الجيدة ذلك.

بماذا يختلف تصميم AskMed؟

صُمّم AskMed بحيث يمكن التحقّق من كل معلومة في الإجابة، بدلًا من الاعتماد على ما يتذكّره النموذج. قبل كتابة أي إجابة، يبحث AskMed في قائمة ثابتة من المصادر الطبية: المجلات العلمية وقواعد البيانات مثل PubMed وCochrane Library وNEJM وThe Lancet وJAMA وThe BMJ؛ والإرشادات السريرية والهيئات مثل NICE وWHO وCDC؛ ونشرات الأدوية من FDA وDailyMed؛ ومراجع مثل StatPearls وBMJ Best Practice. لا يبحث AskMed في الويب المفتوح أو المنتديات أو وسائل التواصل الاجتماعي. ثم يكتب نموذج ذكاء اصطناعي الإجابة مما وجده البحث، وتُتبع كل معلومة برابط إلى مصدرها على عنوانه الدقيق على الويب، من 8 مصادر افتراضيًا. وإذا لم يُعثر على مصدر صالح، يعرض AskMed ردًّا ثابتًا يصرّح بذلك بدلًا من الإجابة من الذاكرة. ولأسئلة التدبير العلاجي، يبحث AskMed عن أحدث تحديث للإرشادات ويُوجَّه إلى ذكر سنة كل توصية من الإرشادات السريرية يوردها.

لا يعطي AskMed جرعات الأدوية أبدًا؛ فالجرعة الدقيقة مرجعها معلومات الوصف. وإجابات AskMed أيضًا من إنتاج الذكاء الاصطناعي، دون مراجعة بشرية قبل أن تراها، فقد يسيء AskMed قراءة مصدر. والفرق أن كل جملة تحمل رابطًا يمكنك فتحه. يعمل AskMed على iPhone وiPad وAndroid والويب. التفاصيل الكاملة: كيف يجيب AskMed.