«تشات جي بي تي» يتعثر في امتحان «البورد» لطب العيون

«تشات جي بي تي» يتعثر في أسئلة الاختيار من متعدد (أرشيفية)

وجدت دراسة كندية أن روبوت الذكاء الصناعي «تشات جي بي تي»، أجاب بدقة على أقل من نصف أسئلة الاختبارات بمنصة «OphthoQuestions»، وهي مصدر شائع يستخدمه الأطباء للتدريب على امتحان «البورد» في طب العيون.
وأظهرت الدراسة، التي نُشرت (الخميس) في دورية طب العيون «JAMAOphthalmology» بقيادة باحثين من مستشفى «سانت مايكل» في مدينة تورونتو الكندية، أن روبوت الدردشة القائم على الذكاء الصناعي، أجاب بشكل صحيح على 46 في المائة من الأسئلة عندما أُجري الاختبار في يناير (كانون الثاني)، وعندما أجرى الباحثون الاختبار نفسه بعد شهر واحد، سجّل زيادة بمعدل 10 في المائة.
وأثارت إمكانات «تشات جي بي تي» في الطب والتحضير للامتحانات، منذ أن أصبحت متاحة للجمهور في نوفمبر (تشرين الثاني) 2022، قلقاً بشأن احتمال ترويجه المعلومات غير الصحيحة والغش في الأوساط الأكاديمية.
وقال الباحث الرئيسي بالدراسة راجيف إتش موني، في تقرير نشره الموقع الإلكتروني لمستشفى «سانت مايكب»، بالتزامن مع نشر الدراسة، إن «تشات جي بي تي» لم يُجب عن أسئلة الاختيار من متعدد بشكل صحيح من أجل تقديم مساعدة كبيرة في التحضير لامتحان «البورد».
واستخدم الباحثون مجموعة بيانات للتدرب على أسئلة الاختيار من متعدد من الإصدار التجريبي المجاني لمنصة «OphthoQuestions»، ولضمان عدم تأثر استجابات «تشات جي بي تي» بالمحادثات المتزامنة، تم مسح الإدخالات أو المحادثات قبل إدخال كل سؤال، وتم استخدام حساب جديد، ولم يتم تضمين الأسئلة التي تستخدم الصور، ومقاطع الفيديو، لأن التطبيق يقبل إدخال النص فقط.
ومن بين 125 سؤالاً نصياً متعدد الخيارات، أجاب «تشات جي بي تي» على 58 بشكل صحيح (46 في المائة) عندما أُجريت الدراسة لأول مرة في يناير (كانون الثاني)، وكرر الباحثون التحليل في فبراير (شباط)، حيث تحسَّن الأداء إلى 58 في المائة.
وتطابق «تشات جي بي تي» بشكل وثيق مع طريقة إجابة المتدربين على الأسئلة، واختار الإجابة نفسها متعددة الخيارات مثل الإجابة الأكثر شيوعاً التي قدَّمها متدربو طب العيون بنسبة 44 في المائة من الوقت، وكان أداؤه أكثر دقة في أسئلة الطب العام، حيث أجاب على 79 في المائة منها بشكل صحيح.
من ناحية أخرى، كانت دقته أقل بكثير في أسئلة التخصصات الفرعية لطب العيون، فعلى سبيل المثال، أجاب عن 20 في المائة من الأسئلة بشكل صحيح حول جراحة تجميل العيون، ولم يُجب عن أي سؤال بشكل صحيح في التخصصات الفرعية للشبكية.
ورغم النتائج المخيبة للآمال، قال ماركو بوبوفيتش من قسم طب وجراحة العيون في جامعة تورونتو والباحث المشارك بالدراسة، إن «تشات جي بي تي» واعد في التعليم الطبي، فرغم أنه قدَّم إجابات غير صحيحة لعدد كبير من أسئلة شهادة «البورد» في طب العيون، فمن المتوقع أن تتطور مجموعة معارف روبوت الدردشة بسرعة.
فيما فسَّر مايكل بالاس الباحث بكلية الطب بجامعة تورونتو بكندا، الذي قاد مؤخراً دراسة لاستخدام البرنامج في تشخيص أمراض العيون، هذا التعثر، بأنه «تم التحكم في قدرات التطبيق على التعلم الآلي، حيث يعتمد في إجاباته على البيانات التي تم إدخالها له عند إنشاء التطبيق، فهو غير قادر على التعلم من مصادر جديدة تُمثّلها الدراسات الجديدة التي تُنشر بشكل دوري، والتي يجب أن يطلع عليها الراغب في اجتياز الامتحان».
وأضاف بالاس في تصريحات لـ«الشرق الأوسط»، أن «هذا الروبوت يمكن أن يكون أداة قوية للمساعدة في معرفة الإجابة المثالية عن الأسئلة العامة والمقالية، أما أسئلة الاختيار من متعدد، فسيظل البشر أكثر كفاءة في التعامل معها والتمييز بين الإجابات المتشابهة».