أظهرت نماذج اللغة الكبيرة (LLMs)، مثل النماذج التي يقوم عليها نموذج «GPT-4»، قدرات مذهلة في توليد النصوص، سواء أكان ذلك في كتابة الشعر، أو تأليف المقالات، حتى تقديم حلول برمجية. تُدرَّب هذه النماذج، المعتمدة على بنى معمارية متقدمة تُعرف باسم «المحوّلات» (Transformers)، على توقع تسلسل الكلمات، ما يمكّنها من الاستجابة للمطالبات بطرق تحاكي فهماً يشبه البشري. ومع ذلك، تشير أبحاث حديثة إلى أن هذه النماذج، على الرغم من قدراتها المثيرة للإعجاب، قد لا تتعلم بالفعل الحقائق الكامنة عن العالم.
التنقل في مدينة نيويورك دون خريطة
في دراسة حديثة قادها آشِش رامباتشان، أستاذ مساعد في الاقتصاد وباحث في مختبر نظم المعلومات واتخاذ القرار بمعهد ماساتشوستس للتكنولوجيا (LIDS)، قام الباحثون باختبار مدى قدرة نموذج لغوي مبني على «المحوّلات» على التنقل في مدينة نيويورك. وبينما أظهر النموذج دقة عالية في تقديم توجيهات دقيقة خطوة فخطوة عبر شبكة شوارع المدينة، تراجع أداؤه بشكل كبير عندما تمت إضافة عراقيل مثل إغلاق بعض الشوارع والتحويلات.
وعندما حلّل الباحثون أنماط التنقل التي أنتجها النموذج، اكتشفوا أن «خرائط» مدينة نيويورك التي كوّنها النموذج كانت تحتوي على مسارات غير واقعية، مثل شوارع غير موجودة وروابط غير دقيقة بين تقاطعات متباعدة. هذا الاكتشاف أثار تساؤلات حول حدود هذه النماذج، خاصة في البيئات التي تتطلب دقة كبيرة.
التداعيات في العالم الحقيقي
تنطوي هذه القيود على تداعيات هامة. فعلى الرغم من أن نماذج الذكاء الاصطناعي تبدو قادرة على التعامل مع مهام معقدة، فإن أداءها قد يتراجع بشكل كبير عندما تتغير المتغيرات البيئية، ولو بشكل بسيط. على سبيل المثال، قد يتمكن النموذج من التنقل في خريطة ثابتة لمدينة نيويورك، لكنه يتعثر عند مواجهة تحديات غير متوقعة، مثل إغلاق الشوارع. ويحذر فريق البحث من أن استخدام هذه النماذج في تطبيقات حقيقية قد يؤدي إلى فشل غير متوقع إذا واجهت سيناريوهات خارجة عن بيانات التدريب.
مقاييس لتقييم الفهم
لمزيد من التعمق في مدى قدرة نماذج الذكاء الاصطناعي على تكوين «نماذج للعالم»، أي تمثيلات داخلية للقواعد والهيكليات، طوّر الفريق مقياسين جديدين للتقييم، هما «تمييز التسلسل» و«ضغط التسلسل».
يقيس «تمييز التسلسل» قدرة النموذج على التمييز بين سيناريوهات مختلفة، مثل تمييز موضعين مختلفين على لوحة لعبة «أوثيللو». ويقيّم المقياس ما إذا كان النموذج يفهم أن مدخلات مختلفة تحمل دلالات مختلفة.
أما مقياس «ضغط التسلسل» فيقيّم قدرة النموذج على إدراك الحالات المتطابقة، مثل وضعين متطابقين على لوحة لعبة «أوثيللو»، ويفهم أن خطوات التحرك التالية من كل وضع يجب أن تكون متشابهة.
قام الفريق باختبار هذه المقاييس على فئة معينة من المسائل تشمل تسلسلاً محدداً من الحالات والقواعد، مثل التنقل في شبكة شوارع أو لعب «أوثيللو». من خلال هذه التقييمات، سعى الباحثون لفهم ما إذا كانت النماذج قد طوّرت بالفعل نماذج منطقية للعالم.
العشوائية قد تؤدي إلى فهم أعمق
كشف البحث عن نتيجة غير متوقعة، حيث أظهرت النماذج التي دربت على تسلسلات عشوائية قدرة أكبر على بناء نماذج داخلية دقيقة مقارنة بتلك التي دربت على بيانات منظمة. على سبيل المثال، في لعبة «أوثيللو»، كانت النماذج المدربة على حركات عشوائية قادرة على التعرف على جميع الحركات الممكنة، حتى الحركات غير المثلى التي لا يلجأ إليها اللاعبون المحترفون.
وأوضح كيون فافا، الباحث الرئيسي وأستاذ زائر في جامعة هارفارد، أنه «من الناحية النظرية، عندما يتم تدريب النموذج على حركات عشوائية، فإنه يرى مجموعة كاملة من الاحتمالات، بما في ذلك الخيارات غير المحتملة». ويبدو أن هذا التعرض الواسع «يساعد النموذج في تكوين نموذج أكثر دقة للعالم، وإن لم يلتزم بالأسلوب الأمثل».
ورغم هذه النتائج، لم يستطع أي من النماذج تكوين نموذج منطقي متكامل للعالم في مهمة التنقل. وعندما أضاف الباحثون تحويلات إلى خريطة نيويورك، فشلت جميع النماذج في التكيف. وأشار فافا إلى أن «التراجع في الأداء كان مفاجئاً؛ إغلاق واحد في المائة فقط من الشوارع تسبب في انخفاض الدقة بشكل حاد، من أداء شبه مثالي إلى 67 بالمائة فقط».
بناء نماذج للعالم موثوقة
تسلط نتائج هذه الدراسة الضوء على تحدٍ كبير، يتمثل في أنه عندما تبدو المحوّلات قادرة على أداء مهام معينة، فإنها قد تفتقر إلى الفهم الأساسي للقواعد. وشدّد رامباتشان على ضرورة الحذر، قائلاً: «غالباً ما يفترض الناس أنه بما أن هذه النماذج تحقق نتائج رائعة، فلا بد أنها طوّرت فهماً جوهرياً للعالم. لكن دراستنا تشير إلى أننا بحاجة إلى النظر في هذا الافتراض بعناية وعدم الاعتماد على الحدس فقط».
ويخطط الباحثون لتوسيع دراستهم لتشمل تحديات أكثر تعقيداً حيث قد تكون القواعد غير معروفة كلياً أو متغيرة. وباستخدام مقاييسهم التقييمية على هذه المجالات، يأملون في فهم حدود نماذج الذكاء الاصطناعي بشكل أفضل وتوجيه تطويرها في المستقبل.
تداعيات أوسع وأهداف مستقبلية
تتجاوز تداعيات هذا البحث فهم العالم الافتراضي، وتمس التطبيقات العملية. إذا كانت نماذج الذكاء الاصطناعي غير قادرة على تكوين نماذج داخلية دقيقة للعالم، فإن ذلك يثير تساؤلات حول استخدامها في مجالات تتطلب منطقاً دقيقاً، مثل القيادة الذاتية، والأبحاث العلمية، والتخطيط اللوجستي. ويقول الباحثون إن الحاجة ملحة لإعادة التفكير في كيفية تدريب هذه النماذج وتقييمها لتكون أكثر تكيفاً وموثوقية.
هذا البحث مدعوم من قبل عدة مؤسسات، بما في ذلك مبادرة علوم البيانات في جامعة هارفارد، ومؤسسة العلوم الوطنية، ومؤسسة ماك آرثر. سيتم عرض الدراسة في مؤتمر نظم معالجة المعلومات العصبية، حيث سيواصل الباحثون مناقشة تعقيدات نماذج الذكاء الاصطناعي واستكشاف مسارات جديدة لتطويرها.
