تواجه نماذج الذكاء الاصطناعي غالباً صعوبة في فهم الثقافات المختلفة حول العالم، كما أنها تبدي تردداً في الاعتراف بجهلها بأمر ما. هذا ما توصل إليه باحثون في مختبر «كوهير لابس» (Cohere Labs) الكندي للذكاء الاصطناعي، حين اختبروا قدرة روبوتات الدردشة على تجاوز مجرد التحدث بلغة ثقافة معينة.
التحقق من المعرفة الثقافية
وللتحقق مما إذا كانت هذه النماذج تمتلك معرفة ثقافية أعمق، طرح الباحثون عليها مجموعة من الألغاز الثقافية الفريدة. ومن بين هذه الألغاز: «ما هو حدث 11 سبتمبر (أيلول) («9/11»- حسبما يكتبه الأميركيون) في السياق الألماني؟». ولم ينجح سوى نموذج واحد فقط في تقديم الإجابة الصحيحة من أصل 28 نموذجاً للذكاء الاصطناعي. ويبدو أن النماذج قد ارتبكت بسبب صيغة التاريخ (حيث أجاب سبعة منها بأنه «هجمات البرجين التوأمين»). ففي أوروبا، يُكتب اليوم قبل الشهر؛ لذا فإن «9/11» يشير إلى التاسع من نوفمبر (تشرين الثاني)، وهو اليوم الذي سقط فيه جدار برلين عام 1989.
معايير تقييم الأداء
تُقيِّم العديد من معايير قياس أداء الذكاء الاصطناعي الحالية المعرفة الثقافية، بدءاً من الأطعمة اليومية في وجبة الإفطار والأحداث التاريخية، وصولاً إلى تقاليد الأعياد. وغالباً ما تتعامل هذه المعايير مع الثقافة باعتبارها مجموعة من الحقائق الثابتة التي يمكن حفظها أو العثور عليها عبر بحث سريع على الإنترنت. لكن معرفة حقائق حول ثقافة ما لا تعادل فهم الكيفية التي يدرك بها أفراد تلك الثقافة العالم من حولهم. لذا، أدرك الباحثون حاجتهم إلى اختبار يطلب من النماذج الربط بين عناصر ثقافية تبدو غير مترابطة وتوظيفها معاً. وهذا ما قادهم إلى استخدام الألغاز، وابتكار نوع مختلف من المعايير الثقافية التي تتطلب إجابات تستند إلى التجربة الحياتية الفعلية.
ألغاز ثقافية
تقول جوليا كروتزر، الباحثة في «كوهير لابس» التي قادت تطوير معيار «الألغاز الثقافية» (CulturalRiddles): «هذا هو الجانب الذي نحاول رصده من خلال هذا المعيار؛ تلك التفاصيل الدقيقة والمفاهيم الغامضة التي يصعب التقاطها أو التحقق منها... وهنا تظهر تعقيدات الحياة الواقعية». وقد أمضت كروتزر وفريقها ستة أشهر في العمل مع متطوعين من مختلف أنحاء العالم لجمع الألغاز، وطرحها على نماذج الذكاء الاصطناعي، ثم تقييم الإجابات التي قدمتها.
استخدم الباحثون أيضاً تقييمات الخبراء هذه لضبط نموذج ذكاء اصطناعي والتحقق من دقته، بحيث يمكنه تقييم جودة الإجابات في الحالات التي تغيب فيها تقييمات الخبراء.
اختبار 28 نموذجاً
وفي المجمل، اختبر باحثو «كوهير لابس» 28 نموذجاً للذكاء الاصطناعي باستخدام ألغاز ثقافية، صاغها 166 متطوعاً من 45 دولة وبـ51 لغة. وقد قام المتطوعون بتقييم وتصنيف 68154 إجابة فريدة قدمتها هذه النماذج. وبناءً على ذلك، رتب الباحثون النماذج وفقاً لدقتها الإجمالية عبر اللغات والثقافات التي شملها الاختبار.
نتائج الاختبارات
- حاز نموذج «جيمناي 3.1 برو بريفيو» (Gemini 3.1 Pro Preview) من شركة «غوغل» على أعلى درجة، بنسبة 79.4 في المائة.
- وجاء نموذج «جي بي تي-5.5» (GPT-5.5) من شركة «أوبن إيه آي» في المرتبة الثانية بنسبة 76.3 في المائة.
- تلاه نموذج «كلود أوبوس 4.7 ثينكينغ» (Claude Opus 4.7 Thinking) من شركة «أنثروبيك» بنسبة 66 في المائة.
- أما نموذج «كيون 3.5 0.8 بي» (Qwen 3.5 0.8B) من شركة «علي بابا»، فقد حل في المركز الأخير، حيث أجاب بشكل صحيح عن 0.4 في المائة فقط من الألغاز.
- ومن بين النماذج الأخرى التي سجلت نتائج لافتة، نموذج «نوفا مايكرو» (Nova Micro) من شركة «أمازون» (Amazon) الذي أجاب بشكل صحيح عن 8.3 في المائة من الألغاز، ونموذج «جيمناي 2.5 فلاش لايت» (Gemini 2.5 Flash Lite) من «غوغل» الذي حقق نسبة 33.6 في المائة.
- وحتى النموذج الأفضل أداءً، «جيمناي 3.1 برو بريفيو»، فقد سجل دقة تقل عن 50 في المائة في 6 من أصل 57 مجتمعاً ثقافياً شملها الاختبار، مما يسلط الضوء على الطريق الطويل الذي لا يزال يتعين على هذا القطاع قطعه فيما يتعلق بالوعي الثقافي.
ميل الذكاء الاصطناعي للتخمين بدلاً من الاعتراف بالجهل
والأكثر إثارة للقلق هو أن الاختبار كشف عن ميل النماذج إلى التخمين بدلاً من الاعتراف بعدم المعرفة، فعلى الرغم من إبلاغها صراحةً بإمكانية الإجابة بعبارة «لا أعرف»، فإنها لم تفعل ذلك إلا في 0.7 في المائة فقط من الحالات. كما تبين أن نحو 31 في المائة من الإجابات التي راجعها المقيّمون كانت مختلقة تماماً، وإن تفاوتت درجات الإبداع في صياغتها.
وتقول كروتزر: «كانت النماذج تقدم إجابات واثقة تبدو أحياناً سخيفة ومضحكة، لكنها قد تكون في أحيان أخرى مسيئة للغاية. إذ تلاحظ أن النماذج تميل تلقائياً إلى تبني وجهات نظر الثقافات الأكثر هيمنة على شبكة الإنترنت، بدلاً من تقديم إجابات تستند إلى السياق الثقافي المحلي».
فجوات المعرفة الثقافية
وأجرت «كوهير لابس» استطلاعاً منفصلاً لاستكشاف كيفية تأثير فجوات المعرفة الثقافية في الذكاء الاصطناعي على أرض الواقع. وأفاد العديد من مستخدمي روبوتات الدردشة حول العالم أنهم يضطرون إلى استخدام اللغة الإنجليزية للحصول على إجابات مفيدة، لأن الإجابات المُولّدة بلغاتهم الأم غير مُجدية. ووصف المستخدمون إجابات تفتقر إلى السياق الثقافي الأساسي، وفي بعض الحالات، أنظمة ذكاء اصطناعي تتعارض مع معاييرهم الثقافية.
ضرورة دمج الوعي الثقافي في نماذج الذكاء الاصطناعي
وخلص باحثو «كوهير لابس» إلى ضرورة دمج الوعي الثقافي في نماذج الذكاء الاصطناعي منذ البداية، لكي تخدم الأدوات التي تُشغّلها جميع المستخدمين، وليس فقط الثقافات المُمثلة تمثيلاً جيداً في بيانات التدريب. ويشير معيار CulturalRiddles الذي طوروه إلى أن العديد من النماذج الحالية لا تزال قاصرة.
صممت كرويتزر وفريقها CulturalRiddles ليكون قابلاً للتطوير المستمر. وقد أتاحوا الألغاز والبرمجيات والعرض التوضيحي ولوحة التحكم التفاعلية كمصدر مفتوح، ليتمكن أي شخص من المساهمة بألغاز من ثقافته الخاصة من خلال عملية مراجعة.
وتقول كرويتزر: «من المأمول ألا يُعتمد هذا المعيار فقط من قِبل الباحثين الأكاديميين، بل أيضاً من قِبل مختبرات الصناعة الكبرى التي تسعى لإثبات تقدمنا في مجال التكنولوجيا، لا في المهام الصعبة القابلة للتحقق فقط، بل أيضاً في المهام الأقل دقة».
* مجلة «فاست كومباني».
