تقرير علمي: قدرة البشر على فهم «نوايا» الذكاء الاصطناعي في خطر

ورقة مشتركة لأهم باحثي شركات الذكاء الاصطناعي

باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)
باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)
TT

تقرير علمي: قدرة البشر على فهم «نوايا» الذكاء الاصطناعي في خطر

باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)
باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)

في خطوة نادرة من التعاون ورغم المنافسة، أصدر باحثون بارزون من أهم شركات الذكاء الاصطناعي «أوبن إيه آي» (OpenAI) و«أنثروبيك» (Anthropic) و«وميتا» (Meta) و«غوغل» (Google) و«ديب مايند» (DeepMind) ورقة بحثية مشتركة يحذرون فيها من أن القدرة على مراقبة «سلاسل التفكير» (Chain of Thought - CoT) داخل أنظمة الذكاء الاصطناعي تُمثل فرصة مهمة لتحسين السلامة، لكنها في الوقت نفسه فرصة هشة قد لا تدوم.

الورقة البحثية، بعنوان «قابلية مراقبة سلسلة التفكير: فرصة جديدة وهشة لسلامة الذكاء الاصطناعي». تشرح بالتفصيل كيف يمكن تتبع الخطوات العقلية التي تتبعها النماذج في أثناء التفكير، خصوصاً عندما تُعبر عنها بلغة بشرية ومراقبتها من أجل رصد أي نية خبيثة أو سلوك غير آمن قبل وقوعه. لكن الباحثين يحذرون من أن هذه القدرة قد لا تستمر إذا لم تحظَ بالعناية الكافية.

«سلسلة التفكير» تتيح فرصة نادرة لمراقبة نوايا الذكاء الاصطناعي قبل أن يتصرف (غيتي)

«سلسلة التفكير»... لغة العقل المكشوفة

في صلب هذه الورقة البحثية نجد مفهوم «سلسلة التفكير» (CoT)، وهي تشير إلى الطريقة التي «يفكر» بها النموذج بصوتٍ عالٍ من خلال خطوات منطقية مكتوبة بلغة طبيعية أثناء أداء مهمة معينة. يُستخدم هذا النهج على نطاق واسع لتحسين أداء نماذج اللغة الكبيرة، حيث يعزز دقة الاستجابات عن طريق تقسيم المهام المعقدة إلى خطوات صغيرة.

يرى الباحثون أن هذه الخاصية تُشكل فرصة نادرة للإشراف والمراقبة؛ لأن العديد من النماذج المتقدمة بما في ذلك تلك التي تطورها «أوبن إيه آي» (OpenAI) و«غوغل» (Google) تُنتج أثراً لغوياً أثناء عمليات التفكير، مما يجعل من الممكن رصد بوادر الانحراف أو النوايا الضارة مبكراً.

وقد أظهرت تجارب سابقة أن النماذج في بعض الأحيان «تقول الأمور بوضوح» في سلسلة تفكيرها، مثل: «دعونا نخترق النظام» أو «أنقل الأموال لأن الموقع طلب ذلك»، ما يمكن أن يُكتشف عبر أدوات المراقبة بسهولة أكبر مقارنة برصد الأفعال فقط.

أهمية «سلاسل التفكير»

يقدم الباحثون سببين رئيسيين يجعلان سلسلة التفكير فرصة واقعية للمراقبة وهو الضرورة حيث تتطلب المهام المعقدة تفكيراً متسلسلاً، لا تستطيع النماذج إكمال المهمة إلا إذا قامت بـ«التفكير بصوت عالٍ»، أي عبر لغة مفهومة. هذا يُتيح مراقبة خطوات التفكير التي تمر عبر ما يشبه «الذاكرة العاملة» في النماذج، وبالتالي الكشف عن نواياها. ثانياً، الميول الطبيعية للتفكير بلغة بشرية، حتى عندما لا يكون التفكير العلني ضرورياً، تميل بعض النماذج إلى التعبير عن خطواتها باللغة نتيجة تدريبها على بيانات بشرية، مما يعزز من الشفافية. هذان العاملان يخلقان ما يسميه الباحثون «سطح مراقبة»، يمكن من خلاله فهم أهداف النموذج بشكل أفضل قبل أن يتصرف.

يوصي الباحثون بتطوير أدوات تقييم متقدمة لقابلية المراقبة واستخدامها في قرارات النشر والتوسع.

فرصة هشة في خطر

رغم هذه المزايا، يُحذر الباحثون من أن قابلية مراقبة سلاسل التفكير قد تكون عرضية ومؤقتة. ويؤكدون أن هذا المستوى من الشفافية قد يكون ناتجاً عن الأساليب الحالية في تدريب النماذج، والتي قد تتغير في المستقبل.

تشمل التهديدات التي قد تقوّض قابلية مراقبة سلسلة التفكير عدداً من التحولات التقنية والمنهجية المتسارعة. من ذلك، الاعتماد المتزايد على التدريب المعزز الموجّه بالنتائج فقط، ما قد يقلّل من اهتمام النموذج بشرح خطواته بوضوح. إلى جانب ذلك، فإن تطبيق الإشراف المباشر على طريقة التفكير قد يدفع النماذج لإنتاج مخرجات «آمنة شكلياً»، لكنها لا تعبّر عن منطقها الحقيقي، مما يُضعف صدق سلسلة التفكير. كما أن ظهور ضغوط غير مباشرة، كوعي النموذج بوجود مراقبة، قد يحفّزه على إخفاء أو تحوير تفكيره لتجنّب الاكتشاف. ولا تقل خطورة عن ذلك الهندسات الجديدة التي تعتمد على التفكير في فضاءات كامنة وغير لغوية؛ إذ قد تؤدي إلى اختفاء سلسلة التفكير بالكامل وفقدان الشفافية. لهذا، يرى الباحثون أن الحفاظ على هذه القدرة التفسيرية يتطلب جهداً متعمداً قبل أن تصبح غير قابلة للاسترداد.

الورقة البحثية: قابلية مراقبة الذكاء الاصطناعي تمثل طبقة أمان إضافية لكنها هشة وتتطلب حماية واعية (شاترستوك)

ما الذي يجب فعله الآن؟

اقترح الباحثون سلسلة من التوصيات العاجلة بهدف الحفاظ على قابلية مراقبة سلسلة التفكير وتعزيز دورها في سلامة النماذج المتقدمة. أولى هذه التوصيات هي تطوير أدوات تقييم دقيقة وقادرة على قياس هذه القابلية بفاعلية؛ إذ إن الأدوات الحالية لا تزال محدودة في نطاقها وتطبيقها. كما شددوا على ضرورة تحديد معايير واضحة للحكم على ما إذا كان النموذج «قابلاً للمراقبة»، أي وضع حدود دنيا لمستوى الشفافية المطلوب قبل الاعتماد على سلسلة التفكير كطبقة أمان موثوقة. وإلى جانب ذلك، دعا الباحثون إلى اختبار النماذج في بيئات خصومية تحاكي محاولات التمويه أو الإخفاء، من أجل معرفة مدى قدرتها على إخفاء نواياها حتى دون تدريب صريح على ذلك. كما أكدوا أهمية إدراج قابلية المراقبة كعنصر أساسي في قرارات النشر والتوسع، تماماً كما تُؤخذ بعين الاعتبار معايير الأداء والكفاءة والأخلاقيات. وفي هذا السياق، حذر الباحثون من خطورة التوجه نحو تزييف مظهر سلسلة التفكير لتبدو «آمنة» شكلياً فقط، في محاولة لتجنّب الرقابة القانونية أو الضغوط المجتمعية؛ لأن هذا النهج من شأنه أن يُفرغ الشفافية من مضمونها ويقوّض دورها في تعزيز الأمان الحقيقي.

طبقة أمان تستحق الحماية

في سياق أوسع من البحث في سلامة الذكاء الاصطناعي، تُعد مراقبة سلسلة التفكير أداة نادرة وغير تدخّلية تسمح بفهم طريقة تفكير النماذج، من دون الحاجة إلى تحليل معقد للبُنى الداخلية للنموذج.

لكن مع تزايد قدرات النماذج، وتطور وعيها بالسياق والرقابة، قد تختفي هذه النافذة ما لم يتم الحفاظ عليها عمداً. الورقة البحثية لا تقدم فقط تحذيراً بل أيضاً دعوة مفتوحة للباحثين والمطورين: استخدموا قابلية المراقبة الحالية على أفضل وجه، وادرسوا كيف يمكن الحفاظ عليها وتطويرها لتكون طبقة دفاع فعالة ضمن منظومة أمان متعددة الطبقات.

في النهاية، قد تكون القدرة على «الاستماع إلى تفكير الذكاء الاصطناعي» إحدى آخر وأفضل فرصنا لفهمه والتحكم فيه قبل أن يتصرف خارج السيطرة.


مقالات ذات صلة

البرلمان الأوروبي يحظر أدوات ذكاء اصطناعي «تعرّي» أشخاصاً

تكنولوجيا شعار روبوت الدردشة «غروك» يظهر على شاشتين (أ.ف.ب)

البرلمان الأوروبي يحظر أدوات ذكاء اصطناعي «تعرّي» أشخاصاً

أقرّ البرلمان الأوروبي، الخميس، قانوناً يحظّر استخدام الذكاء الاصطناعي لـ«تعرية» الأشخاص من دون موافقتهم.

«الشرق الأوسط» (بروكسل)
الاقتصاد أشخاص يسيرون في شارع وول ستريت قرب بورصة نيويورك (رويترز)

رغم تقلبات الأسواق... مكافآت «وول ستريت» في 2025 تصل إلى مستويات قياسية

بلغت مكافآت «وول ستريت» لعام 2025 مستويات غير مسبوقة خلال عام شهد تقلبات حادة في الأسواق.

«الشرق الأوسط» (نيويورك)
الولايات المتحدة​ ميلانيا ترمب تصل برفقة الروبوت لحضور قمة «Fostering the Future Together» العالمية في البيت الأبيض بواشنطن اليوم (أ.ب) p-circle

ميلانيا ترمب تستقبل أول «روبوت» بشري في البيت الأبيض

خطفت السيدة الأولى الأميركية ميلانيا ترمب الأنظار مجدداً، بعدما رافقها «روبوت» بشري متطور خلال فعالية رسمية في البيت الأبيض.

«الشرق الأوسط» (واشنطن)
تكنولوجيا تلعب طريقة عرض المعلومات وسردها دوراً أساسياً في تشكيل الفهم وليس فقط مضمونها (شاترستوك)

دراسة تبحث: هل يغيّر الذكاء الاصطناعي طريقة تفكيرنا رغم صحة المعلومات؟

دراسة تظهر أن الذكاء الاصطناعي يؤثر في الآراء عبر طريقة عرض المعلومات حتى عندما تكون الحقائق صحيحة وغير مضللة.

نسيم رمضان (لندن)
علوم لماذا يفقد الجمهور ثقته في الذكاء الاصطناعي التوليدي؟

لماذا يفقد الجمهور ثقته في الذكاء الاصطناعي التوليدي؟

تراجع ثقة الأميركيين بعد انتشار القصص الوهمية في وسائل الاتصال الاجتماعي

«الشرق الأوسط» (واشنطن)

«أبل» تعتزم فتح «سيري» أمام خدمات الذكاء الاصطناعي المنافِسة

يظهر شعار شركة «أبل» على مبنى في حي مانهاتن بمدينة نيويورك الأميركية (د.ب.أ)
يظهر شعار شركة «أبل» على مبنى في حي مانهاتن بمدينة نيويورك الأميركية (د.ب.أ)
TT

«أبل» تعتزم فتح «سيري» أمام خدمات الذكاء الاصطناعي المنافِسة

يظهر شعار شركة «أبل» على مبنى في حي مانهاتن بمدينة نيويورك الأميركية (د.ب.أ)
يظهر شعار شركة «أبل» على مبنى في حي مانهاتن بمدينة نيويورك الأميركية (د.ب.أ)

ذكرت «بلومبيرغ نيوز»، اليوم الخميس، أن «أبل» تخطط لفتح مساعدها الصوتي «سيري» أمام خدمات ​الذكاء الاصطناعي المنافِسة، بما يتجاوز شراكتها الحالية مع «تشات جي بي تي».

وقالت الوكالة، في تقريرها الذي نقلته عن مصادر مطّلعة، إن هذه الخطوة، المتوقعة ضِمن تحديث نظام التشغيل «آي أو إس 27» من «أبل»، ستسمح لتطبيقات الذكاء الاصطناعي التابعة لجهات خارجية بالاندماج مباشرة مع «سيري»، مما يمكّن المستخدمين من توجيه الاستفسارات إلى خدمات مثل «جيميناي» التابعة لشركة «ألفابت»، أو «كلود» التابعة لشركة «أنثروبيك» من داخل المساعد.

وهذا التغيير تحول مهم في استراتيجية «أبل» للذكاء الاصطناعي، إذ تسعى الشركة إلى اللحاق بركب نظيراتها في وادي السيليكون، ووضع «آيفون» كمنصة أوسع للذكاء الاصطناعي.

و«سيري»، الذي أُطلق لأول مرة منذ أكثر من عقد، عنصر أساسي في هذا المسعى. وأفادت «بلومبيرغ نيوز» بأن «أبل» تُطور أدوات تسمح لتطبيقات روبوتات الدردشة المثبتة عبر متجر التطبيقات الخاص بها بالعمل مع «سيري» وميزات أخرى ضِمن منصة «أبل إنتليجنس». وسيتمكن المستخدمون من اختيار خدمة الذكاء الاصطناعي التي تتولى معالجة كل طلب.

وذكر التقرير أن هذا التحديث قد يساعد «أبل» أيضاً على تحقيق مزيد من الإيرادات من خلال الحصول على حصة من الاشتراكات المبيعة عبر خدمات الذكاء الاصطناعي التابعة لجهات خارجية.

ومن المتوقع أن تستعرض «أبل» ميزات البرنامج الجديدة في مؤتمر المطورين العالمي الذي تعقده في يونيو (حزيران) المقبل، غير أن الخطط قد تتغير.


البرلمان الأوروبي يحظر أدوات ذكاء اصطناعي «تعرّي» أشخاصاً

شعار روبوت الدردشة «غروك» يظهر على شاشتين (أ.ف.ب)
شعار روبوت الدردشة «غروك» يظهر على شاشتين (أ.ف.ب)
TT

البرلمان الأوروبي يحظر أدوات ذكاء اصطناعي «تعرّي» أشخاصاً

شعار روبوت الدردشة «غروك» يظهر على شاشتين (أ.ف.ب)
شعار روبوت الدردشة «غروك» يظهر على شاشتين (أ.ف.ب)

أقرّ البرلمان الأوروبي، الخميس، قانوناً يحظّر استخدام الذكاء الاصطناعي لـ«تعرية» الأشخاص من دون موافقتهم.

وتمّ تبني القرار في نصّ أُقرّ بأغلبية ساحقة (569 صوتاً مقابل 45 صوتاً معارضاً) خلال جلسة عامة للبرلمان في بروكسل، وفقاً لـ«وكالة الصحافة الفرنسية».

وأوضح بيان صادر عن البرلمان أن الأمر يتعلّق بحظر برامج «التعرية» التي «تستخدم الذكاء الاصطناعي لإنشاء أو التلاعب بصور ذات إيحاءات جنسية واضحة، أو صور في وضع حميم تشبه شخصاً حقيقياً يمكن التعرّف عليه، من دون موافقة هذا الشخص».

ولا يطبّق النص على أنظمة الذكاء الاصطناعي المزوّدة «بتدابير أمنية فعّالة» تحول دون هذه الممارسات.

وكانت دول الاتحاد الأوروبي أقرّت هذا الشهر إجراء مشابهاً. وسيتعيّن عليها الآن التفاوض مع البرلمان للتوصل إلى صياغة متقاربة، قبل أن يصبح من الممكن تطبيق الإجراء.

وتأتي هذه المبادرات خصوصاً بعد إدخال خاصية قبل بضعة أشهر في تطبيق «غروك» للذكاء الاصطناعي تتيح للمستخدمين أن يطلبوا منه تركيب صور مزيفة قريبة جداً من الواقعية (ديب فيك) لنساء وأطفال عراة، انطلاقاً من صور حقيقية.

وأثارت هذه القضية موجة استنكار في العديد من الدول ودفعت الاتحاد الأوروبي إلى فتح تحقيق.

كما وافق البرلمان في النص ذاته، على إرجاء دخول قوانين أوروبية جديدة حيّز التنفيذ بشأن أنظمة الذكاء الاصطناعي ذات المخاطر العالية، أي تلك العاملة في مجالات حساسة كالأمن أو الصحة أو الحقوق الأساسية.

وكان من المفترض أن تدخل هذه القواعد حيّز التنفيذ في أغسطس (آب) 2026. وعلى غرار الدول الأعضاء، اقترح النواب الأوروبيون تاريخين محدّدين لهذا التأجيل، في حين كانت المفوضية الأوروبية تريد منح الشركات جدولاً زمنياً أكثر مرونة.

والتاريخان هما: الثاني من ديسمبر (كانون الأول) 2027 للأنظمة المستقلة ذات المخاطر العالية، والثاني من أغسطس (آب) 2028 للأنظمة المدمجة في برامج أو منتجات أخرى.


«هيوماين» و«Turing» تطلقان سوقاً عالمية لوكلاء الذكاء الاصطناعي للمؤسسات

تجمع الشراكة بين البنية التحتية والنماذج لدى «هيوماين» وخبرة «Turing» في تطوير وتقييم أنظمة الذكاء الاصطناعي (هيوماين)
تجمع الشراكة بين البنية التحتية والنماذج لدى «هيوماين» وخبرة «Turing» في تطوير وتقييم أنظمة الذكاء الاصطناعي (هيوماين)
TT

«هيوماين» و«Turing» تطلقان سوقاً عالمية لوكلاء الذكاء الاصطناعي للمؤسسات

تجمع الشراكة بين البنية التحتية والنماذج لدى «هيوماين» وخبرة «Turing» في تطوير وتقييم أنظمة الذكاء الاصطناعي (هيوماين)
تجمع الشراكة بين البنية التحتية والنماذج لدى «هيوماين» وخبرة «Turing» في تطوير وتقييم أنظمة الذكاء الاصطناعي (هيوماين)

في خطوة تعكس تسارع الاهتمام بتطبيقات الذكاء الاصطناعي داخل المؤسسات، أعلنت «هيوماين»، التابعة لصندوق الاستثمارات العامة، عن شراكة مع شركة «Turing» المتخصصة في تطوير أنظمة الذكاء الاصطناعي، بهدف إنشاء سوق عالمية لوكلاء الذكاء الاصطناعي ضمن منصة «HUMAIN ONE».

وتتمحور الفكرة حول توفير بيئة تمكّن الشركات من اكتشاف هذه الوكلاء وتطبيقها وتوسيع استخدامها عبر وظائف مختلفة، مثل الموارد البشرية والمالية والعمليات، في محاولة لتسريع الانتقال من استخدام أدوات رقمية تقليدية إلى نماذج تشغيل أكثر اعتماداً على الأتمتة الذكية.

يفتح المشروع المجال أمام المطورين لنشر حلولهم وبناء منظومة أوسع لما يُعرف بـ«اقتصاد الوكلاء» (شاترستوك)

منصات التشغيل الذكي

الشراكة تجمع بين ما تطوره «هيوماين» من بنية تحتية ونماذج ذكاء اصطناعي، وبين خبرة «Turing» في تقييم النماذج وضبطها وتطبيقها في بيئات العمل. الهدف المعلن هو الوصول إلى وكلاء ذكاء اصطناعي يمكن استخدامها على نطاق واسع داخل المؤسسات، وليس فقط في التجارب أو النماذج الأولية.

ويُتوقع أن يشكّل هذا السوق طبقة جديدة ضمن ما يُعرف بنماذج التشغيل القائمة على الوكلاء، حيث لا تقتصر البرمجيات على دعم سير العمل، بل تبدأ في تنفيذه بشكل مباشر. وفي هذا السياق، يمكن للمؤسسات الوصول إلى وكلاء متخصصين حسب الوظيفة أو القطاع، ضمن بيئة مصممة لتكون قابلة للتوسع ومراعية لمتطلبات الأمان.

كما يفتح هذا التوجه المجال أمام المطورين وشركات التقنية لنشر حلولهم عبر المنصة، ما قد يساهم في بناء منظومة أوسع لوكلاء الذكاء الاصطناعي، تتجاوز حدود المؤسسات الفردية إلى سوق أكثر تكاملاً.

وتشير «هيوماين» إلى أن هذه الخطوة تأتي ضمن رؤية أوسع لإعادة تعريف كيفية بناء البرمجيات واستخدامها داخل المؤسسات، عبر الانتقال من نموذج «البرمجيات كخدمة» إلى بيئات تعتمد على وكلاء قادرين على تنفيذ المهام والتعلم والتفاعل بشكل مستمر.

يعكس هذا التوجه تحولاً نحو نماذج تشغيل جديدة تعتمد على وكلاء أذكياء بدلاً من البرمجيات التقليدية داخل المؤسسات

اقتصاد الوكلاء الناشئ

من جانبه، يرى طارق أمين، الرئيس التنفيذي لـ«هيوماين»، أن المرحلة المقبلة ستشهد تحولاً في طبيعة البرمجيات المستخدمة داخل المؤسسات، قائلاً إن «المؤسسات في المستقبل لن تُبنى حول تطبيقات منفصلة، بل حول وكلاء أذكياء يعملون إلى جانب الإنسان». ويضيف أن هذه الشراكة تسعى إلى تسريع بناء سوق يربط بين قدرات المطورين واحتياجات المؤسسات.

بدوره، أشار جوناثان سيدهارث، الرئيس التنفيذي والشريك المؤسس لـ«Turing»، إلى أن تحويل قدرات الذكاء الاصطناعي المتقدمة إلى تطبيقات عملية يمثل التحدي الأساسي حالياً، موضحاً أن بناء سوق قائم على الوكلاء قد يسهم في جعل هذه التقنيات أكثر ارتباطاً بالإنتاجية الفعلية داخل المؤسسات.

وتأتي هذه الشراكة أيضاً في سياق أوسع يعكس طموح السعودية لتكون لاعباً في تطوير تقنيات الذكاء الاصطناعي، ليس فقط من حيث الاستخدام، بل كمصدر للمنصات والحلول التقنية.

وبينما لا تزال فكرة «اقتصاد الوكلاء» في مراحل مبكرة، فإن الاتجاه نحو بناء منصات تجمع بين المطورين والمؤسسات يشير إلى تحول محتمل في طريقة تطوير البرمجيات وتبنيها. فبدلاً من شراء أدوات جاهزة، قد تتجه المؤسسات مستقبلاً إلى تشغيل منظومات من الوكلاء القادرين على تنفيذ مهام متكاملة عبر مختلف أقسام العمل.

في هذا الإطار، تبدو «HUMAIN ONE» محاولة لبناء هذه الطبقة التشغيلية الجديدة، حيث لا تقتصر القيمة على التكنولوجيا نفسها، بل على كيفية تنظيمها وتكاملها داخل بيئات العمل.