تقرير علمي: قدرة البشر على فهم «نوايا» الذكاء الاصطناعي في خطر

ورقة مشتركة لأهم باحثي شركات الذكاء الاصطناعي

باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)
باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)
TT

تقرير علمي: قدرة البشر على فهم «نوايا» الذكاء الاصطناعي في خطر

باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)
باحثون: الاعتماد المتزايد على أساليب تدريب معينة قد يؤدي إلى تقويض الشفافية وجعل تموّه طريقة تفكيرها (شاترستوك)

في خطوة نادرة من التعاون ورغم المنافسة، أصدر باحثون بارزون من أهم شركات الذكاء الاصطناعي «أوبن إيه آي» (OpenAI) و«أنثروبيك» (Anthropic) و«وميتا» (Meta) و«غوغل» (Google) و«ديب مايند» (DeepMind) ورقة بحثية مشتركة يحذرون فيها من أن القدرة على مراقبة «سلاسل التفكير» (Chain of Thought - CoT) داخل أنظمة الذكاء الاصطناعي تُمثل فرصة مهمة لتحسين السلامة، لكنها في الوقت نفسه فرصة هشة قد لا تدوم.

الورقة البحثية، بعنوان «قابلية مراقبة سلسلة التفكير: فرصة جديدة وهشة لسلامة الذكاء الاصطناعي». تشرح بالتفصيل كيف يمكن تتبع الخطوات العقلية التي تتبعها النماذج في أثناء التفكير، خصوصاً عندما تُعبر عنها بلغة بشرية ومراقبتها من أجل رصد أي نية خبيثة أو سلوك غير آمن قبل وقوعه. لكن الباحثين يحذرون من أن هذه القدرة قد لا تستمر إذا لم تحظَ بالعناية الكافية.

«سلسلة التفكير» تتيح فرصة نادرة لمراقبة نوايا الذكاء الاصطناعي قبل أن يتصرف (غيتي)

«سلسلة التفكير»... لغة العقل المكشوفة

في صلب هذه الورقة البحثية نجد مفهوم «سلسلة التفكير» (CoT)، وهي تشير إلى الطريقة التي «يفكر» بها النموذج بصوتٍ عالٍ من خلال خطوات منطقية مكتوبة بلغة طبيعية أثناء أداء مهمة معينة. يُستخدم هذا النهج على نطاق واسع لتحسين أداء نماذج اللغة الكبيرة، حيث يعزز دقة الاستجابات عن طريق تقسيم المهام المعقدة إلى خطوات صغيرة.

يرى الباحثون أن هذه الخاصية تُشكل فرصة نادرة للإشراف والمراقبة؛ لأن العديد من النماذج المتقدمة بما في ذلك تلك التي تطورها «أوبن إيه آي» (OpenAI) و«غوغل» (Google) تُنتج أثراً لغوياً أثناء عمليات التفكير، مما يجعل من الممكن رصد بوادر الانحراف أو النوايا الضارة مبكراً.

وقد أظهرت تجارب سابقة أن النماذج في بعض الأحيان «تقول الأمور بوضوح» في سلسلة تفكيرها، مثل: «دعونا نخترق النظام» أو «أنقل الأموال لأن الموقع طلب ذلك»، ما يمكن أن يُكتشف عبر أدوات المراقبة بسهولة أكبر مقارنة برصد الأفعال فقط.

أهمية «سلاسل التفكير»

يقدم الباحثون سببين رئيسيين يجعلان سلسلة التفكير فرصة واقعية للمراقبة وهو الضرورة حيث تتطلب المهام المعقدة تفكيراً متسلسلاً، لا تستطيع النماذج إكمال المهمة إلا إذا قامت بـ«التفكير بصوت عالٍ»، أي عبر لغة مفهومة. هذا يُتيح مراقبة خطوات التفكير التي تمر عبر ما يشبه «الذاكرة العاملة» في النماذج، وبالتالي الكشف عن نواياها. ثانياً، الميول الطبيعية للتفكير بلغة بشرية، حتى عندما لا يكون التفكير العلني ضرورياً، تميل بعض النماذج إلى التعبير عن خطواتها باللغة نتيجة تدريبها على بيانات بشرية، مما يعزز من الشفافية. هذان العاملان يخلقان ما يسميه الباحثون «سطح مراقبة»، يمكن من خلاله فهم أهداف النموذج بشكل أفضل قبل أن يتصرف.

يوصي الباحثون بتطوير أدوات تقييم متقدمة لقابلية المراقبة واستخدامها في قرارات النشر والتوسع.

فرصة هشة في خطر

رغم هذه المزايا، يُحذر الباحثون من أن قابلية مراقبة سلاسل التفكير قد تكون عرضية ومؤقتة. ويؤكدون أن هذا المستوى من الشفافية قد يكون ناتجاً عن الأساليب الحالية في تدريب النماذج، والتي قد تتغير في المستقبل.

تشمل التهديدات التي قد تقوّض قابلية مراقبة سلسلة التفكير عدداً من التحولات التقنية والمنهجية المتسارعة. من ذلك، الاعتماد المتزايد على التدريب المعزز الموجّه بالنتائج فقط، ما قد يقلّل من اهتمام النموذج بشرح خطواته بوضوح. إلى جانب ذلك، فإن تطبيق الإشراف المباشر على طريقة التفكير قد يدفع النماذج لإنتاج مخرجات «آمنة شكلياً»، لكنها لا تعبّر عن منطقها الحقيقي، مما يُضعف صدق سلسلة التفكير. كما أن ظهور ضغوط غير مباشرة، كوعي النموذج بوجود مراقبة، قد يحفّزه على إخفاء أو تحوير تفكيره لتجنّب الاكتشاف. ولا تقل خطورة عن ذلك الهندسات الجديدة التي تعتمد على التفكير في فضاءات كامنة وغير لغوية؛ إذ قد تؤدي إلى اختفاء سلسلة التفكير بالكامل وفقدان الشفافية. لهذا، يرى الباحثون أن الحفاظ على هذه القدرة التفسيرية يتطلب جهداً متعمداً قبل أن تصبح غير قابلة للاسترداد.

الورقة البحثية: قابلية مراقبة الذكاء الاصطناعي تمثل طبقة أمان إضافية لكنها هشة وتتطلب حماية واعية (شاترستوك)

ما الذي يجب فعله الآن؟

اقترح الباحثون سلسلة من التوصيات العاجلة بهدف الحفاظ على قابلية مراقبة سلسلة التفكير وتعزيز دورها في سلامة النماذج المتقدمة. أولى هذه التوصيات هي تطوير أدوات تقييم دقيقة وقادرة على قياس هذه القابلية بفاعلية؛ إذ إن الأدوات الحالية لا تزال محدودة في نطاقها وتطبيقها. كما شددوا على ضرورة تحديد معايير واضحة للحكم على ما إذا كان النموذج «قابلاً للمراقبة»، أي وضع حدود دنيا لمستوى الشفافية المطلوب قبل الاعتماد على سلسلة التفكير كطبقة أمان موثوقة. وإلى جانب ذلك، دعا الباحثون إلى اختبار النماذج في بيئات خصومية تحاكي محاولات التمويه أو الإخفاء، من أجل معرفة مدى قدرتها على إخفاء نواياها حتى دون تدريب صريح على ذلك. كما أكدوا أهمية إدراج قابلية المراقبة كعنصر أساسي في قرارات النشر والتوسع، تماماً كما تُؤخذ بعين الاعتبار معايير الأداء والكفاءة والأخلاقيات. وفي هذا السياق، حذر الباحثون من خطورة التوجه نحو تزييف مظهر سلسلة التفكير لتبدو «آمنة» شكلياً فقط، في محاولة لتجنّب الرقابة القانونية أو الضغوط المجتمعية؛ لأن هذا النهج من شأنه أن يُفرغ الشفافية من مضمونها ويقوّض دورها في تعزيز الأمان الحقيقي.

طبقة أمان تستحق الحماية

في سياق أوسع من البحث في سلامة الذكاء الاصطناعي، تُعد مراقبة سلسلة التفكير أداة نادرة وغير تدخّلية تسمح بفهم طريقة تفكير النماذج، من دون الحاجة إلى تحليل معقد للبُنى الداخلية للنموذج.

لكن مع تزايد قدرات النماذج، وتطور وعيها بالسياق والرقابة، قد تختفي هذه النافذة ما لم يتم الحفاظ عليها عمداً. الورقة البحثية لا تقدم فقط تحذيراً بل أيضاً دعوة مفتوحة للباحثين والمطورين: استخدموا قابلية المراقبة الحالية على أفضل وجه، وادرسوا كيف يمكن الحفاظ عليها وتطويرها لتكون طبقة دفاع فعالة ضمن منظومة أمان متعددة الطبقات.

في النهاية، قد تكون القدرة على «الاستماع إلى تفكير الذكاء الاصطناعي» إحدى آخر وأفضل فرصنا لفهمه والتحكم فيه قبل أن يتصرف خارج السيطرة.


مقالات ذات صلة

محافظ «المركزي السعودي»: عدم اليقين العالمي بات هيكلياً لـ4 أسباب رئيسية

الاقتصاد محافظ البنك المركزي السعودي أيمن السياري (المؤتمر)

محافظ «المركزي السعودي»: عدم اليقين العالمي بات هيكلياً لـ4 أسباب رئيسية

قال محافظ البنك المركزي السعودي، أيمن السياري، إن حالة عدم اليقين العالمي الراهنة باتت تميل إلى أن تكون هيكلية أكثر من كونها ظرفية.

«الشرق الأوسط» (العلا)
الاقتصاد محافظ بنك إنجلترا أندرو بيلي متحدثاً في النسخة الثانية من «مؤتمر العلا للاقتصادات الناشئة» (الشرق الأوسط)

محافظ بنك إنجلترا من العلا: الاقتصاد العالمي يتماسك رغم تصاعد المخاطر

قال محافظ بنك إنجلترا، أندرو بيلي، إن الاقتصاد العالمي أظهر مرونة لافتة خلال العام الماضي رغم حالة عدم اليقين الكبيرة المحيطة بالسياسات.

«الشرق الأوسط» (العلا)
الاقتصاد وزير المالية الصيني متحدثاً في مؤتمر العلا (الشرق الأوسط)

وزير المالية الصيني يحذر من تباطؤ النمو واتساع فجوة التنمية عالمياً

قال وزير المالية الصيني، إن الاقتصادات الناشئة تواجه ثلاث تحديات رئيسية، تشمل ضعف زخم النمو، واتساع فجوات التنمية وتزايد أوجه القصور في الحوكمة العالمية.

«الشرق الأوسط» (العلا)
تكنولوجيا شخصية «باز لايت يير» (بيكساباي)

خبراء ينصحون بإبعاد الأطفال عن الدمى الناطقة بالذكاء الاصطناعي

ينصح الخبراء بعدم وجود أي طفل دون سن الخامسة بالقرب من لعبة ذكاء اصطناعي، وأن على الآباء توخي الحذر فيما يتعلق بالأطفال الذين تتراوح أعمارهم بين 6 و12عاماً.

«الشرق الأوسط» (نيويورك)
الاقتصاد متداولون يعملون في قاعة التداول ببورصة نيويورك بينما يتجاوز مؤشر «داو جونز» الصناعي حاجز 50 ألف نقطة (رويترز)

«داو جونز» يكسر حاجز 50 ألف نقطة للمرة الأولى... ما القوى المحركة وراء ذلك؟

نجح مؤشر «داو جونز» الصناعي يوم الجمعة في تجاوز عتبة 50 ألف نقطة للمرة الأولى منذ تأسيسه.

«الشرق الأوسط» (نيويورك)

ساعة ذكية «صحية» جديدة

ساعة ذكية «صحية» جديدة
TT

ساعة ذكية «صحية» جديدة

ساعة ذكية «صحية» جديدة

أعلنت «لينك2كير»؛ المنصة التكنولوجية في مجال الأجهزة القابلة للارتداء المعنية بالرعاية الصحية الوقائية، حديثاً عن إطلاق ساعتها الذكية «ووتش2كير فايتال» في الولايات المتحدة، خلال معرض الإلكترونيات الاستهلاكية في لاس فيغاس.

ساعة «صحية»

وروجت المنصة لساعة «ووتش2كير فايتال (Watch2Care Vital Smartwatch)»، بوصفها أول ساعة ذكية تجمع بين 3 آلاف عام من الطب الصيني التقليدي، وبيانات صحية واقعية تخص أكثر من 9 ملايين حالة، علاوة على أنظمة ذكاء اصطناعي متطورة. صحيح أنها تتعقب خطواتك؛ الأمر الذي اعتاده كثيرون منا (وأنا منهم)، إلا إنها تقدم أكثر من ذلك بكثير...

* مبادئ الطب الصيني. تحتوي الساعة الذكية مستشعرات متطورة تلتقط وتحلل «البيانات الحيوية الغربية»، وكذلك بيانات نبضات القلب، وفق «مبادئ الطب الصيني التقليدي»، وذلك في الوقت الفعلي.

باختصار؛ تشكل هذه الساعة جهازاً متطوراً لتتبع الصحة يُرتدى على المعصم. وأوضح أحد ممثلي «لينك2كير» أن الساعة الجديدة تتبع نهجاً شاملاً.

وتتضمن ميزاتها تكنولوجيا رائدة لمراقبة الحالة الصحية؛ تركز على تحليل وظائف أعضاء الجسم، مثل القلب والكبد والطحال والرئتين والكليتين. وتركز النتائج على تنبيه المستخدمين حال ظهور مؤشرات مبكرة على مشكلات صحية محتملة، وتشجيعهم على تعديل نمط حياتهم ونظامهم الغذائي.

* مراقبة مستمرة: توفر الساعة مراقبة مستمرة لـ38 مؤشراً فسيولوجياً، بما في ذلك تحليل النوم الضروري والشائع، وتتبع نمط الحياة النشط، ومراقبة أجهزة الجسم، والبيانات الحيوية في الوقت الفعلي.

* تقارير صحية بالذكاء الاصطناعي: كما توفر ساعة «ووتش2كير فايتال»، يومياً، تقارير صحية مُولّدة بالذكاء الاصطناعي، بالإضافة إلى مؤشرات صحية شاملة، عبر تطبيق «لينك2كير»، المتوفر على متجر تطبيقات «أبل» ومتجر «غوغل بلاي»، الذي يُستخدم كذلك لتحديثات البرامج الثابتة. وتتولى ميزة مراقبة النوم متابعة أي ارتفاعات غير طبيعية في معدل خفقان القلب خلال الليل.

وخلال الفترة القصيرة التي استخدمتُ فيها الساعة، لم أتمكن من رصد أي شيء لافت في جسمي، لكن إمكاناتها لفتت انتباهي دونما شك. ورغم أنها ليست ساعة ذكية بالمعنى المتعارف عليه، مثل ساعة «أبل ووتش»، فإنها توفر مزايا الرسائل، والإشعارات، والبريد الإلكتروني، علاوة على عدد كبير من التطبيقات، وإمكانية الاتصال بـ«كار بلاي».

يذكر أنه يجري تسويق الميزات الصحية للساعة بوصفها تتجاوز بكثير ما تقدمه الساعات الذكية الأخرى، وذلك بالاعتماد على الطب الصيني التقليدي. ولدى ارتدائك ساعة «ووتش2كير فايتال»، فإنك تتلقى أول تقرير يستند إلى مبادئ الطب الصيني التقليدي في غضون 24 ساعة. ويتضمن التقرير معلوماتٍ؛ مثل تقييم من 100 درجة لوظائف القلب والكبد والكلى والطحال. كما يحتوي ميزة لقياس مستوى الأكسجين في الدم.

بريد إلكتروني ورسائل نصية

وبما أنها على اتصال بهاتفك الذكي، فإن ساعة «ووتش2كير فايتال» ترسل تنبيهاً لدى ورود رسائل بريد إلكتروني، أو رسائل نصية جديدة... كما تعرض الساعة الوقت، وتوفر منبهاً، بجانب معلومات عن حالة الطقس... وهي تُستقى من هاتفك الذكي.

من حيث التصميم، تتميز الساعة بتصميم أنيق يتفوق على الساعات الذكية الأوسع شيوعاً. كما تتمتع ببطارية تستمر 48 ساعة؛ الأمر الذي أثبتته تجربتي الشخصية، إضافة إلى إمكانية شحنها بسرعة في غضون نحو ساعة ونصف. كما يأتي معها كابل شحن «يو إس بي» خاص. وتعمل شاشتها، التي تأتي بمقاس 1.43 بوصة، باللمس، وتتميز بحواف دائرية، ومدمجة في هيكل من التيتانيوم، وتدعم تكنولوجيا «بلوتوث 5.3» للاتصال. وتتميز بدقة عرض فائقة الوضوح تبلغ 466 × 466 بيكسل، بجانب أنها مقاومة للماء بمعيار «آي بي67».

وبصفتي من مستخدمي «أبل ووتش» منذ مدة طويلة، فقد وجدتُ أن شاشة اللمس في ساعة «ووتش2كير فايتال» سريعة الاستجابة وسهلة الاستخدام للوصول إلى الميزات والشاشات الأخرى. وفي المجمل، تتوفر 6 واجهات للساعة للاختيار من بينها، ولا يوجد خيار صحيح أو خاطئ؛ الأمر يعتمد على ما تفضله والمعلومات التي ترغب في رؤيتها. شخصياً، اخترت الواجهة التي تعرض الوقت بأكبر خط. ويبلغ ثمن الساعة 2384 دولاراً.

http://www.link2care.asia

* خدمات «تريبيون ميديا»


خبراء ينصحون بإبعاد الأطفال عن الدمى الناطقة بالذكاء الاصطناعي

شخصية «باز لايت يير» (بيكساباي)
شخصية «باز لايت يير» (بيكساباي)
TT

خبراء ينصحون بإبعاد الأطفال عن الدمى الناطقة بالذكاء الاصطناعي

شخصية «باز لايت يير» (بيكساباي)
شخصية «باز لايت يير» (بيكساباي)

مع أفلام مغامرات «حكاية لعبة» الشيّقة، إلى حركات «تيد» الطفولية، أصبحت فكرة الدمى والدببة المحشوة، التي تدب فيها الحياة فكرةً سينمائيةً مبتذلة.

وبينما أتاحت التطورات الحديثة في مجال الذكاء الاصطناعي إمكانية صنع ألعاب تبدو واعية، فإنها تبدو أقرب إلى شخصيات شريرة مثل المهرج في فيلم «بولترجايست» وشخصية «تشاكي» في فيلم «لعبة طفل» منها إلى شخصيتَي «وودي» و«باز لايت يير».

ووفقاً لمنظمة «كومن سينس ميديا»، الأميركية غير الحكومية المعنية بمراقبة السلع الإلكترونية الاستهلاكية، فإن الدمى وألعاب الأطفال التي تعمل بالذكاء الاصطناعي تقول كلاماً غير لائق للأطفال، وتنتهك خصوصية المنزل من خلال جمع بيانات واسعة النطاق.

يقول روبي تورني، رئيس قسم التقييمات الرقمية في «كومن سينس»: «أظهر تقييمنا للمخاطر أن دمى الذكاء الاصطناعي تشترك في مشكلات جوهرية تجعلها غير مناسبة للأطفال الصغار».

ويقول تورني: «أكثر من رُبع المنتجات تتضمَّن محتوى غير لائق، مثل الإشارة إلى إيذاء النفس، والمخدرات، والسلوكيات الخطرة»، مشيراً إلى أن هذه الأجهزة تستلزم «جمع بيانات مكثف»، وتعتمد على «نماذج اشتراك تستغل الروابط العاطفية».

ووفقاً لمنظمة «كومن سينس»، تستخدم بعض هذه الألعاب «آليات ترابط لخلق علاقات شبيهة بالصداقة»، محذِّرة من أن هذه الأجهزة في الوقت نفسه «تجمع بيانات واسعة النطاق في المساحات الخاصة بالأطفال»، بما في ذلك التسجيلات الصوتية، والنصوص المكتوبة، و«البيانات السلوكية».

وتؤكد «كومن سينس» ضرورة عدم وجود أي طفل دون سن الخامسة بالقرب من لعبة ذكاء اصطناعي، وأنَّ على الآباء توخي الحذر فيما يتعلق بالأطفال الذين تتراوح أعمارهم بين 6 و12 عاماً.

ويقول جيمس ستاير، مؤسِّس ورئيس منظمة «كومن سينس»: «ما زلنا نفتقر إلى ضمانات فعّالة لحماية الأطفال من الذكاء الاصطناعي»، مقارِناً بين غياب هذه الحماية و«الاختبارات الصارمة» للسلامة والملاءمة التي تخضع لها الألعاب الأخرى قبل الموافقة على طرحها للبيع.


بالخطأ... منصة في كوريا الجنوبية توزع «بتكوين» بقيمة 44 مليار دولار

شعار منصة تداول العملات المشفرة الكورية الجنوبية «بيثامب» (رويترز)
شعار منصة تداول العملات المشفرة الكورية الجنوبية «بيثامب» (رويترز)
TT

بالخطأ... منصة في كوريا الجنوبية توزع «بتكوين» بقيمة 44 مليار دولار

شعار منصة تداول العملات المشفرة الكورية الجنوبية «بيثامب» (رويترز)
شعار منصة تداول العملات المشفرة الكورية الجنوبية «بيثامب» (رويترز)

كشفت منصة تداول العملات المشفرة الكورية الجنوبية «بيثامب»، اليوم السبت، عن أنها وزعت عملات «بتكوين» بقيمة تتجاوز 40 مليار دولار على عملاء بوصفها مكافآت ترويجية عن طريق الخطأ، ما أدى إلى موجة بيع حادة على المنصة.

واعتذرت «‌بيثامب» عن ‌الخطأ الذي ‌وقع ⁠أمس ​الجمعة، ‌وقالت إنها استعادت 99.7 في المائة من إجمالي 620 ألف «بتكوين» بقيمة تبلغ نحو 44 مليار دولار بالأسعار الحالية. وقيدت عمليات التداول والسحب ⁠على 695 عميلاً متأثراً بالواقعة في ‌غضون 35 دقيقة ‍من التوزيع ‍الخاطئ أمس.

وأفادت تقارير إعلامية بأن ‍المنصة كانت تعتزم توزيع مكافآت نقدية صغيرة في حدود 2000 وون كوري (1.40 دولار) ​أو أكثر لكل مستخدم في إطار حدث ترويجي، لكن ⁠الفائزين حصلوا بدلاً من ذلك على ألفي «بتكوين» على الأقل لكل منهم.

وقالت «‌بيثامب» في بيان: «نود أن نوضح أن هذا لا علاقة له بقرصنة خارجية أو انتهاكات أمنية، ولا توجد مشاكل في أمن النظام ‌أو إدارة أصول العملاء».