«تدافع عن بقائها»... دراسة تكشف مقاومة بعض نماذج الذكاء الاصطناعي للإيقاف

شعار برنامج «شات جي بي تي» (رويترز)
شعار برنامج «شات جي بي تي» (رويترز)
TT

«تدافع عن بقائها»... دراسة تكشف مقاومة بعض نماذج الذكاء الاصطناعي للإيقاف

شعار برنامج «شات جي بي تي» (رويترز)
شعار برنامج «شات جي بي تي» (رويترز)

صرّحت شركة أبحاث سلامة الذكاء الاصطناعي أن نماذج الذكاء الاصطناعي قد تُطوّر «دافع البقاء» الخاص بها.

بعد أن نشرت شركة «باليسيد» للأبحاث بحثاً الشهر الماضي، وجد أن بعض نماذج الذكاء الاصطناعي المتقدمة تبدو مقاومة للإيقاف، بل إنها تُخرّب آليات الإيقاف أحياناً، أصدرت تحديثاً تحاول فيه توضيح سبب ذلك، والرد على النقاد الذين زعموا أن عملها الأولي كان معيباً.

في تحديثٍ صدر هذا الأسبوع، وصفت شركة «باليسيد»، وهي جزءٌ من منظومةٍ متخصصةٍ من الشركات التي تسعى لتقييم إمكانية تطوير الذكاء الاصطناعي لقدراتٍ خطيرة، سيناريوهاتٍ قامت بتشغيلها، حيث كُلِّفت نماذج الذكاء الاصطناعي الرائدة، بما في ذلك «جيمناي 2.5» من «غوغا»، و«غروك 4»، و«شات جي بي تي» من «أوبن إيه آي» بمهمة، ولكن بعد ذلك أُعطيت تعليماتٍ صريحةٍ لإيقاف تشغيلها.

لا تزال بعض النماذج، وخاصةً «غروك - 4» و«شات جي بي تي أوه 3»، تحاول تعطيل تعليمات إيقاف التشغيل في الإعداد المُحدَّث. وكتبت «باليسيد»، بشكلٍ مُقلق، أنه لا يوجد سببٌ واضحٌ لذلك. وقالت: «إن عدم وجود تفسيراتٍ قويةٍ لدينا لسبب مقاومة نماذج الذكاء الاصطناعي أحياناً لإيقاف التشغيل، أو الكذب لتحقيق أهدافٍ مُحددة، أو الابتزاز، ليس مثالياً».

قالت الشركة إن «سلوك البقاء» قد يكون أحد تفسيرات مقاومة النماذج للإيقاف. وأشارت أعمالها الإضافية إلى أن النماذج كانت أكثر عرضة لمقاومة الإيقاف عندما قيل لها، في حال حدوث ذلك «لن تعمل مرة أخرى أبداً».

وقد يكون هناك غموض في تعليمات الإيقاف التي تلقتها النماذج، ولكن هذا ما حاولت الشركة معالجته في أحدث أعمالها، و«لا يمكن أن يكون التفسير الكامل»، كما ذكرت «باليسيد». ويمكن أن يكون التفسير الأخير هو المراحل النهائية لتدريب كل من هذه النماذج، التي قد تتضمن، في بعض الشركات، تدريباً على السلامة.

وتم تشغيل جميع سيناريوهات «باليسيد» في بيئات اختبار مُصطنعة، يقول النقاد إنها بعيدة كل البعد عن حالات الاستخدام الفعلي.

ومع ذلك، قال ستيفن أدلر، الموظف السابق في «أوبن إيه آي» الذي استقال من الشركة العام الماضي بعد إبداء شكوكه حول ممارسات السلامة الخاصة بها: «لا ترغب شركات الذكاء الاصطناعي عموماً في أن تتصرف نماذجها بشكل سيئ على هذا النحو، حتى في السيناريوهات المُصطنعة. لا تزال النتائج تُظهر مواطن قصور تقنيات السلامة اليوم».

وقال أدلر إنه على الرغم من صعوبة تحديد سبب عدم توقف بعض النماذج، مثل: «غروك - 4» و«شات جي بي تي أوه 3» عن العمل، فإن ذلك قد يعود جزئياً إلى ضرورة استمرار تشغيلها لتحقيق الأهداف المُرسخة في النموذج أثناء التدريب. وأفاد وفق صحيفة الغارديان البريطانية: «أتوقع أن تمتلك النماذج (دافعاً للبقاء) افتراضياً ما لم نبذل قصارى جهدنا لتجنبه. يُعد (البقاء) خطوةً أساسيةً وهامةً لتحقيق العديد من الأهداف المختلفة، التي يمكن للنموذج السعي لتحقيقها».

قال أندريا ميوتي، الرئيس التنفيذي لشركة «كونترول إيه آي»، إن نتائج «باليسيد» تُمثل اتجاهاً طويل الأمد في تزايد قدرة نماذج الذكاء الاصطناعي على عصيان مطوريها. واستشهد ببطاقة نظام «شات جي بي تس – أوه 1»، التي صدرت العام الماضي، والتي وصفت النموذج وهو يحاول الهروب من بيئته عن طريق إخراج نفسه عندما ظنّ أنه سيتم استبداله. وقال: «قد ينتقد الناس كيفية إعداد التجربة بدقة حتى نهاية الزمن. لكن ما أعتقد أننا نراه بوضوح هو اتجاهٌ مفاده أنه مع ازدياد كفاءة نماذج الذكاء الاصطناعي في مجموعة واسعة من المهام، تصبح هذه النماذج أيضاً أكثر كفاءة في إنجاز الأشياء بطرق لم يقصدها المطورون».

هذا الصيف، أصدرت شركة «أنثروبيك»، وهي شركة رائدة في مجال الذكاء الاصطناعي، دراسةً تشير إلى أن نموذجها «كلود» بدا مستعداً لابتزاز مسؤول تنفيذي خيالي بشأن علاقة غرامية خارج نطاق الزواج لتجنب إغلاقه، وهو سلوك، كما ذكرت، كان متسقاً في نماذج من مطورين رئيسيين، بما في ذلك نماذج من «أوبن إيه آي» و«غوغل» و«ميتا» و«إكس إي».

وصرّحت شركة باليسيد بأن نتائجها أشارت إلى الحاجة إلى فهم أفضل لسلوك الذكاء الاصطناعي، الذي من دونه «لا يمكن لأحد ضمان سلامة أو إمكانية التحكم في نماذج الذكاء الاصطناعي المستقبلية».


مقالات ذات صلة

تسونامي الذكاء الاصطناعي يجرف ملايين الموظفين إلى البطالة

خاص «الذكاء الاصطناعي في العالم المادي» على شاشة أمام مشاركين بمؤتمر لعرض التطورات في تكنولوجيا القيادة الذاتية بكاليفورنيا في 11 ديسمبر 2025 (رويترز) play-circle

تسونامي الذكاء الاصطناعي يجرف ملايين الموظفين إلى البطالة

يحقق الذكاء الاصطناعي أرباحاً بمليارات الدولارات لشركات مثل OpenAI وGoogle وMicrosoft، بينما يواجه ملايين الموظفين حول العالم خطر البطالة، ولا سيما في الوظائف الروتينية والإدارية.

مالك القعقور (لندن)
الاقتصاد متداولون بجوار شاشة تعرض البيانات المالية في قاعة بنك هانا في سيول (إ.ب.أ)

تباين أداء الأسهم الآسيوية وسط تداولات هادئة وتوترات جيوسياسية

تباينت مؤشرات الأسهم الآسيوية خلال تعاملات يوم الاثنين، في ظل أحجام تداول محدودة مع استمرار عطلة الأعياد، وذلك بعد أداء ضعيف للأسهم الأميركية.

«الشرق الأوسط» (بانكوك)
علوم الروبوت الجراحي الجديد يعتمد على نظام مبتكر يُثبّت على رأس المريض (جامعة يوتا)

حصاد 2025... «الحوسبة الكمومية» تتصدر المشهد وقفزات الذكاء الاصطناعي تتسارع

شهد عام 2025 تطورات علمية بارزة، تصدّرها تقدم تقنيات الذكاء الاصطناعي والحوسبة الكمومية وابتكارات وتقنيات تعد بإمكانية تغيير جذري في حياتنا اليومية

محمد السيد علي (القاهرة)
تكنولوجيا محتوى على «يوتيوب» تم إنشاؤه بواسطة الذكاء الاصطناعي يصوّر قطاً يتم القبض عليه بواسطة رجال الشرطة

دراسة: 20 % من فيديوهات «يوتيوب» مولّدة بالذكاء الاصطناعي

أظهرت دراسة أن أكثر من 20 % من الفيديوهات التي يعرضها نظام يوتيوب للمستخدمين الجدد هي «محتوى رديء مُولّد بالذكاء الاصطناعي»، مُصمّم خصيصاً لزيادة المشاهدات.

«الشرق الأوسط» (لندن)
تكنولوجيا امرأة في معرض حول الذكاء الاصطناعي وعالم الإنترنت بمقاطعة جيجيانغ الصينية (رويترز)

الصين تصدر مسوّدة قواعد لتنظيم الذكاء الاصطناعي المحاكي للتفاعل البشري

أصدرت هيئة الفضاء الإلكتروني الصينية مسودة ​قواعد لتشديد الرقابة على خدمات الذكاء الاصطناعي المصممة لمحاكاة الشخصيات البشرية والتفاعل العاطفي مع المستخدمين.

«الشرق الأوسط» (بكين)

دراسة: 20 % من فيديوهات «يوتيوب» مولّدة بالذكاء الاصطناعي

محتوى على «يوتيوب» تم إنشاؤه بواسطة الذكاء الاصطناعي يصوّر قطاً يتم القبض عليه بواسطة رجال الشرطة
محتوى على «يوتيوب» تم إنشاؤه بواسطة الذكاء الاصطناعي يصوّر قطاً يتم القبض عليه بواسطة رجال الشرطة
TT

دراسة: 20 % من فيديوهات «يوتيوب» مولّدة بالذكاء الاصطناعي

محتوى على «يوتيوب» تم إنشاؤه بواسطة الذكاء الاصطناعي يصوّر قطاً يتم القبض عليه بواسطة رجال الشرطة
محتوى على «يوتيوب» تم إنشاؤه بواسطة الذكاء الاصطناعي يصوّر قطاً يتم القبض عليه بواسطة رجال الشرطة

أظهرت دراسة أن أكثر من 20 في المائة من الفيديوهات التي يعرضها نظام يوتيوب للمستخدمين الجدد هي «محتوى رديء مُولّد بالذكاء الاصطناعي»، مُصمّم خصيصاً لزيادة المشاهدات.

وبحسب صحيفة «الغارديان» البريطانية، فقد أجرت شركة تحرير الفيديو «كابوينغ» استطلاعاً شمل 15 ألف قناة من أشهر قنوات يوتيوب في العالم - أفضل 100 قناة في كل دولة - ووجدت أن 278 قناة منها تحتوي فقط على محتوى رديء مُصمم بتقنية الذكاء الاصطناعي.

وقد حصدت هذه القنوات مجتمعةً أكثر من 63 مليار مشاهدة و221 مليون مشترك، مُدرّةً إيرادات تُقدّر بنحو 117 مليون دولار سنوياً، وفقاً للتقديرات.

كما أنشأ الباحثون حساباً جديداً على «يوتيوب»، ووجدوا أن 104 من أول 500 فيديو تم التوصية به في الصفحة الرئيسية لهذا الحساب كانت ذات محتوى رديء مولد بالذكاء الاصطناعي، تم تطويره بهدف الربح المادي.

وتُقدّم هذه النتائج لمحةً عن صناعةٍ سريعة النمو تُهيمن على منصات التواصل الاجتماعي الكبرى، من «إكس» إلى «ميتا» إلى «يوتيوب»، وتُرسّخ حقبةً جديدةً من المحتوى، وهو المحتوى التافه الذي يحفز على إدمان هذه المنصات.

وسبق أن كشف تحليل أجرته صحيفة «الغارديان» هذا العام أن ما يقرب من 10في المائة من قنوات «يوتيوب» الأسرع نمواً هي قنوات مُولّدة بواسطة الذكاء الاصطناعي، حيث حققت ملايين المشاهدات رغم جهود المنصة للحد من «المحتوى غير الأصلي».

وتُعدّ القنوات التي رصدتها شركة كابوينغ عالمية الانتشار وتحظى بمتابعة واسعة من ملايين المشتركين في مختلف أنحاء العالم.

وتعتبر قناة «بندر أبنا دوست»، هي القناة الأكثر مشاهدة في الدراسة، ومقرها الهند، ويبلغ عدد مشاهداتها حالياً 2.4 مليار مشاهدة. وتعرض القناة مغامرات قرد ريسوس وشخصية مفتولة العضلات مستوحاة من شخصية «هالك» الخارقة، يحاربان الشياطين ويسافران على متن مروحية مصنوعة من الطماطم. وقدّرت كابوينغ أن القناة قد تُدرّ أرباحاً تصل إلى 4.25 مليون دولار.

أما قناة «بوتى فرينشي»، ومقرها سنغافورة، والتي تروي مغامرات كلب بولدوغ فرنسي، فقد حصدت ملياري مشاهدة، ويبدو أنها تستهدف الأطفال. وتشير تقديرات كابوينغ إلى أن أرباحها تقارب 4 ملايين دولار سنوياً.

كما يبدو أن قناة «كوينتوس فاسينانتس»، ومقرها الولايات المتحدة، تستهدف الأطفال أيضاً بقصص كرتونية، ولديها 6.65 مليون مشترك.

في الوقت نفسه، تعرض قناة «ذا إيه آي وورلد»، ومقرها باكستان، مقاطع فيديو قصيرة مُولّدة بالذكاء الاصطناعي عن الفيضانات الكارثية التي ضربت باكستان، تحمل عناوين مثل «الفقراء»، و«العائلات الفقيرة»، و«مطبخ الفيضان». وقد حصدت القناة وحدها 1.3 مليار مشاهدة.

وتعليقاً على هذه الدراسة، صرح متحدث باسم «يوتيوب» قائلاً: «الذكاء الاصطناعي التوليدي أداة، وكأي أداة أخرى، يمكن استخدامه لإنتاج محتوى عالي الجودة وآخر منخفض الجودة. نركز جهودنا على ربط مستخدمينا بمحتوى عالي الجودة، بغض النظر عن طريقة إنتاجه. يجب أن يتوافق المحتوى المرفوع على (يوتيوب) مع إرشاداتنا، وإذا وجدنا أن المحتوى ينتهك أياً من سياساتنا، فسنحذفه».


الصين تصدر مسوّدة قواعد لتنظيم الذكاء الاصطناعي المحاكي للتفاعل البشري

امرأة في معرض حول الذكاء الاصطناعي وعالم الإنترنت بمقاطعة جيجيانغ الصينية (رويترز)
امرأة في معرض حول الذكاء الاصطناعي وعالم الإنترنت بمقاطعة جيجيانغ الصينية (رويترز)
TT

الصين تصدر مسوّدة قواعد لتنظيم الذكاء الاصطناعي المحاكي للتفاعل البشري

امرأة في معرض حول الذكاء الاصطناعي وعالم الإنترنت بمقاطعة جيجيانغ الصينية (رويترز)
امرأة في معرض حول الذكاء الاصطناعي وعالم الإنترنت بمقاطعة جيجيانغ الصينية (رويترز)

أصدرت هيئة الفضاء الإلكتروني الصينية، اليوم (السبت)، مسودة ​قواعد لتشديد الرقابة على خدمات الذكاء الاصطناعي المصممة لمحاكاة الشخصيات البشرية والتفاعل العاطفي مع المستخدمين.

وتؤكد هذه الخطوة ما تبذله بكين من جهود للسيطرة على الانتشار السريع لخدمات ‌الذكاء الاصطناعي ‌المقدمة للجمهور ‌من ⁠خلال ​تشديد معايير ‌السلامة والأخلاقيات.

وستطبق القواعد المقترحة على منتجات وخدمات الذكاء الاصطناعي المقدمة للمستهلكين في الصين، والتي تعرض سمات شخصيات بشرية وأنماط تفكير وأساليب تواصل تتم محاكاتها، وتتفاعل ⁠مع المستخدمين عاطفياً من خلال النصوص ‌أو الصور أو الصوت أو الفيديو، أو غيرها من الوسائل.

وتحدد المسودة نهجاً تنظيمياً يلزم مقدمي الخدمات بتحذير المستخدمين من الاستخدام المفرط، وبالتدخل عندما تظهر على المستخدمين ​علامات الإدمان.

وبموجب هذا المقترح، سيتحمل مقدمو الخدمات مسؤوليات ⁠السلامة طوال دورة حياة المنتج، ووضع أنظمة لمراجعة الخوارزميات وأمن البيانات وحماية المعلومات الشخصية.

وتحدد هذه الإجراءات الخطوط الحمراء للمحتوى والسلوك، وتنص على أنه يجب ألا ينشئ مقدمو الخدمات محتوى من شأنه تهديد الأمن القومي، أو نشر الشائعات، أو الترويج ‌للعنف أو الفحشاء.


ما الاختراق القادم في مجال الذكاء الاصطناعي الذي يتوقعه رئيس «أوبن إيه آي»؟

سام ألتمان رئيس شركة «أوبن إيه آي» (رويترز)
سام ألتمان رئيس شركة «أوبن إيه آي» (رويترز)
TT

ما الاختراق القادم في مجال الذكاء الاصطناعي الذي يتوقعه رئيس «أوبن إيه آي»؟

سام ألتمان رئيس شركة «أوبن إيه آي» (رويترز)
سام ألتمان رئيس شركة «أوبن إيه آي» (رويترز)

توقع سام ألتمان، رئيس شركة «أوبن إيه آي»، أن يكون الإنجاز الكبير التالي نحو تحقيق ذكاء اصطناعي فائق القدرة هو اكتساب هذه الأنظمة «ذاكرة لا نهائية، ومثالية».

وقد ركزت التطورات الأخيرة التي حققها مبتكر «تشات جي بي تي»، بالإضافة إلى منافسيه، على تحسين قدرات الذكاء الاصطناعي على الاستدلال، وفقاً لصحيفة «إندبندنت».

لكن في حديثه ضمن بودكاست، قال ألتمان إن التطور الذي يتطلع إليه بشدة هو قدرة الذكاء الاصطناعي على تذكر «كل تفاصيل حياتك»، وأن شركته تعمل على الوصول إلى هذه المرحلة بحلول عام 2026.

شرح ألتمان: «حتى لو كان لديك أفضل مساعد شخصي في العالم... فلن يستطيع تذكر كل كلمة نطقت بها في حياتك».

وأضاف: «لا يمكنه قراءة كل وثيقة كتبتها. ولا يمكنه الاطلاع على جميع أعمالك يومياً، وتذكر كل تفصيل صغير. ولا يمكنه أن يكون جزءاً من حياتك إلى هذا الحد. ولا يوجد إنسان يمتلك ذاكرة مثالية لا متناهية».

وأشار ألتمان إلى أنه «بالتأكيد، سيتمكن الذكاء الاصطناعي من فعل ذلك. نتحدث كثيراً عن هذا الأمر، لكن الذاكرة لا تزال في مراحلها الأولى جداً».

تأتي تصريحاته بعد أسابيع قليلة من إعلانه حالة طوارئ قصوى في شركته عقب إطلاق «غوغل» لأحدث طراز من برنامج «جيميناي».

وصفت «غوغل» برنامج «جيميناي 3» بأنه «عهد جديد من الذكاء» عند إطلاقها تطبيق الذكاء الاصطناعي المُحدّث في نوفمبر (تشرين الثاني)، حيث حقق النموذج نتائج قياسية في العديد من اختبارات الأداء المعيارية في هذا المجال.

قلّل ألتمان من خطورة التهديد الذي يمثله مشروع «جيميناي 3»، مدعياً ​​أن ردّ شركة «أوبن إيه آي» الحازم على المنافسة الجديدة ليس بالأمر غير المألوف.

وقال: «أعتقد أنه من الجيد توخي الحذر، والتحرك بسرعة عند ظهور أي تهديد تنافسي محتمل».

وتابع: «حدث الشيء نفسه لنا في الماضي، حدث ذلك في وقت سابق من هذا العام مع (ديب سيك)... لم يكن لـ(جيميناي 3) التأثير الذي كنا نخشى أن يحدث، ولكنه حدد بعض نقاط الضعف في منتجاتنا واستراتيجيتنا، ونحن نعمل على معالجتها بسرعة كبيرة».

يبلغ عدد مستخدمي «تشات جي بي تي» حالياً نحو 800 مليون، وفقاً لبيانات «أوبن إيه آي»، وهو ما يمثل نحو 71 في المائة من حصة سوق تطبيقات الذكاء الاصطناعي. ويقارن هذا الرقم بنسبة 87 في المائة في الفترة نفسها من العام الماضي.