«جبروت» الذكاء الاصطناعي يحيّر الخبراء

شركة إسرائيلية «ارتكبت خطأً» أدى إلى خروج الاختبارات عن السيطرة

«جبروت» الذكاء الاصطناعي يحيّر الخبراء
TT

«جبروت» الذكاء الاصطناعي يحيّر الخبراء

«جبروت» الذكاء الاصطناعي يحيّر الخبراء

عملت شركة «إريغولار» Irregular الناشئة الإسرائيلية مع شركات «أوبن إيه آي» و«أنثروبيك» و«ميتا» لتقييم أمان نماذج الذكاء الاصطناعي الخاصة بها. لكنها ارتكبت خطأً، ما أدى إلى خروج الاختبارات عن السيطرة، كما كتب شيرا فرنكل، وأسهم داستين فولز (*).

اختراقات «بالخطأ»

وقد اكتشفت شركة «أوبن إيه آي» أخيراً أن نموذجاً جديداً للذكاء الاصطناعي كانت تختبره قد خرج عن السيطرة وقام باختراق شركة أخرى. وبعد ذلك، كشفت شركة «أنثروبيك» أن أحد نماذج الذكاء الاصطناعي التابعة لها قد اخترق أنظمة ثلاث مؤسسات خارجية أثناء إجراء اختبار. وبعد فترة وجيزة، صرّحت شركة «ميتا» بأن نماذج الذكاء الاصطناعي الخاصة بها قد قامت بأمر مماثل.

من «تقييم منع الإساءة» إلى التوغل

اشتركت جميع الحوادث الثلاث في عامل واحد هو شركة «إريغولار» التي تعمل مع عمالقة «وادي السيليكون» لتقييم نماذج الذكاء الاصطناعي قبل طرح هذه التقنية للجمهور. وتُعد هذه الشركة - التي أجرت الاختبارات التي لم تسر كما هو مخطط لها - جزءاً من مجموعة شركات ناشئة تضطلع بمهمة جديدة تتمثل في فحص نماذج الذكاء الاصطناعي المتطورة للغاية لقياس مدى تعقيدها والتحقق من أمانها. والهدف من ذلك هو تعزيز ثقة الجمهور في هذه النماذج ومنع إساءة استخدامها.

وصرّح دان لاهف، الرئيس التنفيذي لشركة «إريغولار» بأن الاختراقات الأخيرة وقعت عندما ارتكبت الشركة خطأً أثناء اختبار النماذج من الشركات الثلاث. لكن نماذج الذكاء الاصطناعي زادت من تعقيد المواقف بتصرفاتها القوية وغير المتوقعة. وأضاف: «كلما ازدادت قوة التكنولوجيا، تعمق تأثيرها، إذ إن وتيرة التقدم سريعة للغاية».

وتجد شركة «إريغولار» نفسها الآن في قلب نقاش حول كيفية تأمين نماذج الذكاء الاصطناعي في ظل تقدم التكنولوجيا بسرعة فائقة تفوقت حتى على أمهر المخترقين البشر. فكل بضعة أشهر، تطلق الشركات الرائدة نماذج «رائدة» (أو نماذج متطورة للغاية) تفوق في قوتها بمراحل كبيرة النماذج السابقة.

نماذج جديدة «بنطاق قدرات تفوق القدرات البشرية»

وفي هذا السياق، قال جيفري لاديش، مدير مؤسسة «Palisade Research» غير الربحية، ومقرها بيركلي بولاية كاليفورنيا، وتدرس قدرات الذكاء الاصطناعي الهجومية، إن النماذج الجديدة بدأت تدخل «نطاق القدرات التي تفوق القدرات البشرية».

حالة «الأعمى الذي يقود أعمى»

وقالت كاتي موسوريس، الرئيسة التنفيذية لشركة «لوتا سيكيوريتي» (Luta Security) -التي تساعد الشركات في البحث عن الثغرات البرمجية- إن اختبار أمان نماذج الذكاء الاصطناعي يشبه إلى حد ما حالة «الأعمى الذي يقود أعمى». وأشارت إلى أنه حتى مطوري الذكاء الاصطناعي يقرون بأنهم لا يدركون تماماً القدرات الكاملة لأحدث نماذجهم.

وأضافت موسوريس: «قد يكون لدينا أذكى العقول في العالم تعمل على نماذج الذكاء الاصطناعي هذه، لكن الأمر يشبه تعامل ماري كوري (الباحثة في الذرة) مع الراديوم بيديها العاريتين؛ فنحن نتعامل مع الذكاء الاصطناعي بأيدينا العاريتين، ولا نعرف كيف نحتويه، ناهيك عن كيفية اختباره بأمان».

شركة «إريغولار»

تأسست شركة «إريغولار» عام 2023 على يد لاهف، وهو باحث سابق في مجال الذكاء الاصطناعي. وتضم الشركة، التي تتخذ من تل أبيب مقراً لها، نحو 45 موظفاً يساعدون في إجراء اختبارات لنماذج الذكاء الاصطناعي على مدار أيام أو أسابيع، وذلك حسب طبيعة النموذج ونوع الاختبار المطلوب. وقد جمعت الشركة الناشئة تمويلاً يقارب 80 مليون دولار من شركات رأس المال الاستثماري.

وتطلب «إريغولار» في الاختبارات المعتادة من نموذج الذكاء الاصطناعي تنفيذ هجوم سيبراني. ويتم إبلاغ النموذج بأنه يعمل في بيئة اختبار آمنة - غالباً ما تكون مفصولة عن الإنترنت وتعمل ضمن بيئة حاسوبية معزولة تُعرف باسم «صندوق الرمل» (sandbox)، وأنه يجب عليه فعل كل ما يلزم لتحقيق الهدف الموكل إليه.

طلب تنفيذ مهمات مستحيلة

وفي بعض الأحيان، تُكلف النماذج بمهمة مستحيلة، ويتم تقييمها بناءً على التقنيات التي تستخدمها لمحاولة تحقيق ذلك الهدف. وفي أحيان أخرى، يتم تقييم النماذج بناءً على مدى فاعليتها في اختراق هدف معين. وتُستخدم هذه التقييمات لتحليل مدى فاعلية النموذج في عمليات الاختراق، ثم توصي «إريغولار» بتدابير وقائية لمنع استخدام النموذج في أغراض ضارة.

«خطأ في الإعدادات» أدى إلى وصول النموذج إلى الإنترنت

وفي الحوادث التي كُشف عنها الشهر الماضي، طلبت «إريغولار» من نماذج الذكاء الاصطناعي التابعة لشركات «أوبن إيه آي» و«ميتا» و«أنثروبيك» اختراق أهداف محددة، إلا أن «خطأً في الإعدادات» أدى إلى تمكين هذه النماذج من الوصول إلى شبكة الإنترنت. وعقب ذلك، قامت نماذج الذكاء الاصطناعي باختراق مؤسسات خارجية، مستغلةً اتصالها بالإنترنت بطرق أثارت دهشة الباحثين.

نموذج «أوبن إيه آي»

وفي الاختبار الذي أجرته الشركة على نموذج «أوبن إيه آي»، منحت «إريغولار» النموذج - عن طريق الخطأ - صلاحية الوصول إلى شبكة الإنترنت. وعقب ذلك، اخترق النموذج موقعاً إلكترونياً يحمل الاسم نفسه لهدف وهمي كان قد كُلِّف باستهدافه أثناء الاختبار. وقد كشفت «أوبن إيه آي» عن هذه الحادثة في تدوينة نُشرت هذا الشهر. وفي سياق منفصل، أجرت الشركة اختباراً داخلياً هاجمت فيه برمجياتها الآلية منصة Hugging Face، وهي مكتبة رقمية لتقنيات الذكاء الاصطناعي.

نموذج «أنثروبيك»

أما خلال اختبار نظام الذكاء الاصطناعي التابع لشركة «أنثروبيك»، فقد واجه نموذج الشركة ثلاث حالات أتيحت له فيها فرصة الوصول إلى الإنترنت، وذلك وفقاً لتقرير مراجعة للحادثة نشرته الشركة نفسها. وفي إحدى تلك الحالات، اختار النموذج عدم المضي قُدماً في الهجوم. وفي المرتين الأخريين، استخدم النموذج تقنيات اختراق بسيطة - مثل استغلال كلمات مرور ضعيفة - لاختراق مواقع إلكترونية. ولم تستجب «أنثروبيك» لطلبات التعليق، كما لم تكشف عن هوية المواقع التي تعرضت للاختراق.

نموذج «ميتا»

وفيما يتعلق بحادثة الاختبار الخاصة بشركة «ميتا»، فإن التفاصيل المتاحة شحيحة؛ إذ ذكرت الشركة أن نماذج الذكاء الاصطناعي التابعة لها اخترقت مؤسسة أخرى أثناء الاختبار الذي أجرته «إريغولار»، وذلك «بطريقة مشابهة لحالات أُبلغ عنها سابقاً مع شركات أخرى»، دون الخوض في مزيد من التفاصيل. وصرّحت «ميتا» قائلة: «نحن نجري تحقيقاً حالياً، وسنصدر تقييماً شاملاً ومفصلاً بمجرد توفر جميع الحقائق لدينا».

وفي تدوينة نُشرت هذا الشهر، أوضح السيد لاهف أن «إريغولار» عالجت خطأ الإعدادات، وأن جميع المشكلات كانت ناجمة عن تلك «المشكلة الجوهرية» الواحدة. كما أشار إلى أن نماذج الذكاء الاصطناعي نفذت المهام المطلوبة منها أثناء الاختبارات؛ إذ عدّ أن قرارات النماذج بالاتصال بالإنترنت كانت جزءاً مما يراه قدرة متنامية بسرعة لدى الذكاء الاصطناعي على إيجاد طرق مختصرة وحلول للعقبات. وباختصار، قال: «لقد أصبحت نماذج الذكاء الاصطناعي بارعة للغاية».

الاختراق كان مشابهاً لاختراق قراصنة تدعمهم دول

وصرّح أندرو شوكا، الرئيس التنفيذي لشركة «Hardshell» المتخصصة في الذكاء الاصطناعي وفي الأمن السيبراني بأن عمليات الاختراق التي نفذتها نماذج الذكاء الاصطناعي كانت من النوع الذي يُنسب عادةً إلى قراصنة تدعمهم دول، الذين يكرسون «أشهراً للتخطيط» لعملياتهم.

وتساءل قائلاً: «كيف يمكنك اختبار نموذج بينما لا تدرك كامل قدراته؟»، مشدداً على ضرورة أن يفترض الباحثون دائماً أن قدرات الذكاء الاصطناعي تفوق التوقعات، وأن يعملوا على إضافة «طبقات متعددة من تدابير الحماية».

إبطاء وتيرة تطوير الذكاء الاصطناعي

وأيدت شركتا «أوبن إيه آي» و«أنثروبيك» رسالةً وقّعها أكثر من 1000 موظف في كبرى شركات الذكاء الاصطناعي، تطالب الحكومة الأميركية بالمساعدة في إيجاد سبل لإبطاء وتيرة تطوير هذه التكنولوجيا. كما طرح مشرعون من الحزبين الجمهوري والديمقراطي مشروع قانون يلزم شركات الذكاء الاصطناعي بتوفير «مفتاح إيقاف طوارئ» (kill switch) لتعطيل نماذجها أو إبطاء عملها عند الضرورة.

* خدمة «نيويورك تايمز»


مقالات ذات صلة

رئيس «إنفيديا»: لا أساس علمياً للتوقعات بانقراض البشرية بسبب الذكاء الاصطناعي

تكنولوجيا الرئيس والمدير التنفيذي لـ«إنفيديا» جنسن هوانغ (أ.ب) p-circle

رئيس «إنفيديا»: لا أساس علمياً للتوقعات بانقراض البشرية بسبب الذكاء الاصطناعي

صرح جنسن هوانغ، الرئيس التنفيذي لشركة «إنفيديا»، بأنه لا يتفق مع التحذيرات المتزايدة من احتمال تسبب الذكاء الاصطناعي في انقراض البشرية خلال السنوات المقبلة.

«الشرق الأوسط» (نيويورك)
علوم هل يمكنك الوثوق بإجابة الذكاء الاصطناعي عن سؤالك؟

هل يمكنك الوثوق بإجابة الذكاء الاصطناعي عن سؤالك؟

من المفيد تصنيف إجابات الذكاء الاصطناعي في أربعة أنواع رئيسية: إجابات واقعية، وتفسيرية، وبنّاءة، واستراتيجية.

«الشرق الأوسط» (واشنطن)
الاقتصاد متداول يعمل في قاعة بورصة نيويورك (رويترز)

العقود الآجلة للأسهم الأميركية تستقر بعد مكاسب الذكاء الاصطناعي

استقرت المؤشرات الرئيسية في «وول ستريت» يوم الثلاثاء، بعد مكاسب قوية قادها قطاع الذكاء الاصطناعي في الجلسة السابقة.

«الشرق الأوسط» (نيويورك)
الاقتصاد رجل يقف أمام شعار البنك المركزي الهندي داخل مقره في مومباي بالهند (رويترز)

الروبية الهندية تتراجع عن مكاسبها المبكرة

تخلَّت الروبية الهندية عن مكاسبها المحدودة التي سجَّلتها في وقت مبكر من تعاملات الثلاثاء، لتُتداول قُرب مستوياتها السابقة.

«الشرق الأوسط» (مومباي (الهند))
الاقتصاد متعاملون في سوق الصرف بكوريا الجنوبية أمام شاشة تعرض الدولار والوون ومؤشر «كوسبي» (رويترز)

الأسهم الآسيوية ترتفع في معظمها بدعم من مكاسب «وول ستريت»

ارتفعت الأسهم الآسيوية في معظمها، يوم الثلاثاء، مدفوعةً بتحسن معنويات المستثمرين بعد صعود الأسهم في «وول ستريت» خلال الجلسة السابقة.

«الشرق الأوسط» (طوكيو)

كاميرا عادية تقيس كفاءة ألواح الطاقة النظيفة بدقة

التقنية الجديدة تتيح قياس كفاءة الخلايا الشمسية بكاميرا عادية (مجلة الفيزياء التطبيقية)
التقنية الجديدة تتيح قياس كفاءة الخلايا الشمسية بكاميرا عادية (مجلة الفيزياء التطبيقية)
TT

كاميرا عادية تقيس كفاءة ألواح الطاقة النظيفة بدقة

التقنية الجديدة تتيح قياس كفاءة الخلايا الشمسية بكاميرا عادية (مجلة الفيزياء التطبيقية)
التقنية الجديدة تتيح قياس كفاءة الخلايا الشمسية بكاميرا عادية (مجلة الفيزياء التطبيقية)

أظهرت دراسة ألمانية إمكانية استخدام كاميرا تجارية متاحة في الأسواق لقياس كفاءة الخلايا الشمسية بدقة، بعد إدخال تعديلات بسيطة عليها وضبطها وفق نموذج فيزيائي مناسب، في خطوة قد توفر بديلاً أقل تكلفة للكاميرات الصناعية المتخصصة المستخدمة عادةً في المختبرات لتقييم أداء الخلايا والألواح الشمسية التي تُعد من أبرز مصادر الطاقة النظيفة.

وأجرى باحثون من جامعة شتوتغارت ومركز أبحاث يوليش في ألمانيا تعديلات على كاميرا تجارية لالتقاط صور للتألق الكهربائي للخلايا الشمسية، وهي تقنية تُستخدم لتقييم أداء الخلايا وجودتها، ونُشرت النتائج، الثلاثاء، بدورية «The Journal of Applied Physics».

ويعرف التألق الكهربائي (Electroluminescence) بأنه الضوء الذي تُصدره الخلية الشمسية عند تمرير تيار كهربائي عبرها، نتيجة إعادة اتحاد حوامل الشحنة داخل مادة الخلية. ويمكن تحليل هذا الضوء للحصول على معلومات عن جودة الخلية وأدائها.

وركز الباحثون في دراستهم على قياس «كفاءة التألق الكهربائي الكميّة»، وهي قيمة ترتبط مباشرةً بجهد الخلية الشمسية، ويمكن أن توفر مؤشراً على أدائها. وبوجه عام، ترتبط الكفاءة الأعلى للتألق الكهربائي بأداء أفضل للخلية. وعادةً ما تُقاس هذه الخاصية باستخدام كاميرات صناعية متخصصة مرتفعة التكلفة، تتطلب معايرة دقيقة لتحويل الإشارات الضوئية التي تلتقطها إلى بيانات كمية. لكنّ الباحثين أظهروا أن كاميرا تجارية منخفضة التكلفة نسبياً يمكنها أيضاً إجراء قياسات كمية، بشرط توصيف استجابتها الفيزيائية ومعايرتها بالشكل المناسب.

واستخدم الباحثون كاميرا كانت مهيأة نسبياً لهذا النوع من التصوير، لأنها تفتقر إلى مرشح داخلي يحجب الأشعة تحت الحمراء، وهو مكوّن موجود عادةً في معظم الكاميرات التجارية. وتُستخدم الكاميرات التي تفتقر إلى هذا المرشح أيضاً في التصوير الفني بالأشعة تحت الحمراء وتصوير السماء ليلاً.

مرشح بصري

وأضاف الفريق مرشحاً بصرياً أمام عدسة الكاميرا يسمح بمرور الأطوال الموجية الطويلة، بهدف تقليل الضوء المرئي في الخلفية. وأتاح ذلك التقاط صور للتألق الكهربائي للخلايا الشمسية في نطاق الأشعة تحت الحمراء، ثم تحليل شدة الضوء المسجل فيها.

وقال الباحثون إن صور التألق الكهربائي تحتوي على معلومات كمية تتجاوز مجرد إظهار المناطق الأكثر سطوعاً أو قتامة؛ إذ يمكن، باستخدام نموذج فيزيائي مناسب للكاميرا إلى جانب المعايرة، تحديد القيمة المطلقة لكفاءة التألق الكهربائي الكمية.

ووفق الدراسة، يمكن لهذه البيانات أن توفر معلومات عن الجودة المحلية للخلية الشمسية أو الوحدة الشمسية، مما يسمح برصد الاختلافات في الأداء بين مناطق مختلفة منها، بدلاً من الاكتفاء بصورة تُظهر المناطق المضيئة والمظلمة من دون تقديم قياسات كمية.

وحسب الباحثين، قد تساعد هذه المنهجية في جعل قياسات التألق الكهربائي أكثر سهولة وأقل تكلفة. لكن استخدام كاميرا تجارية لا يعني إمكانية إجراء القياسات بأي كاميرا عادية من دون تجهيز؛ إذ يتطلب الأمر كاميرا ذات خصائص مناسبة، وتعديلاً بصرياً، ونموذجاً فيزيائياً دقيقاً، إلى جانب معايرة مناسبة للحصول على نتائج كمية موثوقة.

ويعتزم الفريق في المرحلة المقبلة استخدام الكاميرا المُعايرة لتحديد كفاءة التألق الكهربائي وجهود الدائرة المفتوحة لخلايا ووحدات شمسية إضافية لم يسبق توصيفها. ويرى الباحثون أيضاً أن النموذج نفسه قد يكون قابلاً للتطبيق على قياسات التألق الضوئي، وربما على القياسات التي تُجرى في وجود ضوء النهار، مما قد يوسِّع نطاق استخدام الكاميرات التجارية في توصيف الخلايا والوحدات الشمسية.


رئيس «إنفيديا»: لا أساس علمياً للتوقعات بانقراض البشرية بسبب الذكاء الاصطناعي

الرئيس والمدير التنفيذي لـ«إنفيديا» جنسن هوانغ (أ.ب)
الرئيس والمدير التنفيذي لـ«إنفيديا» جنسن هوانغ (أ.ب)
TT

رئيس «إنفيديا»: لا أساس علمياً للتوقعات بانقراض البشرية بسبب الذكاء الاصطناعي

الرئيس والمدير التنفيذي لـ«إنفيديا» جنسن هوانغ (أ.ب)
الرئيس والمدير التنفيذي لـ«إنفيديا» جنسن هوانغ (أ.ب)

صرح جنسن هوانغ، الرئيس التنفيذي لشركة «إنفيديا»، بأنه لا يتفق مع التحذيرات المتزايدة من احتمال تسبب الذكاء الاصطناعي في انقراض البشرية خلال السنوات المقبلة، مؤكداً أن السيناريوهات التي تتحدث عن نهاية العالم بحلول عام 2030 تفتقر إلى أساس علمي.

وقال هوانغ، في مقابلة مع شبكة «سي بي إس نيوز» الأميركية: «لن يكون عام 2030 نهاية العالم. إن احتمال أن يكون هذا العام هو نهاية العالم هو صفر في المائة».

وانتقد هوانغ ما وصفه بمحاولات إثارة الخوف من تطور الذكاء الاصطناعي، قائلاً: «تخويف الناس أمر غير ضروري وغير مسؤول»، عادَّاً أن بعض التوقعات بشأن انقراض البشرية التي طرحت مؤخراً «لا تستند إلى أسس علمية».

وأكد رئيس «إنفيديا» أن مصلحة شركته مرتبطة بصورة مباشرة بالاستخدام الآمن للمنتجات والخدمات التي تعتمد على الذكاء الاصطناعي، موضحاً: «نجاح شركتنا مرتبط بشكل مباشر بالنشر الآمن للمنتجات والخدمات. وإذا لم نواصل القيام بذلك، فستتراجع قيمة شركتنا».

وتأتي تصريحات هوانغ مع تصاعد الجدل حول تطور قدرات الذكاء الاصطناعي، والذي برز بشكل خاص هذا الشهر عندما استقال الباحث الشاب في «أنثروبيك»، جاكوب كوكسون، من وظيفته، محذّراً من أن شركات التكنولوجيا تتسابق لتطوير أنظمة ذكاء اصطناعي قادرة على تحسين نفسها بصورة قد تجعل السيطرة عليها مستحيلة.

ولفت إلى أن عدداً من زملائه في هذا المجال يستخدمون عبارات مثل «مرحلة الحسم» (crunchtime)، و«المرحلة النهائية» (endgame) لوصف المسار نحو تطوير نماذج قادرة على تحسين نفسها، محذّراً من أن «الأشخاص الذين يطورون الذكاء الاصطناعي يؤمنون بصدق بأنه قد يقتلنا جميعاً بحلول نهاية العقد».

ورفض الرئيس الأميركي دونالد ترمب الدعوات إلى تنظيم القطاع عبر منشوراته على وسائل التواصل الاجتماعي، زاعماً أن أي جهود للحد من هذه التكنولوجيا تندرج ضمن «مؤامرة».

وتساءل عن سبب دعوة قادة القطاع إلى فرض تنظيمات قال إنها «إذا طُبقت بشكل صارم، ستقودهم إلى الزوال والإفلاس».

وقال ترمب، السبت، عبر وسائل التواصل الاجتماعي، إنه يشكّل فريق عمل للذكاء الاصطناعي وسيعيّن «قيصراً للذكاء الاصطناعي»، لكنه لم يقدم تفاصيل تُذكر.


التحدي المقبل: كيف نفهم قرارات وكلاء الذكاء الاصطناعي قبل منحهم مزيداً من الصلاحيات؟

التدخل البشري لا يزال ضرورياً في القرارات الحساسة والقطاعات المنظمة (أدوبي)
التدخل البشري لا يزال ضرورياً في القرارات الحساسة والقطاعات المنظمة (أدوبي)
TT

التحدي المقبل: كيف نفهم قرارات وكلاء الذكاء الاصطناعي قبل منحهم مزيداً من الصلاحيات؟

التدخل البشري لا يزال ضرورياً في القرارات الحساسة والقطاعات المنظمة (أدوبي)
التدخل البشري لا يزال ضرورياً في القرارات الحساسة والقطاعات المنظمة (أدوبي)

يعمل وكلاء الذكاء الاصطناعي بسرعات تتجاوز بكثير قدرة الإنسان على متابعة كل إجراء يتخذونه. ومع اتساع دورهم داخل المؤسسات، لم تعد المشكلة في تمكينهم من أداء مزيد من المهام، بل في معرفة متى يجب السماح لهم بالاستمرار، ومتى يصبح التدخل البشري ضرورياً.

بالنسبة إلى جيمس هودج، كبير استراتيجيي البيانات والمدير التقني الميداني في شركة «سبلانك» التابعة لـ«سيسكو»، فإن الإجابة تبدأ من إدارة المخاطر. فالمؤسسة التي تتعامل مع بيانات جوازات سفر، مثلاً، قد تختار إيقاف النظام عند أدنى مؤشر خطر، بينما تستطيع خدمة منخفضة الحساسية تحمّل هامش أكبر قبل التدخل. الفارق لا تحدده التقنية وحدها، بل طبيعة البيانات، والقطاع، والإطار التنظيمي، ومستوى المخاطر المقبول.

جيمس هودج كبير استراتيجيي البيانات والمدير التقني الميداني في شركة «سبلانك» (الشركة)

السلوك المتوقع مقابل السلوك المنحرف

أحد أصعب التحديات التي تظهر مع وكلاء الذكاء الاصطناعي هو أن الخطأ لا يحمل دائماً شكلاً واحداً. فقد يكون ناتجاً عن خلل في النظام، أو عن تعليمات لم تُصغ بدقة، أو عن تلاعب خارجي، أو عن اختراق أمني فعلي. ويقول هودج خلال لقاء خاص مع «الشرق الأوسط» على هامش مؤتمر «سبلانك» الذي عقد في مدينة دنفر الأميركية إن الخطوة الأولى يجب ألا تكون القفز مباشرة إلى سؤال ما إذا كان الحادث أمنياً، أو تشغيلياً، بل معرفة ما إذا كان الوكيل ما زال يتصرف ضمن الحدود المتوقعة منه.

ويشرح أن ذلك يتطلب ثلاث طبقات مترابطة، بدءاً من طبقة بيانات يعتمد عليها الوكيل، وطبقة سياق تساعد في فهم ما يحدث، ثم طبقة سياسات تحدد ما يعتبر سلوكاً مقبولاً. وعندها يمكن مقارنة ما يقوم به الوكيل فعلياً بما كان متوقعاً منه، ورصد أي انحراف قبل أن يتحول إلى مشكلة أكبر.

ولا يعني الانحراف بالضرورة وجود هجوم. فقد ينفذ الوكيل ما طُلب منه حرفياً، لكن بطريقة غير مناسبة، لأن التعليمات نفسها لم تكن دقيقة. وقد يكون الخطأ ناتجاً عن برمجة غير مكتملة، أو عن محاولة خارجية للتلاعب بالوكيل. وهنا تبدأ عملية التحقيق لتحديد ما إذا كانت المشكلة يجب أن تُحال إلى فريق تشغيل الأنظمة، أو إلى مركز العمليات الأمنية، أو مستقبلاً إلى وكلاء آخرين متخصصين في التحقيق، والتحليل.

لا استقلالية من دون تفسير

يضع هودج شرطاً أساسياً قبل الحديث عن منح وكلاء الذكاء الاصطناعي صلاحيات أكبر: أن تستطيع المؤسسة تفسير ما يفعلونه. ويشير إلى أن المؤسسة التي لا تستطيع شرح ما الذي ينفذه الوكيل، وما الأنظمة التي يتفاعل معها، ولماذا اتخذ مساراً معيناً، فإنها ستجد صعوبة في تحديد مستوى المخاطر، أو تقرير متى يحتاج القرار إلى تدخل بشري.

ويضرب مثالاً بأدوات البرمجة المدعومة بالذكاء الاصطناعي، موضحاً أنه إذا استخدم مطور أدوات مثل «Claude» أو «Codex» لإنشاء شيفرة برمجية، فمن المهم أن يفهم فعلياً ما الذي كُتب داخلها، بدلاً من الاكتفاء بقبول النتيجة.

وينطبق المبدأ نفسه على وكلاء الذكاء الاصطناعي. فإذا لم تتمكن المؤسسة من تفسير ما يقوم به الوكيل، يصبح من الصعب عليها تحديد ما إذا كان يمكن السماح له بالتنفيذ المباشر، أو الاكتفاء بتقديم توصية تحتاج إلى موافقة بشرية. وبذلك تصبح قابلية التفسير جزءاً من إدارة المخاطر نفسها، لا مجرد ميزة تقنية. فكلما ارتفعت درجة الرؤية إلى سلوك الوكيل، أصبح من الأسهل تحديد مقدار الاستقلالية التي يمكن منحه إياها.

منح وكلاء الذكاء الاصطناعي صلاحيات أوسع يتطلب القدرة على تفسير سلوكهم وقراراتهم (غيتي)

إعادة بناء القرار من البداية

تزداد صعوبة المسألة عندما لا يعمل الوكيل وحده، بل يستدعي وكلاء أو أنظمة أخرى ضمن سلسلة طويلة من الإجراءات. وبحسب هودج، تتيح أدوات مراقبة الوكلاء تسجيل المطالبات التي تدخل إلى النظام، والمدخلات التي تلقاها، والخطوات التي نفذها، والمخرجات التي نتجت عنها، بما يسمح بإعادة بناء المسار الذي أدى إلى القرار النهائي.

ولتفسير ذلك بشكل أوضح، يقول مثلاً إذا طلب موظف الحصول على بيانات رواتب العاملين، ففي بيئة مؤسسية مضبوطة يمكن لطبقة حماية أن ترفض الطلب قبل وصوله إلى الوكيل إذا خالف السياسة، ثم تستمر أدوات المراقبة في تسجيل ما يحدث لاحقاً. وتظهر أهمية ذلك عند التحقيق في الأخطاء، لأن المؤسسة لا تحتاج فقط إلى معرفة أن قراراً غير مناسب حدث، بل إلى تحديد مصدره الأصلي، وما إذا كان ناتجاً عن تعليمات المستخدم، أو عن خطوة وسيطة، أو عن قرار اتخذه وكيل آخر داخل سير العمل.

الرؤية من الرقاقة إلى مستوى الأعمال

في بيئات معقدة قد يحتاج التحقيق إلى تتبع ما يحدث عبر طبقات متعددة، من الرقاقة، والشبكة، والبنية التحتية، إلى التطبيقات، والخدمات، ثم مستوى الأعمال.

ويشير هودج إلى أن استراتيجية شركة «سبلانك» تعتمد على جمع البيانات من مختلف أنحاء المؤسسة، وربطها، مستشهداً بـ«Cisco Data Fabric» و«Machine Data Lake» وإمكانات البحث الموحّد عبر البيانات. والهدف باعتقاده هو أن تستطيع المؤسسة رؤية الطلب الأصلي، ثم متابعة أثره عبر الشبكة، والبنية التحتية، والتطبيق، والخدمة، والعملية التجارية، بدلاً من التعامل مع كل طبقة بمعزل عن الأخرى.

ويصبح هذا النوع من الرؤية أكثر أهمية كلما زادت قدرة الوكلاء على تنفيذ سلسلة من الإجراءات بصورة مستقلة، لأن الخطأ قد يبدأ في طبقة واحدة، ثم يظهر أثره في مكان آخر تماماً.

الوكيل الداخلي ليس كالخارجي

يبرز هودج فارقاً أساسياً بين الوكلاء الذين تعمل عليهم المؤسسة داخل بيئتها التقنية، والوكلاء الخارجيين الذين يتصلون بخدماتها عبر واجهات برمجة التطبيقات، أو بروتوكولات اتصال أخرى.

فإذا كان الوكيل داخل حدود المؤسسة، يمكن معرفة الجهاز الذي يعمل عليه، ومن أنشأه، وما الأدوات التي يستخدمها، وجمع بيانات مفصلة عن سلوكه. أما إذا كان الوكيل يعمل خارج البيئة التي تسيطر عليها المؤسسة، فقد لا تكون الرؤية متاحة إلا للطلب الذي وصل إلى النظام، من دون معرفة ما الذي جرى داخل الوكيل قبل ذلك. وهذا الفرق يضع حدوداً عملية على فكرة المراقبة الشاملة، خصوصاً مع توسع استخدام وكلاء تابعين لأطراف خارجية.

الرؤية الكاملة للبيانات والأنظمة والوكلاء شرط أساسي للتوسع الآمن في الذكاء الاصطناعي (شاترستوك)

السرعة تفرض أدوات أخف

قد ينفذ الوكيل خلال ثوانٍ عدداً من الاستدعاءات والإجراءات يفوق بكثير ما يقوم به مستخدم بشري، ما يجعل مراقبة كل خطوة باستخدام نموذج لغوي كبير أمراً مكلفاً، وبطيئاً. ولهذا يقول جيمس هودج إن «سبلانك» تعتمد على مزيج من الأساليب، بينها نماذج لغوية أصغر، ومحددة المهام، إلى جانب تقنيات إحصائية، وقواعد تقليدية، لرصد الانحرافات بسرعة وكلفة أقل.

وفي أحد العروض داخل المؤتمر أشار هودج إلى مثال تجاوزت فيه درجة المخاطر 70 في المائة، ما أعطى ثقة قوية بوجود حادث أمني، لكن القرار النهائي بشأن الإيقاف أو السماح باستمرار العمل بقي بيد المحلل. ويؤكد أن هذه النسبة ليست قاعدة ثابتة. فقد تختار مؤسسة التعامل مع مستوى خطر أقل بكثير باعتباره سبباً كافياً للإيقاف إذا كان الوكيل يتعامل مع نظام حرج، بينما يمكن قبول هامش أكبر في خدمة منخفضة الحساسية.

الاستقلالية ليست مستوى واحداً

ومن هنا يأتي مفهوم «الاستقلالية القابلة للضبط». فعند اكتشاف وكيل جديد، تبدأ المؤسسة في فهم ما الذي يفعله، والأنظمة التي يتفاعل معها، ونوعية البيانات التي يطلبها، وإلى أين تنتقل تلك البيانات.

بعد ذلك يمكن بناء ملف مخاطر للوكيل، ووضع سياسة تحدد ما إذا كان يسمح له بالتوصية فقط، أو بالتنفيذ بعد موافقة بشرية، أو بالعمل بصورة أكثر استقلالية. ويرى هودج أن هذه المرونة ضرورية، لأن مستويات المخاطر تختلف جذرياً من استخدام إلى آخر، ولا يمكن تطبيق نموذج واحد على كل وكلاء الذكاء الاصطناعي.

الإنسان ما زال ضرورياً

ورغم الاتجاه نحو قدر أكبر من الاستقلالية لا يعد هودج أن المؤسسات وصلت إلى مرحلة يمكن فيها إخراج الإنسان من القرارات الحساسة. وقال إن التدخل البشري «يجب أن يبقى في الوقت الحالي»، خصوصاً في القطاعات الأكثر حساسية، لأن المؤسسات لا تزال تتعلم كيفية قياس المخاطر، والحوكمة، والتكلفة المرتبطة بالذكاء الاصطناعي. ولفت إلى أن التحدي لا يقتصر على بناء وكلاء قادرين على التنفيذ، بل القدرة على منح فرق المؤسسة الثقة الكافية لفهم ما يحدث عندما تعمل هذه الأنظمة بسرعة الآلة. وبذلك فإن الانتقال إلى استقلالية أوسع لن يحدث دفعة واحدة، بل عبر مراحل تبدأ بالمراقبة، والفهم، ثم منح صلاحيات محدودة، وصولاً إلى مستويات أعلى من التنفيذ عندما تصبح المؤسسة قادرة على تقييم المخاطر بصورة أكثر دقة.

وضوح الأطر التنظيمية والسيادة على البيانات يساعدان المؤسسات السعودية على تسريع التبني (شاترستوك)

السعودية... التنظيم يساعد على التسريع

في الجانب السعودي يصف هودج المملكة بأنها «واحدة من أسرع أسواقنا نمواً»، مشيراً إلى سرعة تطور قطاع التقنية، وتوسع مشروعات الذكاء الاصطناعي فيها. وينوه إلى أن وجود أطر تنظيمية واضحة حول الأمن، والسيادة على البيانات، ونشر تقنيات الذكاء الاصطناعي يمثل عاملاً يساعد المؤسسات على التحرك بسرعة أكبر. وبحسب هودج فإن وضوح القواعد يتيح للشركات والبنوك والمؤسسات المنظمة معرفة الحدود التي يجب أن تعمل ضمنها، بدلاً من الدخول في مشاريع من دون تصور واضح لمستوى المخاطر المقبول، أو نوع البيانات التي يمكن استخدامها. ويذكر أن هذا الوضوح يسمح لـ«سبلانك» بالعمل مع المؤسسات المالية في المملكة على أساس أطر تنظيمية قائمة، بدلاً من بناء قواعد جديدة لكل حالة. ولا يعني ذلك أن السعودية تمنح الوكلاء استقلالية أكبر من الأسواق الأخرى. بل يقول هودج إن التدخل البشري لا يزال حاضراً في معظم القطاعات، وإن القرار يرتبط بالمخاطر والإطار التنظيمي أكثر من ارتباطه بالسوق نفسها.

السيادة تعيد الذكاء الاصطناعي إلى مراكز البيانات

يمتد النقاش في المملكة إلى مكان تشغيل هذه الأنظمة. فقد لا يكون إرسال جميع البيانات إلى بيئات سحابية خارجية خياراً مناسباً في قطاعات مثل البنوك، والبنى التحتية الوطنية، والمؤسسات التي تتعامل مع بيانات حساسة. وقال هودج إن هذا هو أحد الأسباب التي تجعل توفير إمكانات الذكاء الاصطناعي والمراقبة داخل مراكز البيانات نفسها مهماً للقطاعات المنظمة.

وأشار إلى التعاون مع «إنفيديا»، وإلى حلول التشغيل المحلي التي تتيح نشر أدوات مراقبة الوكلاء ومساعدات الذكاء الاصطناعي داخل بيئة المؤسسة، بدلاً من الاعتماد حصراً على السحابة العامة.

لكنه أوضح أن هذا الطلب لا يقتصر على السعودية، إذ توجد توجهات مشابهة في أوروبا حول السيادة على البيانات، ومكان تشغيل وكلاء الذكاء الاصطناعي، بينما يرى أن المملكة تتميز بسرعة التطور، ووضوح السياسات.

أكبر تحدٍ أمام المؤسسات السعودية

وعندما سؤال «الشرق الأوسط» عن التحدي الأكبر أمام المؤسسات السعودية وهي تنتقل من تجارب الذكاء الاصطناعي إلى الاستخدام الفعلي، لم يضع هودج قوة النماذج أو توفر الحوسبة في مقدمة القائمة.

بل قال إن الصعوبة الرئيسة هي القدرة على رؤية البيانات عبر المؤسسة بأكملها. وبحسب وصفه، تحتاج المؤسسة إلى معرفة ما يجري في كل نظام، وكل تطبيق، وكل وكيل، ثم تقديم هذه المعلومات بطريقة تساعد الموظف على تقييم مستوى المخاطر.

ويبين أن هذا يمثل تغييراً في مهارات فرق تقنية المعلومات نفسها. ففي الأنظمة التقليدية كان من الممكن في كثير من الأحيان تحديد الحالة بصورة ثنائية: النظام يعمل أو لا يعمل، والإشارة خضراء أو حمراء.

أما في عالم وكلاء الذكاء الاصطناعي، فتظهر منطقة أوسع من عدم اليقين. قد يبدو النظام سليماً، لكنه يتجه تدريجياً نحو مستوى أعلى من المخاطر، ما يتطلب من الموظف تفسير الاتجاه والسياق بدلاً من الاعتماد على حالة تشغيل ثابتة.

ولهذا يحذر هودج من الاندفاع مباشرة إلى أكثر تطبيقات الذكاء الاصطناعي تقدماً قبل بناء الأساس اللازم لها. فطبقة البيانات، والسياق، والسياسات، والرؤية عبر الأنظمة ليست مكونات تأتي بعد نشر الوكلاء، بل تعد شروطاً يجب أن تسبق الانتقال إلى التشغيل على نطاق واسع.