قبل أن تسمح المؤسسة لأول وكيل ذكاء اصطناعي باتخاذ إجراء داخل أنظمتها الفعلية، ينبغي أن تتمكن من الإجابة عن أربعة أسئلة عملية؛ من يتحمل مسؤولية سلوكه؟ ما الذي يُسمح له بالوصول إليه؟ هل يمكن إعادة بناء كل قرار اتخذه لاحقاً؟ وهل توجد وسيلة مجرّبة لإيقافه إذا انحرف عن المهمة؟
تصبح هذه المتطلبات، بحسب نيبو فارغيز، المدير الأول للأمن السيبراني في شركة «إف تي آي كونسلتنج» (FTI Consulting)، أكثر إلحاحاً مع انتقال المؤسسات من استخدام الذكاء الاصطناعي لتقديم الإجابات والتوصيات إلى نشر وكلاء قادرين على الوصول إلى الأنظمة واستدعاء الأدوات وتنفيذ الإجراءات بأنفسهم.
تتزامن هذه النقاشات مع انطلاق النسخة الرابعة من «منتدى اليونسكو العالمي لأخلاقيات الذكاء الاصطناعي» في الرياض، الاثنين، الذي يستمر حتى 17 سبتمبر (أيلول). ويجمع المنتدى مسؤولين وصناع قرار وخبراء وأكاديميين وممثلين عن منظمات دولية وقطاعات حكومية وخاصة، لبحث حوكمة الذكاء الاصطناعي وكيفية تحويل المبادئ الأخلاقية إلى سياسات وضوابط عملية تواكب تسارع استخدام الأنظمة الأكثر استقلالية.
ويشرح فارغيز أن المشكلة لا تكمن في أن الوكيل مجرد «مستخدم آلي» جديد يحتاج إلى حساب دخول آخر. فأنظمة الهوية والصلاحيات التقليدية صُممت أساساً للتعامل مع شخص بشري أو برنامج يتصرف بطريقة متوقعة ومتكررة. أما وكيل الذكاء الاصطناعي فيتصرف بالنيابة عن شخص، لكنه يستطيع أيضاً تحديد خطوته التالية بصورة ديناميكية، ما يجعل نمط سلوكه أقل قابلية للتوقع مسبقاً.
الصلاحيات الواسعة تتحول إلى نقطة ضعف
يضع هذا الاختلاف مسألة الصلاحيات في قلب المشكلة الأمنية. ويحذر فارغيز من التعامل مع الوكيل كما لو كان حساب خدمة تقليدياً يحمل مجموعة ثابتة من الصلاحيات ويدخل إلى أنظمة معروفة سلفاً.
فالوكيل قد يستدعي سلسلة من الأدوات والأنظمة أثناء محاولته إنجاز هدف معين، فيما يؤثر السياق الذي جمعه في بداية المهمة على القرارات التي يتخذها لاحقاً. ولهذا يرى أن الضوابط الموضوعة للبرمجيات التقليدية لن تكون كافية وحدها لإدارة المخاطر الجديدة.
ويطرح بديلاً يقوم على مبدأ «أقل قدر من الصلاحيات»، بحيث يحصل الوكيل على ما يحتاج إليه فقط لإنجاز المهمة المحددة، على أن تتغير صلاحياته عندما تتغير المهمة. ويشير إلى أن أحد الأخطاء الشائعة يتمثل في منح الوكيل منذ البداية كامل مجموعة الصلاحيات التي قد يحتاج إليها مستقبلاً، بدلاً من الحد الأدنى اللازم للعمل الحالي.
وتتزايد حساسية هذه المسألة مع ضغوط إثبات العائد من الاستثمار في الذكاء الاصطناعي. فكلما زادت البيانات والأنظمة التي يستطيع الوكيل الوصول إليها، بدا أكثر قدرة على إنجاز المهام؛ إلا أن الصلاحيات ذاتها يمكن أن تتحول إلى مصدر خطر إذا تعرض الوكيل للتلاعب أو الاختراق.
ويضرب فارغيز مثالاً بوكيل يمتلك صلاحية الكتابة في قواعد بيانات حساسة أو الوصول إلى مفاتيح أنظمة، إذ يستطيع تنفيذ إجراءات واسعة النطاق قبل أن يلاحظ أحد ما يحدث. وينوه أن تكون كل صلاحية ممنوحة قراراً متعمداً يرتبط بمالك محدد داخل المؤسسة.
هوية صحيحة... وفعل ضار
لا يكفي التحقق من أن الوكيل الذي نفذ الإجراء يحمل هوية صحيحة حيث إن المهاجم لا يحتاج في بعض السيناريوهات إلى انتحال هوية الوكيل أصلاً، إذ يمكنه التأثير في سلوكه بواسطة تعليمات خبيثة مخفية داخل محتوى يبدو موثوقاً، لتخرج النتيجة في سجلات المؤسسة وكأنها عملية مشروعة نفّذها وكيل مخول.
ولهذا يدعو فارغيز إلى تحليل مصدر الفعل وتوقيته والبيانات التي وصل إليها الوكيل، ومدى توافقها مع المهمة الموكلة إليه. ويشير إلى أن عملية مشروعة وأخرى خبيثة قد تبدوان متطابقتين عند النظر إلى سجل الوصول وحده، بينما تظهر الفروق عند جمع السياق والسلوك والنية المحيطة بالفعل. كما يدعو فرق الأمن إلى اختبار الوكلاء بالطريقة نفسها التي قد يستخدمها المهاجم، من خلال إدخال تعليمات خبيثة بصورة متعمدة ومراقبة ما إذا كانت أنظمة الرصد ستكتشفها أم ستسمح بمرورها باعتبارها نشاطاً طبيعياً.
عندما تصبح سرعة الآلة مشكلة أمنية
يرى فارغيز أن الاعتماد على محلل بشري يراجع السجلات بعد وقوع الحدث لم يعد نموذجاً عملياً في مثل هذه البيئات. ويلفت أن الحل هو بناء خط أساس للسلوك الطبيعي لكل وكيل يشمل حجم النشاط وتسلسله وتوقيته والأدوات التي يستخدمها، ثم اكتشاف الانحرافات آلياً. فإذا بدأ وكيل مالي، على سبيل المثال، في الاستعلام عن أنظمة الموارد البشرية، أو شرع وكيل اعتاد العمل خلال ساعات الدوام في تنفيذ عمليات عند الثالثة صباحاً، فهذه إشارات تستحق التحقيق حتى لو كانت كل عملية منفردة تبدو مسموحاً بها تقنياً.
متى يجب أن يتدخل الإنسان؟
على الرغم من الاتجاه نحو زيادة الاستقلالية، لا يرى فارغيز أن كل قرار يجب أن يُترك للوكيل. ويفيد بأن العمليات التي يصعب التراجع عنها أو التي يمكن أن تسبب ضرراً كبيراً عند الخطأ ينبغي أن تبقى مرتبطة بموافقة بشرية، خصوصاً عندما تتعلق ببيانات العملاء، أو التزامات مالية، أو تغييرات في الوضع الأمني للمؤسسة، مثل تعديل الصلاحيات أو تعطيل الضوابط الأمنية.
ويتجاوز الإيقاف مجرد الضغط على زر يعطل الوكيل، إذ ينبغي حفظ حالته عند التعليق لفهم ما فعله، إلى جانب تحديد الإجراءات التي بدأ تنفيذها بالفعل قبل الإيقاف وما إذا كان بالإمكان التراجع عنها. كما يوصي بأن تُختبر آلية التعليق بواسطة أشخاص لم يشاركوا في تطوير الوكيل نفسه.
سجل يعيد بناء القرار كاملاً
مع الوكلاء المستقلين، لا يكفي تسجيل النتيجة النهائية، بل يجب حفظ المعلومات الكافية لإعادة بناء القرار بالكامل بدءاً من التعليمات التي بدأت العملية، ومن أصدرها، والبيانات والأدوات التي استخدمها الوكيل، وصولاً إلى الصلاحيات التي نُفذت تحتها كل خطوة، والنتيجة النهائية.
ويشير فارغيز إلى أن بعض منصات الوكلاء بدأت بالفعل بتخصيص هوية وسجل دخول وتاريخ تدقيق لكل وكيل، مع إمكانية ربط الإجراء بالشخص أو القالب الذي يقف خلفه. لكن هذه القدرات ما زالت مرتبطة بالمنصات الفردية، ولا يوجد حتى الآن معيار واسع التبني لتسجيل هذه المعلومات ومشاركتها بصورة متسقة بين الأنظمة المختلفة.
وتصبح المشكلة أكثر تعقيداً عندما يعمل عدة وكلاء معاً، إذ قد لا يظهر الخلل عند تقييم كل واحد منها منفرداً، بل في عمليات التسليم والتفاعل بينها. ولذلك، يعدّ فارغيز أن اختبارات المحاكاة والهجوم أكثر فاعلية من مراجعة السياسات وحدها في اكتشاف المخاطر الكامنة بين الوكلاء.
الشرق الأوسط أمام فرصة للبناء منذ البداية
يرى فارغيز أن وتيرة نشر الذكاء الاصطناعي تتسارع، مشيراً إلى خطط في الإمارات للانتقال بخدمات حكومية نحو الذكاء الاصطناعي المستقل خلال العامين المقبلين، وإلى توجه مركز دبي المالي العالمي نحو بناء مركز مالي «مولود للذكاء الاصطناعي» بحلول 2027، إلى جانب زخم مماثل في السعودية ضمن «رؤية 2030».
ويعتبر أن سرعة التبني في المنطقة لا تعني بالضرورة أن الحوكمة يجب أن تأتي لاحقاً، بل قد تمنح المؤسسات فرصة لبناء ضوابط الهوية والمراقبة والأمن منذ البداية، قبل أن يصبح الوكلاء جزءاً واسع الانتشار من البنية التشغيلية.
ولهذا يعود فارغيز إلى أربعة شروط قبل السماح لأي وكيل بالعمل فعلياً؛ يجب أن يكون مسؤولاً تنفيذياً معروفاً يمتلك سلطة إيقافه، وله صلاحيات مصممة وفق احتياجات المهمة، وسجلات كافية لإعادة بناء كل فعل، وآلية تعليق جرى اختبارها بصورة مستقلة.
ويؤكد فارغيز أن الاختبار الحقيقي لهذه الضوابط لا يكون على الورق، بل عندما تتعرض لمحاولة إساءة استخدام متعمدة، وأن المؤسسات بحاجة إلى الانتقال من مراجعة وكلائها نظرياً إلى اختبارهم تحت ظروف تحاكي هجوماً حقيقياً قبل منحهم القدرة على التصرف داخل الأنظمة الإنتاجية.
