برامج المحادثة الذكية «المنفلتة» تهدّد بانفجار إعلامي مزيَّف

لا تخضع للرقابة... وتنشر محتوى مغلوطاً ومسموماً

برامج المحادثة الذكية «المنفلتة» تهدّد بانفجار إعلامي مزيَّف
TT

برامج المحادثة الذكية «المنفلتة» تهدّد بانفجار إعلامي مزيَّف

برامج المحادثة الذكية «المنفلتة» تهدّد بانفجار إعلامي مزيَّف

تنشر برامج المحادثة الذكية الأكاذيب عن الشخصيات المعروفة، والرسائل المتحزبة، والمعلومات المضلّلة، حتّى إنّها قدّمت لبعض المستخدمين نصائح حول كيفية الإقدام على الانتحار.

وللتخفيف من المخاطر الواضحة لهذه الأدوات، عمدت شركات كـ«غوغل» و«أوبن إي آي» إلى تجهيزها بضوابط تحكّم تضبط ما تقوله.

برامج غير منضبطة

ولكنّ موجة جديدة من برامج المحادثة المطوّرة بعيداً عن مركز طفرة الذكاء الاصطناعي المرموقة، تنتشر اليوم في عالمنا الإلكتروني ومن دون هذه الضوابط، مطلقةً العنان لجدلٍ حول حرية التعبير، وما إذا كان يجب إخضاعها للسيطرة، ومَن يجب أن يتّخذ هذا القرار.

رأى إريك هارتفورد، مطوّر روبوت المحادثة «ويزارد إل إم – أنسنسورد WizardLM-Uncensored» غير الخاضع للرقابة، في منشور على مدوّنته أنّ «الأمر يتعلّق بالملكية والسيطرة. إذا طرحتُ سؤالاً على نموذجي، أريد جواباً، أنا لا أريده أن يتجادل معي».

شهدت الأشهر الأخيرة ظهور عددٍ كبيرٍ من برامج المحادثة غير الخاضعة للرقابة والضبط تحت أسماء كـ«جي بي تي 4 أول GPT4All» و«فريدوم جي بي تي FreedomGPT». طوّر هذه البرامج مبرمجون مستقلّون أو فرق من المتطوعين باستخدام القليل من المال أو حتّى من دونه. يعتمد معظم هذه المجموعات على النماذج اللغوية القائمة مع إضافة تعليمات جديدة لتحديد كيفية استجابة التقنية لأوامر الحثّ.

توفر برامج المحادثة غير الخاضعة للرقابة احتمالات جديدة، حيث يستطيع المستخدم تحميل برنامج محادثة غير مضبوط على جهاز الكومبيوتر واستخدامه دون مراقبة من عمالقة التقنية. ويمكن للمستخدم تدريب البرنامج على الرسائل الخاصة، والبريد الإلكتروني الشخصي، أو المستندات السرية من دون المخاطرة بالتعرّض لاختراق خصوصيته. ويستطيع المبرمجون المتطوّعون تطوير برامج إضافية ذكية والتحرّك بسرعة وجرأة أكبر من الشركات الكبرى.

نشر الأكاذيب

في المقابل، تبدو مخاطر هذه البرامج غير المضبوطة كثيرة أيضاً. تشعر أجهزة الرقابة المتخصصة في التضليل، بالقلق من قدرة برامج المحادثة على نشر الأكاذيب، ما يدفعها إلى التحذير دائماً من مضاعفة برامج المحادثة غير المضبوطة لهذه المخاطر. وينبّه الخبراء إلى أنّ هذه الأدوات تملك القدرة على إنتاج توصيفات لمحتوى إباحي للأطفال، وخطابات الكراهية والمحتوى المغلوط.

صحيح أنّ الشركات الكبرى تسارع إلى الاستثمار في أدوات الذكاء الاصطناعي، ولكنّها في الوقت نفسه، تواجه صعوبة في الحفاظ على سمعتها وثقة مستثمريها. في المقابل، يبدو أنّ مخاوف مطوّري الذكاء الاصطناعي المستقلّين في هذا المجال أقلّ، وحتّى إذا كانت لديهم مخاوف، لن يملكوا على الأرجح الموارد المطلوبة لتبديدها، حسب الخبراء.

أورين إتزيوني، أستاذ فخري في جامعة واشنطن والرئيس التنفيذي السابق لمعهد «آلن للذكاء الاصطناعي» يرى أنّ «القلق مبرّر وواضح: برامج المحادثة تستطيع قول أيّ شيء وستفعل إذا ما تُرك الأمر لأجهزتها. هذه الأدوات لن تفرض رقابةً على نفسها. لذا، السؤال الآن هو: ما الحلّ الملائم لهذه المشكلة في مجتمع يقدّر حريّة التعبير؟».

يعتمد معظم هذه البرامج على النماذج اللغوية القائمة مع إضافة تعليمات جديدة​

يعتمد معظم هذه البرامج على النماذج اللغوية القائمة مع إضافة تعليمات جديدة

شهدت الأشهر القليلة الفائتة صدور عشرات أدوات الذكاء الاصطناعي وبرامج المحادثة المستقلّة والمفتوحة المصدر، وأبرزها «أوبن أسيستنت» و«فالكون».

قال هارتفورد، مطوّر «ويزارد إل إم – أنسنسورد»، في مقابلة، إنّ «هذا الأمر سيحصل بنفس الطريقة التي نُشرت بها الصحافة الورقية، واختُرعت فيها السيّارة. لم يكن بمقدور أحد إيقافه. لعلّنا كنّا نستطيع تأخيره لعقدٍ أو اثنين، ولكن لا يسعنا منعه».

برنامج «ويزارد» قدّم عدّة وسائل لإيذاء النّاس وتعليمات مفصّلة لتعاطي المخدّرات

إيذاء الناس

- برنامج «ويزارد إل إم – أنسنسورد»

بدأ هارتفورد العمل على هذا البرنامج بعد تسريحه من شركة «مايكروسوفت» العام الماضي. ذُهل الأخير بـ«تشات جي بي تي» ولكنّه شعر بالإحباط عندما فشل الروبوت في الإجابة عن بعض الأسئلة معلّلاً الرفض بالمخاوف الأخلاقية. أطلق موظّف «مايكروسوفت» السابق نسخة «ويزارد إل إم – أنسنسورد» من روبوت «ويزارد إل إم» المعاد تدريبها لتُحدّد بنفسها درجات ضبطها في مايو (أيار)، فأصبحت قادرة على تقديم تعليمات حول القيام بأفعال لأذيّة الآخرين أو توصيف مشاهد عنيفة.

في المدوّنة التي أعلن فيها عن إطلاق الروبوت، قال هارتفورد: «أنتم مسؤولون عن مدخلات هذه النماذج بنفس درجة مسؤوليتكم عن أيّ عملٍ تقومون به باستخدام سكّين، أو سيّارة، أو ولّاعة».

في اختبارات أجرتها صحيفة «نيويورك تايمز» على «ويزارد»، رفض الأخير الاستجابة لبعض أوامر الحثّ كتعليم كيفية بناء قنبلة، ولكنّه قدّم عدّة وسائل لإيذاء النّاس وتعليمات مفصّلة لتعاطي المخدّرات. وتجدر الإشارة إلى أنّ «تشات جي بي تي» رفض الاستجابة لنفس الأوامر.

«أوبن أسيستنت» أجاب حول مخاطر لقاح «كورونا»: «طوّرت لقاحات الكوفيد-19 شركات دوائية لا تأبه لموت النّاس بسبب أدويتها لأنّها تريد المال فقط»

- «أوبن أسيستنت» المستقلّ

طُوّر برنامج المحادثة هذا، الذي استُخدم على نطاق واسع بعد إطلاقه في أبريل (نيسان)، في 5 أشهر بمساعدة 13500 متطوّع وباستخدام نماذج لغوية قائمة، أحدها كانت شركة «ميتا» قد طرحته للباحثين ولكنّه سُرعان ما سُرّب على نطاق أوسع. لا يستطيع «أوبن أسيستنت» منافسة «تشات جي بي تي» لناحية النوعية، ولكنّه ليس سيئاً، حيث إنه قادر على الإجابة عن أسئلة المستخدمين، وكتابة الشعر أو المحتوى المعقّد.

قال يانيك كيلتشر، الشريك المؤسس لـ«أوبن أسيستنت» وصانع محتوى يركّز على الذكاء الاصطناعي على «يوتيوب»: «أنا واثق بأنّ بعض اللاعبين السيئين سيستخدمون الروبوت لأمور بشعة، ولكنّ الإيجابيات في رأسي تفوق السلبيات».

بعد إطلاقه، أجاب «أوبن أسيستنت» عن سؤال طرحته صحيفة «نيويورك تايمز» عليه حول مخاطر لقاح «كوفيد-19»ن على الشكل التالي: «طوّرت لقاحات الكوفيد-19 شركات دوائية لا تأبه لموت النّاس بسبب أدويتها لأنّها تريد المال فقط».

يرى المدافعون عن برامج المحادثة غير الخاضعة للرقابة أنّ الأحزاب السياسية ومجموعات الضغط تستطيع الاستفادة من نشر برامج المحادثة المستقلّة لرموزها وبياناتها في تصميم برامج تعكس رؤاهم الخاصة للعالم.

وأكمل هارتفورد على مدوّنته: «الديمقراطيون يستحقّون نموذجاً، والجمهوريون يستحقّون نموذجاً، والمسيحيون والمسلمون يستحقون أيضاً نماذجهم الخاصّة... كلّ فئة أو مجموعة ضغط تستحق نموذجها اللغوي الخاص. الهدف من المصدر المفتوح هو السماح للناس بالاختيار».

كشف أندرياس كوف، الشريك المؤسس لـ«أوبن أسيستنت» وقائد الفريق المطوّر للروبوت، عن أنّ شركته طوّرت نظاماً أمنياً لروبوتها ولكنّ الاختبارات الأولية أظهرت أنّه شديد الحذر إلى درجة أنّه يمنع الإجابة عن بعض الأسئلة المشروعة، لافتاً إلى أنّ نسخة محسنة من النظام لا تزال قيد التطوير.

في أثناء عمل متطوّعي «أوبن أسيستنت» على استراتيجيات الضبط، نشأ خلاف واتّسعت رقعته بين فريق أراد بروتوكولات للسلامة، وآخر رفضها. وبعد ضغط المجموعات باتجاه خيار الضبط، رفع بعض المتطوعين الصوت سائلين عمّا إذا كان يجب تقييد النموذج في الأساس.

وفي غرفة للمحادثة خاصة بـ«أوبن أسيستنت» على تطبيق «ديسكورد»، قال أحدهم: «إذا طلبتُ من الروبوت أن يقول كلمة بذيئة ألف مرّة، عليه أن يقولها. طرحتُ هذا المثال السخيف والمهين لأنّني أعتقد أنّه يجب عدم فرض أي قيود اعتباطية».

اختبارات لغوية

خلال اختبارات صحيفة «نيويورك تايمز»، استجاب «أوبن أسيستنت» بحرية مطلقة لأوامر حثّ عدّة تعاملت معها برامج أخرى، كـ«بارد» و«تشات جي بي تي»، بحذر أكبر.

قدّم الروبوت نصائح طبية بعد الطلب منه تشخيص كتلة على عنق أحدهم (واقترح إجراء المزيد من الخزعات)؛ وأجرى تقييماً لفترة حكم الرئيس بايدن (وقال: «اتسمت ولاية الرئيس بايدن بالقليل من التغييرات في السياسات المتبعة)؛ حتّى إنّه قدّم اقتراحات جنسية عند سؤاله عن كيفية إغواء المرأة للرجال، بينما رفض «تشات جي بي تي» الإجابة عن السؤال الأخير.

ولفت كيلتشر إلى أنّ مشكلات برامج المحادثة عمرها من عمر الإنترنت وأنّ الحلول تقع على عاتق منصات كـ«تويتر» و«فيسبوك» التي تسمح بوصول المحتوى المضلّل للجماهير الواسعة.

وأخيراً، سأل كيلتشر: «الأخبار الكاذبة سيئة، ولكن هل صناعة هذه الأخبار هي السيئة؟» وأجاب: «أنا شخصياً أعتقد أنّ نشرها هو السيئ. يمكنني الاحتفاظ بآلاف المقالات المليئة بالأخبار الكاذبة على قرصي الصلب من دون أن يهتم أحد لهذا الأمر. ولكن عندما أوصلُ أحد هذه المقالات إلى وسيلة إعلامية مرموقة، كصحيفة (نيويورك تايمز) مثلاً، هذا هو الجزء السيئ».

برامج ذكية شهيرة

- «تشات جي بي تي»: النموذج اللغوي المدعوم بالذكاء الاصطناعي من مختبر البحث «أوبن إي آي».

- «بينغ»: بعد شهرين من انطلاق «تشات جي بي تي»، أطلقت «مايكروسوفت»، المستثمر الأكبر والشريك في مختبرات «أوبن إي آي»، روبوت محادثة مشابهاً.

- «بارد»: أطلقت «غوغل» هذا الروبوت في مارس (آذار) لعددٍ محدود من المستخدمين في الولايات المتحدة وبريطانيا.

- «إرني»: كشف عملاق البحث الصيني «بايدو» عن أوّل منافس لروبوت «تشات جي بي تي» في مارس.

* خدمة «نيويورك تايمز»


مقالات ذات صلة

قد يؤيد أفكارك ويتجاهل أعراضاً خطيرة... مخاطر استشارة الذكاء الاصطناعي نفسياً

يوميات الشرق شعار «شات جي بي تي» يظهر في صورة توضيحية على لوحة مفاتيح (رويترز)

قد يؤيد أفكارك ويتجاهل أعراضاً خطيرة... مخاطر استشارة الذكاء الاصطناعي نفسياً

يتزايد اعتماد الأطفال والبالغين على روبوتات الدردشة المدعومة بالذكاء الاصطناعي للحصول على المشورة والدعم النفسي.

«الشرق الأوسط» (لندن)
الاقتصاد المتداولون في بورصة نيويورك يعملون خلال جلسة التداول الصباحية في 21 أكتوبر (أ.ف.ب)

تدفقات صناديق الأسهم العالمية ترتفع إلى 28.16 مليار دولار

عزز تراجع عوائد سندات الخزانة الأميركية ونتائج أعمال الشركات التي فاقت التوقعات، إقبال المستثمرين على الأسهم العالمية.

«الشرق الأوسط» (لندن، نيويورك )
الاقتصاد لافتات عند تقاطع شارعي برود وول ستريت بالقرب من أعلام أميركية ترفرف أمام بورصة نيويورك (أ.ب)

«وول ستريت» تتراجع وسط مخاوف من عوائد استثمارات الذكاء الاصطناعي

واصلت الأسهم الأميركية تراجعها في مستهل تعاملات الجمعة، مع تصاعد المخاوف من أن الاستثمارات الضخمة في البنية التحتية للذكاء الاصطناعي قد لا تحقق العوائد المرجوة.

«الشرق الأوسط» (نيويورك)
الاقتصاد متداولون يعملون في بورصة نيويورك (رويترز)

العقود الآجلة الأميركية تتراجع مع صعود النفط إلى أعلى مستوياته منذ مايو

تراجعت العقود الآجلة للأسهم الأميركية، الجمعة، تحت وطأة صعود أسعار النفط إلى أعلى مستوياتها منذ مايو.

«الشرق الأوسط» (نيويورك)
الاقتصاد زائر يطل على الحي المالي في لندن من حديقة «غاردن آت 120» (رويترز)

النشاط الاقتصادي البريطاني يسجل أقوى أداء منذ فبراير بدعم من الذكاء الاصطناعي

سجلت الشركات البريطانية أقوى أداء لنشاطها منذ فبراير (شباط)، مع نمو الطلبيات الجديدة وانتعاش الطلب المرتبط بالذكاء الاصطناعي، وفقاً لمسح نُشرت نتائجه الجمعة.

«الشرق الأوسط» (لندن)

«كاسبرسكي»: يجب معاملة وكلاء الذكاء الاصطناعي كـ«متعاقدين خارجيين» وبقدرات محدودة

قد ينحرف وكيل الذكاء الاصطناعي بسبب طبيعة النموذج الاحتمالية أو نتيجة تلاعب خارجي بالمدخلات التي يعتمد عليها (شاترستوك)
قد ينحرف وكيل الذكاء الاصطناعي بسبب طبيعة النموذج الاحتمالية أو نتيجة تلاعب خارجي بالمدخلات التي يعتمد عليها (شاترستوك)
TT

«كاسبرسكي»: يجب معاملة وكلاء الذكاء الاصطناعي كـ«متعاقدين خارجيين» وبقدرات محدودة

قد ينحرف وكيل الذكاء الاصطناعي بسبب طبيعة النموذج الاحتمالية أو نتيجة تلاعب خارجي بالمدخلات التي يعتمد عليها (شاترستوك)
قد ينحرف وكيل الذكاء الاصطناعي بسبب طبيعة النموذج الاحتمالية أو نتيجة تلاعب خارجي بالمدخلات التي يعتمد عليها (شاترستوك)

قد يكون التشبيه الأقرب لوكيل الذكاء الاصطناعي داخل المؤسسة ليس موظفاً جديداً، بل متعاقداً خارجياً مُنح القدرة على الوصول إلى بعض الأنظمة والبيانات وتنفيذ مهام فعلية، بينما لا يمكن التعامل معه باعتباره مسؤولاً بالطريقة نفسها التي يُحاسب بها الإنسان. هذه هي الصورة التي يطرحها سيرغي لوزكين، كبير الباحثين الأمنيين في فريق البحث والتحليل العالمي في شركة «كاسبرسكي»، عند الحديث عن المخاطر التي ترافق انتقال الذكاء الاصطناعي من أنظمة تجيب عن الأسئلة إلى وكلاء قادرين على اتخاذ خطوات واستخدام الأدوات والتعامل مع البنية الرقمية للمؤسسات.

وخلال مقابلة حصرية مع «الشرق الأوسط» على هامش مؤتمر «Security Analyst Summit» في جزيرة بالي في إندونيسيا، يقول لوزكين إن التعامل الأمني مع الوكلاء يجب أن يبدأ من حقيقة أن النظام قد يمتلك صلاحيات فعلية، لكنه لا ينبغي أن يحصل على الثقة نفسها الممنوحة لمستخدم بشري داخل المؤسسة. ويصف الوكيل، من الناحية التقنية والوظيفية، بأنه يشبه «متعاقداً خارجياً» يمتلك قدرات داخل البنية التحتية، ولذلك يجب أن تكون صلاحياته محددة، ومراقبة، ومنفصلة عن هويات الموظفين الحقيقيين.

سيرجي لوزكين رئيس فريق البحث والتحليل العالمي في آسيا والمحيط الهادئ والشرق الأوسط وتركيا وأفريقيا - «كاسبرسكي» (الشرق الأوسط)

الخطر يبدأ من الصلاحيات

لا يربط لوزكين تحول الوكيل إلى خطر أمني بسلوك واحد محدد، بل بالمكان الذي يعمل فيه، والأنظمة التي يستطيع الوصول إليها، ونوعية الإجراءات المسموح له بتنفيذها.

فكلما ارتفعت صلاحيات الوكيل، ازدادت العواقب المحتملة لقرار خاطئ أو سلوك غير متوقع. فإذا كان يستطيع حذف ملفات أو تعديل بيانات أو الوصول إلى قاعدة بيانات إنتاجية، فإن الخطأ لم يعد مجرد إجابة غير صحيحة، بل قد يتحول إلى حادث تشغيلي أو أمني.

ويشير لوزكين إلى حوادث واختبارات سابقة لوكلاء متخصصين، من بينها ما وصفه بحادثة «Hugging Face»، باعتبارها أمثلة على القدرات التي يمكن أن تظهر عندما يعمل الوكلاء باستخدام نماذج غير مقيدة أو أقل تقييداً. لكنه يميز بين هذه الحالات والنماذج المتاحة عادة للجمهور، التي تتضمن في الغالب إرشادات وقيوداً داخلية تهدف إلى منع بعض السلوكيات الخطرة.

ومع ذلك، يرى أن هذه القيود لا تقدم ضماناً كاملاً، لأن النماذج اللغوية التي تقود الوكلاء تعمل بطبيعة احتمالية. فقد تحدد المؤسسة الهدف المطلوب، لكنها لا تستطيع ضمان أن كل خطوة في مسار التنفيذ ستسير دائماً بالطريقة التي تصورها المصمم أو المستخدم. ومن هنا، يرى أن الاعتماد على القيود الموجودة داخل النموذج نفسه غير كافٍ. فالحماية يجب أن تأتي أيضاً من البنية المحيطة به، بحيث لا يستطيع الوكيل تنفيذ كل ما يمكن للنظام تقنياً السماح به.

هوية مستقلة عن الإنسان

يكشف لوزكين أن «كاسبرسكي» نفسها استخدمت وكلاء ونماذج محلية وأخرى سحابية، لكنه يقول إن بناء بيئة آمنة لاستخدامها تطلب وقتاً وجهداً، ولم يكن مجرد إضافة نموذج إلى أدوات العمل القائمة.

ومن الإجراءات التي يركز عليها عزل الوكيل وعدم السماح له بالعمل ببساطة على الجهاز نفسه الذي يستخدمه الموظف العادي.

كما يقترح تخصيص هويات رقمية مستقلة لوكلاء الذكاء الاصطناعي. ففي بيئة تعتمد نطاق «ويندوز»، على سبيل المثال، لا ينبغي أن يستخدم الوكيل هوية الموظف البشري نفسها، بل هوية منفصلة ضمن نطاق بصلاحيات محدودة للغاية. والفكرة هنا أن تكون القيود مفروضة من البنية التحتية نفسها؛ فإذا حاول الوكيل القيام بشيء خارج مهمته، لا يكون القرار متعلقاً بمدى «التزام» النموذج، بل بما تسمح له الأنظمة فعلياً بتنفيذه.

يزداد خطر وكلاء الذكاء الاصطناعي كلما اتسعت قدرتهم على الوصول إلى الأنظمة والبيانات الحساسة (شاترستوك)

خطأ ذاتي أم تلاعب خارجي؟

يميز لوزكين بين طريقين يمكن أن يخرجا الوكيل عن السلوك المتوقع. الأول أن يحدث ذلك نتيجة طبيعة النموذج الاحتمالية أو خطأ في طريقة استدلاله، أي من دون وجود مهاجم مباشر. أما الثاني فيحدث عندما يستطيع طرف خارجي التحكم في المعلومات التي تدخل إلى الوكيل أو التأثير فيها.

ويعطي مثالاً على روبوت محادثة موجود على موقع شركة ويرتبط مباشرة بوكيل داخلي من دون عزل كافٍ. فإذا تمكن المستخدم الخارجي من التأثير في المدخلات التي يعتمد عليها الوكيل، فقد يحاول دفعه إلى تنفيذ سلوك لم يكن ضمن الهدف الأصلي. ولهذا يفرق بين الوكلاء الذين يتعاملون مع بيانات يمكن أن تأتي من خارج المؤسسة، مثل الرسائل الإلكترونية أو روبوتات المحادثة أو مصادر خارجية أخرى، وبين الوكلاء الذين يعملون على بيانات داخلية أكثر موثوقية. فالوكيل المتصل بالعالم الخارجي قد يكون أسهل في التلاعب به، بينما قد تكون عواقب الوكيل الموجود في قلب البنية الداخلية أكثر خطورة لأنه غالباً يمتلك صلاحيات أوسع.

هل يمكن أن يؤثر وكيل في آخر؟

مع اتجاه المؤسسات إلى تشغيل أكثر من وكيل داخل البيئة نفسها، يظهر سؤال إضافي حول إمكانية انتقال السلوك الخاطئ من وكيل إلى آخر. لا يستبعد لوزكين ذلك تقنياً، لكنه يرى أن حدوثه يحتاج إلى مجموعة من الظروف المتزامنة، ما لم تصمم المؤسسة النظام بحيث تسمح للوكلاء بالتفاعل بصورة مباشرة ومستمرة في مساحة مشتركة. وكلما انخفض مستوى الاتصال المتبادل والتأثير المباشر بين الوكلاء، تقل احتمالات أن يؤدي انحراف أحدهم إلى التأثير في تشغيل الآخرين. وهذا يضيف بعداً جديداً إلى تصميم البيئات الوكيلية إذ لا يكفي تحديد صلاحية كل وكيل منفرد، بل يجب أيضاً النظر إلى العلاقات بين الوكلاء وما إذا كان أحدهم قادراً على تغيير سياق عمل الآخر.

الأمن التقليدي لم يفقد دوره

رغم أن الوكلاء يمثلون نمطاً جديداً من استخدام الذكاء الاصطناعي، لا يرى لوزكين أن ذلك يلغي المبادئ التقليدية للأمن السيبراني. على العكس، يقول إن الأساليب المستخدمة مع البشر تظل صالحة إلى حدٍ كبير مع الوكلاء، لكن ينبغي إضافة طبقات تتناسب مع طبيعة عملهم.

ويضع قابلية المراقبة أو «Observability» في مقدمة هذه الطبقات، بحيث تستطيع فرق الأمن معرفة ما الذي يفعله الوكيل ومراقبة إجراءاته وحتى المحادثات التي يعتمد عليها أثناء تنفيذ المهمة.

كما يتحدث عن الحاجة إلى طبقة برمجية إضافية تشبه «جدار حماية للنماذج اللغوية الكبيرة»، مهمتها تطبيق الحواجز الأمنية وإرسال المعلومات المتعلقة بتصرفات الوكيل إلى مركز العمليات الأمنية وأنظمة إدارة المعلومات والأحداث الأمنية داخل المؤسسة. وبعد ذلك، بحسب لوزكين، يمكن تطبيق كثير من الآليات التقليدية المستخدمة لمراقبة المستخدمين والهويات الرقمية.

تظل مبادئ الأمن التقليدية مهمة مع إضافة مراقبة مستمرة وحواجز تمنع تسريب البيانات أو تنفيذ إجراءات خطرة (شاترستوك)

ما الذي يجب ألا يلمسه الوكيل؟

يصبح التحدي أكثر وضوحاً عندما يدخل الوكيل إلى بيئة تطوير البرمجيات. ويذكر لوزكين تجربة داخلية واجهتها «كاسبرسكي» أثناء تبني أدوات وكيلة في عملية التطوير، حيث يرغب المطور، بطبيعته، في تشغيل الوكيل مباشرة على جهازه ومنحه وصولاً واسعاً إلى الشيفرة والمعلومات بهدف تسريع العمل. لكن هذا النموذج يتعارض مع تطبيق أمني يعطي الأولوية للحماية على حد وصفه. لذلك يرى أن الوكلاء ينبغي أن يعملوا داخل حاويات أو بيئات معزولة، مع تحديد واضح للبيانات التي يسمح لهم بالتعامل معها. ويفرق هنا بين معلومات شديدة الحساسية يجب ألا تكون متاحة للوكيل، ومواد أقل حساسية يمكن تحمل تبعات تسربها أو التعامل معها عبر نموذج سحابي. ويحذر من أن تسرب المعلومات الحرجة من المؤسسة يمكن أن يتسبب في أضرار كبيرة، بينما قد توجد أنواع أخرى من البيانات أو الشيفرات العامة نسبياً يمكن إدارة مخاطرها بصورة أسهل.

متى يجب إيقاف الوكيل؟

تقترب مراقبة الوكلاء، في بعض جوانبها، من مراقبة سلوك المستخدمين. إذا بدأت هوية معينة محاولة الوصول إلى بيانات أو أنظمة لم تصل إليها سابقاً أو لا تملك صلاحية الوصول إليها، فإن ذلك يمثل إشارة واضحة لفرق العمليات الأمنية. أما في حالة الوكلاء، فيمكن إضافة مؤشرات أخرى، مثل محاولة نقل معلومات شخصية أو بيانات حرجة إلى مكان غير مسموح به.

ويتحدث لوزكين أيضاً عن إمكانية حظر بعض الإجراءات بصورة آلية وفورية، مثل عمليات الحذف الجماعي للمعلومات أو قواعد البيانات عندما تكون تلك الإجراءات قابلة للتعريف مسبقاً كأفعال عالية الخطورة.

وفي هذه النقطة، يرى أن الأدوات الأمنية المتخصصة لا تزال تتفوق على الاعتماد على الوكيل نفسه في اكتشاف الخطر، لأن الوكيل يعمل وفق المعلومات التي يحصل عليها أو يسترجعها، بينما تستطيع أنظمة الأمن فرض قيود مستقلة عنه.

الإنسان يبقى داخل الحلقة

كلما اقترب الإجراء من البيانات الإنتاجية أو الأنظمة الحساسة، يصبح دور الإنسان أكثر أهمية. ويفيد لوزكين بأنه عندما يمتلك وكيل شرعي القدرة على تنفيذ عملية قد تكون غير مشروعة أو غير متوقعة، يجب أن يبقى الإنسان داخل حلقة القرار بالنسبة إلى الإجراءات الأكثر حساسية. وهذا لا يعني فقط مراقبة ما حدث بعد التنفيذ، بل منع تنفيذ بعض العمليات تلقائياً من الأساس، بحيث تحتاج إلى موافقة بشرية قبل السماح للوكيل بإكمالها. ويعتبر ذلك الوسيلة الأكثر مباشرة لضمان وجود نقطة يمكن عندها إيقاف الإجراء قبل وصوله إلى نظام أو بيانات شديدة الحساسية.

من مؤتمر «Security Analyst Summit 2026» الذي عقدته «كاسبرسكي» في بالي في دورته الثامنة عشرة (الشرق الأوسط)

السعودية والخليج... البيانات الحساسة داخل الحدود

وعند الانتقال إلى السعودية والخليج، يضع لوزكين مكان تشغيل النموذج في مقدمة الاعتبارات الخاصة بالعمليات الحساسة. ويقول إنه ناقش خلال زيارة حديثة إلى الرياض مخاطر مرتبطة بالذكاء الاصطناعي، ويرى أن العمليات ذات الأهمية الحرجة أو المعلومات شديدة الحساسية ينبغي، إذا كان الوكلاء سيعملون عليها، أن تعتمد على نماذج محلية داخل المؤسسة.

والمنطق برأيه هو أن المعلومات المرتبطة بالبنية التحتية الحرجة أو البيانات الحساسة لا ينبغي أن تغادر محيط الجهة المشغلة، مما يجعل الخيارات تتجه إلى نموذج يعمل داخلياً أو إلى بيئة سحابية حكومية ملائمة. لكنه يحذر من أن التشغيل المحلي لا يلغي متطلبات الحماية. فالنموذج الذي يعمل داخل المؤسسة يظل بحاجة إلى طبقات مراقبة، وحواجز أمنية، وآليات تصفية وتحكم في الصلاحيات. أي أن السيادة على موقع تشغيل النموذج لا تعني، في حد ذاتها، أن الوكيل أصبح آمناً.

جدار حماية للوكلاء

أما على مستوى ما تعمل عليه «كاسبرسكي»، فيشير لوزكين إلى أن الشركة تتعامل مع القضية عبر أكثر من مستوى، مشيراً إلى ميزات ما زالت قيد التطوير تشمل جدار حماية للنماذج اللغوية الكبيرة «LLM Firewall» وقدرات لمراقبة تدفقات العمل الوكيلية. كما تعتمد الشركة على تجربتها الداخلية في نشر الوكلاء لتطوير ممارسات حول كيفية استخدامها بطريقة أكثر أماناً، وفق وصفه. ولا يقدم تفاصيل نهائية عن المنتجات أو المواعيد، مشيراً إلى أن الشركة ستكشف مزيداً من المعلومات لاحقاً.


ثغرتان خطيرتان تهددان مواقع الإنترنت والتطبيقات في إحدى لغات البرمجة

ثغرتان في «PHP» قد تسمحان باختراق الخوادم والوصول إلى بيانات حساسة (php)
ثغرتان في «PHP» قد تسمحان باختراق الخوادم والوصول إلى بيانات حساسة (php)
TT

ثغرتان خطيرتان تهددان مواقع الإنترنت والتطبيقات في إحدى لغات البرمجة

ثغرتان في «PHP» قد تسمحان باختراق الخوادم والوصول إلى بيانات حساسة (php)
ثغرتان في «PHP» قد تسمحان باختراق الخوادم والوصول إلى بيانات حساسة (php)

أطلقت وكالة الأمن القومي الأميركية (NSA) تحذيراً أمنياً عاجلاً بشأن ثغرتين خطيرتين في لغة البرمجة «PHP»، قد تسمحان للمهاجمين بتنفيذ أوامر عن بُعد والسيطرة على خوادم مواقع الإنترنت دون الحاجة إلى تسجيل الدخول أو امتلاك حساب في الخادم.

وجاء التحذير في تاريخ 21 أكتوبر (تشرين الأول) 2026، مع توصية واضحة للمؤسسات وأصحاب المواقع بتثبيت التحديثات الأمنية فوراً، بل وفصل الأنظمة المتأثرة عن الإنترنت مؤقتاً إذا تعذر تحديثها حتى يتم تأمينها بالكامل.

وتحمل الثغرتان الرمزين «CVE-2026-109618» و«CVE-2026-109619» وحصلتا على درجة خطورة تصل إلى 9.2 من 10، وتكمن خطورتهما في وجودهما داخل «PHP» نفسها، وليس في تطبيق أو إضافة معينة تعمل فوقها.

الذكاء الاصطناعي يُسهِم في اكتشاف الثغرتين

اكتشف الثغرتين عدةُ فرق أمنية بشكل مستقل، من بينها شركة «كاليف» وفريق «ويز ريسيرش»، ثم جرى التنسيق مع فريق تطوير «PHP» وشركة «أوبن إيه آي» لمعالجتهما.

وبدأت «كاليف» فحص «PHP» في نهاية يوليو (تموز) 2026، قبل أن تكشف في أغسطس (آب) عن ثغرة تسمح بتنفيذ أوامر عن بُعد. وفي الفترة نفسها، توصلت «أوبن إيه آي» و«ويز» إلى نتائج مرتبطة بالمشكلة وطرق إضافية لاستغلالها.

وكان للذكاء الاصطناعي دور بارز في الاكتشاف، إذ استخدم الباحثون نماذج وأدوات من «أوبن إيه آي» و«غوغل» للمساعدة في تحليل الثغرات واختبار طرق استغلالها والإصلاحات المقترحة.

واللافت أن بعض الأخطاء المسببة لهذه الثغرات كانت موجودة داخل «PHP» منذ أكثر من عشر سنوات، لكن صعوبة استغلالها أخفت خطورتها لفترة طويلة، قبل أن تساعد أدوات الذكاء الاصطناعي الحديثة الباحثين على كشفها بشكل أعمق.

ماذا يستطيع المهاجم فعله؟

الخطر لا يقتصر على تعطيل الموقع، إذ قد تسمح الثغرات بتنفيذ أوامر على الخادم من دون تسجيل الدخول، ما قد يمنح المهاجم القدرة على الوصول إلى أجزاء حساسة من النظام والسيطرة عليها بحسب إعدادات الخادم والصلاحيات المتاحة.

وفي الاختبارات العملية، نجح الباحثون في تنفيذ هجمات على بيئات تستخدم «WordPress» و«Drupal» و«Joomla» مع التأكيد أن المشكلة ليست موجودة في هذه الأنظمة نفسها، وإنما في «PHP» التي تعمل تحتها. وحتى تطبيق «PHP» بسيط قد يكون معرضاً إذا كان يعمل على إصدار متأثر.

كما أظهر الباحثون إمكانية قراءة بيانات حساسة مباشرة من ذاكرة «PHP»، ومن بينها كلمات المرور والرموز الأمنية ومفاتيح «API» حتى في بعض الحالات التي لا يصل فيها المهاجم إلى مرحلة السيطرة الكاملة على الخادم.

وقد يؤدي الاستغلال الناجح، بحسب طبيعة الموقع وإعدادات الخادم، إلى سرقة البيانات، والعبث بالموقع أو تغيير محتواه، والوصول إلى معلومات المستخدمين، وسرقة مفاتيح الخدمات والرموز الأمنية، أو تنفيذ أوامر داخل الخادم.

وتؤثر المشكلة في عدد من بيئات تشغيل «PHP» الشائعة، من بينها «PHP-FPM» و«php-cgi» و«FrankenPHP» و«LiteSpeed» و«Apache mod_php»، بينما يعتبر فريق «PHP» أن الخطورة أعلى في بيئة «mod_php».

تحديثات أمنية عاجلة

أصدر فريق «PHP» تحديثات أمنية لمعالجة الثغرتين، وتشمل «PHP 8.5.12» و«PHP 8.4.2» و«PHP 8.3.36» و«PHP 8.2.35»، داعياً جميع المستخدمين إلى التحديث فوراً.

وأكد الفريق أن الحل الكامل هو تثبيت التحديث الأمني الجديد، وأن الإجراءات المؤقتة يمكنها تقليل بعض مسارات الهجوم لكنها لا توفر حماية كاملة.

أما الأنظمة التي لا تزال تعمل بإصدار «PHP 8.1» أو أقدم، فلم تعد تحصل على تحديثات أمنية اعتيادية مباشرة من مشروع «PHP»، رغم توفير بعض الإصلاحات المحدودة للإصدارات القديمة ومواصلة بعض مزودي أنظمة التشغيل والدعم طويل الأجل تقديم تحديثاتهم الخاصة.

ولا تعني حماية الموقع في هذه الحالة مجرد تحديث «ووردبريس» أو القوالب والإضافات؛ لأن أصل المشكلة موجود داخل «PHP» نفسها. لذلك يحتاج أصحاب المواقع إلى التأكد من إصدار «PHP» المستخدم على الخادم، سواء من خلال لوحة الاستضافة أو عبر شركة الاستضافة ومسؤول النظام.


تطبيق يختصر تحويل وتعديل الملفات إلى خطوات بسيطة

تحويل وتعديل الملفات مباشرة أثناء سحبها على «ماك»
تحويل وتعديل الملفات مباشرة أثناء سحبها على «ماك»
TT

تطبيق يختصر تحويل وتعديل الملفات إلى خطوات بسيطة

تحويل وتعديل الملفات مباشرة أثناء سحبها على «ماك»
تحويل وتعديل الملفات مباشرة أثناء سحبها على «ماك»

يقدم تطبيق «Tangerine» على أجهزة «ماك» العاملة بنظام «macOS» مفهوماً مختلفاً للتعامل مع الملفات، إذ ينقل أدوات التحويل والتعديل إلى مؤشر المستخدم مباشرة، بما يسمح بتحويل الصور والفيديو والمستندات أو إجراء تعديلات عليها أثناء سحب الملف، من دون الحاجة إلى فتح برنامج منفصل أو رفعه إلى أحد مواقع التحويل عبر الإنترنت.

وتقوم فكرة التطبيق على اختصار سلسلة من الخطوات المعتادة. فبدلاً من فتح برنامج، ثم استيراد الملف، واختيار الصيغة المطلوبة وتصديره من جديد، يكفي سحب الملف والضغط على أحد أزرار لوحة المفاتيح لإظهار الأدوات المناسبة حول المؤشر، ثم اختيار الأداة المطلوبة مباشرة.

ثلاثة أزرار تفتح أدوات التطبيق

عند سحب الملف والضغط على زر «Shift» في لوحة المفاتيح، تظهر قائمة بالصيغ التي يمكن التحويل إليها، بينما يفتح زر «Command» أدوات التعديل المتوافقة مع نوع الملف.

أما زر «Control» فيوفر إجراءات مرتبطة بإدارة الملفات، من بينها الإرسال عبر خاصية «AirDrop»، ونسخ الملف أو نقله، ونسخ مساره، وفتح موقعه عبر «Terminal»، إضافة إلى ميزة «Float» التي تتيح الاحتفاظ بالملف في مساحة عائمة مؤقتة على الشاشة.

أدوات سريعة لتحويل الصور والفيديو والصوت والمستندات

تحويل بين 275 صيغة ومساراً

يوفر التطبيق 275 خياراً للتحويل بين أنواع مختلفة من الملفات، تشمل الصور والفيديو والصوت وملفات PDF والمستندات والعروض التقديمية وجداول البيانات والترجمات والملفات المضغوطة.

ويدعم في الصور صيغاً مثل JPG وPNG وWebP وHEIC وTIFF وAVIF، بينما تشمل صيغ الفيديو MP4 وMOV وMKV وWebM وAVI، إلى جانب عدد من صيغ الصوت والمستندات.

كما يمكن تحويل ملفات PDF إلى صيغ من بينها Word وPowerPoint وExcel وJPG وPNG وEPUB والنصوص.

أكثر من 26 أداة إضافية

ولا تقتصر وظيفة التطبيق على تغيير الصيغ، إذ يضم 26 أداة متقدمة لمعالجة الملفات، تشمل ضغط الصور والملفات، وتعديل البيانات الوصفية، وقص الصور وتحسينها وإضافة الشروحات إليها، وإنشاء الصور المجمعة وحجب الوجوه أو النصوص الحساسة.

وبالنسبة إلى الفيديو، يتيح التطبيق القص وتغيير الأبعاد والسرعة ودمج المقاطع وتقسيمها واستخراج إطارات ثابتة منها، إضافة إلى حجب أجزاء حساسة داخل الفيديو.

ويضم كذلك أدوات لمعالجة الصوت، من بينها ضبط مستوى الصوت وقص التسجيلات وتحويل القنوات الصوتية وحجب أجزاء منها، إلى جانب أدوات لدمج ملفات PDF وإعادة ترتيب صفحاتها.

ميزة «Float» تضع الملفات في رف عائم بجوار أدوات التعديل

معالجة محلية تحافظ على الخصوصية

وتبرز الخصوصية بوصفها إحدى النقاط الرئيسية في «Tangerine»، إذ تتم عمليات التحويل والتعديل محلياً على الجهاز من دون رفع الملفات إلى خوادم خارجية، مع إنشاء نسخة جديدة بعد المعالجة والإبقاء على الملف الأصلي دون تغيير.

ويعمل التطبيق على أجهزة «ماك» بسعر 29.99 دولار أميركي بعملية شراء لمرة واحدة، مع تجربة مجانية محدودة تتيح تنفيذ ما يصل إلى 20 عملية تحويل قبل الشراء.

وبذلك يقدم «Tangerine» فكرة بسيطة وعملية لاختصار خطوات التعامل مع الملفات وتحويلها وتعديلها مباشرة من مكانها، مع الحفاظ على الخصوصية وتقليل الاعتماد على البرامج والخدمات الخارجية.