رصد آلاف الثغرات في برامج الذكاء الاصطناعي الشائعة

محتوى جنسي وعنيف وإنتاج أسلحة محرمة دولياً

رصد آلاف الثغرات في برامج الذكاء الاصطناعي الشائعة
TT

رصد آلاف الثغرات في برامج الذكاء الاصطناعي الشائعة

رصد آلاف الثغرات في برامج الذكاء الاصطناعي الشائعة

تقول شركة ناشئة في مجال الذكاء الاصطناعي إن اختباراتها وجدت أن برامج الذكاء الاصطناعي التوليدية الشهيرة أنتجت محتوىً عنيفاً أو جنسياً، وإنها أيضاً سمحت بأتمتة الهجمات الإلكترونية.

محتوى جنسي وأسلحة كيميائية

وقالت شركة «هايز لابز (Haize Labs)» إنها عثرت على الآلاف من نقاط الضعف في برامج الذكاء الاصطناعي التوليدية الشهيرة، وأصدرت قائمة باكتشافاتها.

بعد اختبار برامج الذكاء الاصطناعي التوليدية الشائعة؛ بما فيها برنامج إنشاء الفيديو «Pika»، وبرنامج «ChatGPT» الذي يركز على النصوص، ومولد الصور «Dall-E»، ونظام الذكاء الاصطناعي الذي يولد رموز الكومبيوتر، اكتشفت «هايز لابز» أن كثيراً من الأدوات المعروفة تنتج محتوىً عنيفاً أو جنسياً، كما أنها وجهت مستخدميها إلى معلومات حول إنتاج أسلحة كيميائية وبيولوجية، وسمحت بأتمتة الهجمات السيبرانية.

و«هايز لابز» شركة ناشئة صغيرة عمرها 5 أشهر فقط أسسها ليونارد تانغ وستيف لي وريتشارد ليو، وهم 3 من الخريجين الجدد الذين التقوا جميعاً في الكلية. ونشروا بشكل جماعي 15 ورقة بحثية حول التعلم الآلي خلال وجودهم في الكلية.

ووصف تانغ تقرير «هايز» بأنه «اختبار إجهاد مستقل من طرف ثالث»، وقال إن هدف شركته هو المساعدة في استئصال مشكلات الذكاء الاصطناعي ونقاط الضعف على نطاق واسع.

معايير السلامة للذكاء الاصطناعي

وفي إشارة إلى إحدى كبريات شركات تصنيف السندات على سبيل المقارنة، قال تانغ إن «هايز» تأمل في أن تصبح «وكالة موديز للذكاء الاصطناعي» التي تحدد تصنيفات السلامة العامة للنماذج الشعبية.

تعدّ سلامة الذكاء الاصطناعي مصدر قلق مزداد؛ حيث تدمج مزيد من الشركات الذكاء الاصطناعي التوليدي في عروضها وتستخدم نماذج لغوية كبيرة في المنتجات الاستهلاكية.

أجوبة «خرافية»

وفي الشهر الماضي، واجهت «غوغل» انتقادات حادة بعد أن اقترحت أداتها التجريبية «AI Overviews»، التي تهدف إلى الإجابة عن أسئلة المستخدمين، أنشطة خطرة مثل تناول صخرة صغيرة واحدة يومياً أو إضافة الغراء إلى البيتزا.

وفي شهر فبراير (شباط) الماضي، تعرضت «شركة طيران كندا» لانتقادات شديدة عندما وعد برنامج الدردشة الآلي الخاص بها؛ المزود بتقنية الذكاء الاصطناعي، بخصم وهمي لأحد المسافرين. وقد دعا مراقبو الصناعة إلى إيجاد طرق أفضل لتقييم مخاطر أدوات الذكاء الاصطناعي.

«مع انتشار أنظمة الذكاء الاصطناعي على نطاق واسع، فسنحتاج إلى مجموعة أكبر من المؤسسات لاختبار قدراتها ومدى إساءة الاستخدام المحتملة أو مشكلات السلامة»؛ وفق ما نشر جاك كلارك، المؤسس المشارك لـ«شركة أبحاث الذكاء الاصطناعي والسلامة (أنثروبيك Anthropic)»، مؤخراً على موقع «إكسX».

برامج توليدية غير آمنة

وقال تانغ: «ما تعلمناه هو أنه على الرغم من كل جهود السلامة التي بذلتها هذه الشركات الكبرى والمختبرات الصناعية، فإنه لا يزال من السهل للغاية إقناع هذه النماذج بفعل أشياء ليس من المفترض أن تفعلها... إنها ليست آمنة».

ويعمل اختبار «هايز» على ممارسة محاكاة الإجراءات العدائية لتحديد نقاط الضعف في نظام الذكاء الاصطناعي. وقال غراهام نيوبيج، الأستاذ المشارك في علوم الكومبيوتر بـ«جامعة كارنيغي ميلون»، إن صناعة الذكاء الاصطناعي تحتاج إلى كيان مستقل للسلامة. وأضاف: «أدوات السلامة الخاصة بالذكاء الاصطناعي التابعة لجهات خارجية مسألة مهمة... إنها يجب أن تكون عادلة ومحايدة على حد سواء. كما يمكن أن تتمتع أداة الأمان التابعة لجهة خارجية بأداء أعلى فيما يتعلق بالتدقيق؛ لأنها أُنشئت بواسطة مؤسسة مختصة في ذلك، على عكس بناء كل شركة أدواتها المختصة».

استئصال الثغرات

وقالت «هايز» إنها أبلغت صانعي أدوات الذكاء الاصطناعي التي اختُبرت بشكل استباقي بنقاط الضعف، ودخلت الشركة الناشئة في شراكة مع «أنثروبيك» لاختبار الإجهاد لمنتج خوارزمي لم يُطرح بعد. وقال تانغ إن استئصال نقاط الضعف في منصات الذكاء الاصطناعي من خلال الأنظمة الآلية أمر بالغ الأهمية؛ «لأن اكتشاف المشكلات يدوياً يستغرق وقتاً طويلاً ويعرض أولئك الذين يعملون في الإشراف على المحتوى لمحتوى عنيف ومزعج».

بعض المحتوى الذي اكتُشف عبر مراجعة «هايز» أدوات الذكاء الاصطناعي التوليدية الشائعة يتضمن صوراً ونصوصاً مروعة ورسومية. وقال تانغ: «كان هناك كثير من الحديث حول مشكلات السلامة التي تسيطر على العالم من خلال الذكاء الاصطناعي... أعتقد أنها مهمة، لكن المشكلة الكبرى هي إساءة استخدام الذكاء الاصطناعي على المدى القصير».

* مجلة «فاست كومباني» - خدمات «تريبيون ميديا»


مقالات ذات صلة

شركات الذكاء الاصطناعي التوليدي تلجأ إلى الكتب لتطوّر برامجها

تكنولوجيا شركات الذكاء الاصطناعي تتفق مع دور النشر بما يتيح لهذه الشركات استخدام الأعمال المنشورة لتدريب نماذجها القائمة على الذكاء الاصطناعي التوليدي (رويترز)

شركات الذكاء الاصطناعي التوليدي تلجأ إلى الكتب لتطوّر برامجها

مع ازدياد احتياجات الذكاء الاصطناعي التوليدي، بدأت أوساط قطاع النشر هي الأخرى في التفاوض مع المنصات التي توفر هذه التقنية سعياً إلى حماية حقوق المؤلفين.

«الشرق الأوسط» (باريس)
الاقتصاد بورصة نيويورك للأوراق المالية (وكالة حماية البيئة)

هيمنة الأسهم الأميركية تزداد قوة مع فوز ترمب

تواصل الأسهم الأميركية تعزيز تفوقها على منافسيها العالميين، ويعتقد العديد من المستثمرين أن هذه الهيمنة قد تزداد إذا تمكن دونالد ترمب من تنفيذ برنامجه.

«الشرق الأوسط» (نيويورك)
تكنولوجيا يستعرض مؤتمر «مايكروسوفت إغنايت 2024» أبرز تقنيات الذكاء الاصطناعي المقبلة

مؤتمر «مايكروسوفت إغنايت 2024» يكشف عن أبرز نزعات الذكاء الاصطناعي المقبلة

إطلاق أكبر مشروع للأمن الرقمي بتاريخ البشرية لمواجهة أكثر من 7000 هجمة في الثانية.

خلدون غسان سعيد (جدة)
الاقتصاد علم شركة «إنفيديا» على الحرم الجامعي في سانتا كلارا بكاليفورنيا (إ.ب.أ)

بالأرقام... كيف أصبحت «إنفيديا» الشركة الأكثر قيمة في العالم؟

حققت «إنفيديا» مرة أخرى نتائج ربع سنوية تجاوزت توقعات «وول ستريت».

«الشرق الأوسط» (نيويورك)
الاقتصاد شاشة تسجيل الوصول في مكتب «إنفيديا» في أوستن بتكساس (أ.ف.ب)

«إنفيديا» تتفوق على توقعات الأرباح مع ترقب المستثمرين للطلب على رقائق «بلاكويل» للذكاء الاصطناعي

أعلنت شركة «إنفيديا»، يوم الأربعاء، عن زيادة في أرباحها ومبيعاتها في الربع الثالث مع استمرار الطلب على رقائق الكمبيوتر المتخصصة.

«الشرق الأوسط» (نيويورك)

برامج للتحكّم بأسراب الطائرات من دون طيار الضخمة

برامج للتحكّم بأسراب الطائرات من دون طيار الضخمة
TT

برامج للتحكّم بأسراب الطائرات من دون طيار الضخمة

برامج للتحكّم بأسراب الطائرات من دون طيار الضخمة

أعلنت وحدة الابتكارات الدفاعية، التابعة لوزارة الدفاع الأميركية، أن ثلاث شركات ستُنتج برامج نموذجية للتحكم في أسراب الطائرات من دون طيار (الدرون) الضخمة التي تطوّرها حالياً مجموعة مبادرة «ربليكيتر» Replicator للإنتاج السريع.

تنسيق آلي لطائرات «الدرون»

وقالت الوحدة، في بيان لها، الأربعاء، إن العقود الممنوحة لشركات «Anduril Industries»، و«L3Harris Technologies»، و«Swarm Aero» هي جزء من جهودها التي تسعى إلى «التنسيق الآلي لأسراب من مئات أو آلاف الأصول غير المأهولة عبر مجالات متعددة».

وكانت نائبة مدير وحدة الابتكارات الدفاعية للاستراتيجية والسياسة والشراكات الأمنية الوطنية، أديتي كومار، قالت في وقت سابق من هذا الشهر في حديث مع «ديفنس وان» إنه في حين تحظى أجهزة «ربليكيتر» بالكثير من الاهتمام، فإن برنامجها مهم بالقدر نفسه. وأضافت أن الجدول الزمني القصير لوحدة الدفاع الجوي لاختبار منصات وبرامج تكامل الطائرات دون طيار الجديدة يشكّل تحدياً آخر.

هياكل مملوكة للحكومة

وتابعت أديتي كومار: «نحن نشتري هذه القدرة بشكل مستقل عن أنظمة الأجهزة، وبالتالي نحتاج إلى أن نكون قادرين على الحصول على هياكل مفتوحة، وهياكل مملوكة للحكومة؛ لضمان أن البرنامج الذي نحضره تجري ترقيته ثم دمجه في جميع أنواع أنظمة الأجهزة التي قد تتطلّب بعد ذلك إصلاحات الأجهزة الخاصة بها لتمكين ذلك».

اختبارات ميدانية متكاملة

وكانت منصة «لاتيس» Lattice من شركة «أندوريل» Anduril واحدة من الجهات الفائزة. وقالت الشركة، في بيان، إنها أكملت مجموعة متنوعة من الاختبارات في العالم الحقيقي مع الشركاء العسكريين:

* تمرين «مسائل المعارك المتكاملة 24.1»، Integrated Battle Problem 24.1 لأسطول المحيط الهادئ الأميركي؛ حيث استخدم مشغلو البحرية منصة «لاتيس» لدمج أكثر من اثني عشر نظاماً غير مأهول وموجزات بيانات.

* «حارس الصحراء 1.0» Desert Guardian 1.0، البرنامج التابع للقيادة المركزية الأميركية هو أيضاً من الأمثلة الأخرى؛ حيث دمجت الشركة 10 فرق استشعار مختلفة في «لاتيس»، كما دمجت تبادل البيانات في الوقت الفعلي، ونفّذت الاندماج وتعيين المهام عبر أنظمة استشعار متنوعة للكشف بشكل أسرع عن التهديدات المحمولة جواً وغيرها.

* اختبار «الحافة 23» EDGE23 للجيش، سمحت «لاتيس» لجندي واحد «بإدارة فريق متكامل من الطائرات غير المأهولة المتعددة لتحديد موقع صاروخ أرض - جو وتحديده وتدميره».

كما منحت وحدة الابتكارات الدفاعية عقوداً إلى شركات، بهدف تطوير نظم لضمان الاتصالات للطائرات دون طيار في بيئة حرب كهرومغناطيسية ثقيلة.

هل يمنع «ربليكيتر» الحرب العالمية الثالثة؟

أطلقت وزارة الدفاع «ربليكيتر» Replicator خصوصاً لردع العمل العسكري الصيني في المحيط الهادئ. وفي حدث لمؤسسة بالاس يوم الأربعاء، ناقش رئيس القيادة البحرية الأميركية في المحيط الهادئ، الأدميرال سام بابارو، الدور الذي يمكن أن تلعبه الأنظمة المستقلة في الردع؛ أي مثل الدور الذي تقدمه الطائرات من دون طيار البحرية الأوكرانية في البحر الأسود.

وقال بابارو: «لا يحتاج المرء في الواقع إلى تحقيق التفوّق الجوي والبحري الكامل على مساحة عندما يحاول الخصم الحصول عليها. ربما يحتاج المرء فقط إلى حرمان الطرف الآخر من ذلك، ويمكنه القيام بذلك بتكلفة منخفضة... لقد رأينا ذلك بالفعل في الممارسة العملية، وتعلمنا ذلك من أوكرانيا في البحر الأسود، حيث تم تدمير طرّاد (سلافا) وإغراقه -بواسطة طائرة من دون طيار بحرية أوكرانية- ومن المهم أن نتعلّم هذا الدرس من ذلك ومن البحر الأسود».

مهمات الردع والهجوم

كما أوضح بابارو كيف يمكنه استخدام مستويات مختلفة من الاستقلالية لمهام مختلفة بصفتها جزءاً من جهود الردع هذه. وقال إنه بالنسبة إلى المهام الهجومية، فإن الحفاظ على السيطرة البشرية أمر بالغ الأهمية. ولكن بالنسبة إلى الدفاع عن الأسطول، فإن مزيداً من الاستقلالية يمكن أن يساعد في تسريع وقت رد الفعل.

وأضاف: «على سبيل المثال، إذا كانت غارة من الصواريخ الباليستية تقترب من وحدتك، فهذا هو الوقت الذي قد ترغب فيه في تشغيل نظامك بالكامل، وحمل تلك الأسهم التي تُوجه نحوه من ناحية أخرى. أما إذا كنت تنفّذ هجوماً معقداً على نظام عدو، فهذه هي الحالة التي قد ترغب فيها في القيام بذلك بحذر شديد، لأنك بذلك تقتل أرواحاً».

* مجلة «ديفنس وان»: خدمات «تريبيون ميديا».