هل سبق لك أن كنتَ في منتصف سرد قصة لشخص ما أو كنت تحاول جاهداً شرح موضوع معقد، وفجأة ينظر إليك الشخص الآخر ويسأل: «ما الهدف؟» يمكننا هنا أن نرى أن هذا الشخص ربما يكون مشغولاً، ويريد فقط إجابة سريعة ودقيقة. وهذا هو جوهر مفهوم تقليل أو تقليص الأبعاد عند مواجهة كثير من البيانات، من أجل الوصول إلى الهدف أو المعلومة الدقيقة.
في عالم البيانات الضخمة اليوم، يشير مصطلح «لعنة الأبعاد» إلى مجموعة من المشكلات التي تنشأ عند التعامل مع البيانات عالية الأبعاد (أي تلك التي تحتوي على عدد كبير من السمات أو الملاحظات).
والصعوبات التي تأتي مع البيانات عالية الأبعاد عادة ما تظهر أثناء تحليل البيانات أو تصورها لتحديد الأنماط، وأيضاً تظهر أثناء تدريب نماذج التعلم الآلي، التحليل العددي، أخذ العينات، التوافقية، استخراج البيانات وقواعد البيانات. صاغ هذا المصطلح عالم الرياضيات التطبيقي الأميركي ريتشارد بيلمان (1984 - 1920) لوصف المشكلة الناجمة عن الزيادة الأسية في الحجم المرتبط بدوره بإضافة «أبعاد إضافية» إلى الفضاء الرياضي.
تنبؤات موثوقة
يعد التنبؤ لما سيحدث غداً من مشكلات وما يستجد من مخاطر ومهددات ركناً أساسياً من أركان التخطيط السليم للمستقبل، وفي هذا الاتجاه طوَّر فريق بحثي بقيادة جامعة الملك عبد الله للعلوم والتقنية (كاوست) مخططاً للتنبؤ، يمكن أن يتنبأ بالمسار المستقبلي للمَعلمات البيئية (خاصية متغيرة وقابلة للقياس تعتبر قيمتها عاملاً محدداً لخصائص نظام بيئي) بشكل أكثر موثوقية. وساعدهم على ذلك مسح البيانات السابقة لكل من التطابقات الجزئية والكاملة، مع الاستعانة بالملاحظات الحالية.
وتعد عملية جمع البيانات على فترات منتظمة بمرور الوقت أمراً شائعاً في كثير من المجالات، لكنها واسعة الانتشار بشكل خاص في مجالات البيئة والنقل والبحوث البيولوجية، إذ تنبع أهمية هذه البيانات من استخدامها لمراقبة الحالة الراهنة وتسجيلها، وكذلك للمساعدة في التنبؤ بما قد يأتي في المستقبل.
تتمثل الطريقة الحالية لاستخدام هذه البيانات في البحث عن الأنماط أو المسارات السابقة في البيانات التي تتطابق مع المسار الحالي. لكن بشكل عملي لا توجد أي مطابقات كاملة على الإطلاق، وبالتالي يتعين على المتنبئ العثور على إطارات زمنية أصغر فأصغر في البيانات السابقة التي توفر تطابقاً جزئياً. وهو ما ينتج عنه فقدان السياق، وفقدان أي اتجاهات أكثر اتساعاً كانت لتعطي تنبؤاً أفضل، إضافة إلى احتمالية استقطاب ضجيج أو تشوش عشوائي.
تنبؤ وظيفي
يقول البروفسور هيرناندو أومباو، أستاذ الرياضيات التطبيقية والعلوم الحاسوبية بجامعة الملك عبد الله للعلوم والتقنية (كاوست): «إن التنبؤ بمسارات السلاسل الزمنية المستقبلية هو التحدي بعينه، نظراً لأن المسارات تتكون من كثير من الملاحظات المتسلسلة أو (الأبعاد)؛ ما يقلل من نجاح مناهج التنبؤ متعدد المتغيرات، وتُعرف هذه المشكلة بـ(لعنة الأبعاد)».
في سبيل التغلب على هذا التحدي، طوَّر الدكتور شيوهاو جياو، باحث ما بعد الدكتوراه في «كاوست»، طريقة تسمى التنبؤ الوظيفي الجزئي (PFP)، تقوم على دمج المعلومات من جميع المسارات السابقة الكاملة والجزئية. ويستخدم هذا النهج المُحسَّن جميع البيانات المتاحة؛ حيث يلتقط كلاً من الاتجاهات طويلة المدى والمسارات الجزئية المتطابقة جيداً.
يوضح جياو: «من خلال تسوية المسارات، يمكننا تحويل (لعنة الأبعاد) إلى نعمة عن طريق التقاط الصورة الكبيرة للمعلومات الديناميكية للمسارات». ويردف قائلاً: «تتضمن طريقتنا نهجاً لم تحققه الطرق السابقة؛ حيث يقوم بدمج كل من معلومات الاعتماد عبر المسارات وداخلها».
علاوةً على ذلك، يتضمن النهج إجراءً يتم بشكل تدريجي، حيث يتم تحليل البيانات أولاً لمسارات كاملة أطول، ومن ثَمّ يتم استخراج المكونات الجزئية «المتبقية»، واعتبارها أجزاءً مستقلة عن الاتجاهات السابقة، وأي شيء متبقٍ يتم تركه للضجيج العشوائي. وبعدها يتم تطبيق الخطوات الثلاث على نافذة التنبؤ.
تعاون فريق البحث مع البروفسور ألكسندر أوي، من جامعة كاليفورنيا؛ حيث تم تطبيق طريقة الباحثين هناك في التنبؤ بالجسيمات الدقيقة في الهواء وتدفق حركة المرور، وبيّنوا أن طريقة التنبؤ الوظيفي الجزئي (PFP) أعطت تنبؤات أكثر دقة بكثير من الطرق الحالية، خاصةً التنبؤات طويلة المدى. يقول أومباو: «تشير طريقتنا إلى إمكانية تحقيق تحسُّن واضح في التنبؤ بالمسارات المستقبلية، من خلال دمج معلومات التبعية داخل المسارات وعبرها».