نظارات ذكية قادرة على قراءة حركة الشفاه

تتعرف على 31 حرفاً و10 أرقام

نظارات ذكية قادرة على قراءة حركة الشفاه
TT

نظارات ذكية قادرة على قراءة حركة الشفاه

نظارات ذكية قادرة على قراءة حركة الشفاه

في معظم حالات قراءة حركة الشفاه، تعتمد التجارب على شخص يقرأ حركة شفتي شخصٍ آخر، أو في حالة برامج قراءة الشفتين كـ«ليب نت» LipNet و«ليوبوا» Liopa، يتولّى الذكاء الصناعي قراءة شفتي كائنٍ بشري بواسطة تطبيق هاتفي.

ولكنّ مختبر «وسائط الكومبيوتر الذكية للتفاعلات المستقبلية» التّابع لجامعة كورنيل يخوض اليوم نوعاً مختلفاً من التجارب في هذا المجال.

نظارة ذكية

طوّر فريقٌ من الباحثين نظاماً للتعرّف على الكلام لقراءة الشفتين قادراً على تعريف 31 كلمة باللغة الإنجليزية. ولكنّ النظام الذي يحمل اسم «إيكو سبيتش» EchoSpeech، يأتي على شكل نظارات تقليدية وليس تطبيقاً هاتفياً. تفيد ورقة بحثية جديدة بأنّ النظارة (التي يمكن شراؤها من دون وصفة طبية) تستطيع قراءة شفتي المستخدم نفسه ومساعدة الأشخاص العاجزين عن الكلام على أداء مهام أساسية كفتح قفل الهاتف أو توجيه أي أمرٍ لمساعد «سيري» دون إصدار صوت. قد يبدو لكم الأمر أشبه بالتحريك العقلي ولكنّ هذه النظّارة المجهّزة بميكروفونين، ومكبرين للصوت، وجهاز ضبط مصغّر، تعتمد في الحقيقة على السونار (تقنية انتشار الصوت).

يستخدم حوالي ألف نوعٍ حيّ السونار للصيد والاستمرار على قيد الحياة، ولعلّ الحيتان هي أشهر هذه الأنواع، كونها قادرة على إرسال نبضات صوتية تثب من جسمٍ إلى آخر في المياه، ومن ثمّ ترتدّ إلى الحوت ليستطيع معالجة هذه الأصداء وتكوين صورة عقلية للبيئة المحيطة وأحجام الأجسام التي تتحرّك فيها والمسافات التي تفصله عنها.

تعمل نظاّرات «إيكو سبيتش» بطريقة مشابهة باستثناء أنّ نظامها لا يركّز على المسافة بل يتابع حركة الموجات الصوتية (غير المسموعة بالأذن البشرية) في الوجه وكيف تظهر في مختلف أجزائه. يتلخّص عمل النظارة بأربع خطوات أساسية.

في الأولى، تصدر المكبرات الصوتية الصغيرة (المثبّتة في جهة واحدة من النظارة) الموجات الصوتية. ومع تحريك المرتدي لشفتيه للفظ كلمات مختلفة، تتنقل الموجات الصوتية في أنحاء وجهه وتظهر على «مفاصل» مختلفة كالشفتين، والفكّ، والخدّين. بعدها، تلتقط الميكروفونات (المثبّتة في الجهة الأخرى من النظارة) هذه الموجات الصوتية، ومن ثمّ يعالج جهاز الضبط المصغّر هذه الموجات مجتمعة بمساعدة أي جهاز متزاوج مع النظارة.

قراءة الشفاه

ولكن كيف يعرف النظام أنّه عليه تعيين كلمة محدّدة لحركة وجه معيّنة؟ هنا، استخدم الباحثون نوعاً من الذكاء الصناعي يُعرف بخوارزمية التعلّم العميق التي تلقّن الكومبيوتر معالجة البيانات على طريقة الدماغ البشري. يقول رويدونغ زانغ، الباحث الرئيسي في الدراسة: «البشر أذكياء. إذا درّبتم أنفسكم بالدرجة الكافية، يمكنكم النظر إلى فم أي شخص وفهم محتوى كلامه دون سماع أي صوت».

استخدم الفريق البحثي مقاربة مشابهة، ولكن بدل الاعتماد على كائن بشري آخر لفهم محتوى الخطاب، اعتمد الباحثون على نموذج ذكاء صناعي مدرّب سابقاً على التعرّف على بعض الكلمات ومطابقتها لـ«ملفّ الصدى» في وجه أحدهم. لتدريب الذكاء الصناعي، طلب الفريق من 24 شخصاً تكرار مجموعة من الكلمات أثناء ارتداء النظارة أكثر من مرّة غير متتالية.

تعمل «إيكو سبيتش» حتّى اليوم بمفردات طفلٍ صغير وتستطيع التعرّف على 10 أرقام، وفهم الاتجاهات كـ«فوق» و«تحت» و«يسار» و«يمين»، التي يمكن استخدامها، بحسب زانغ، لرسم خطوط في برنامج كومبيوتر مساعد. علاوة على ذلك، تستطيع النظارة تشغيل مساعدين صوتيين كأليكسا، وغوغل، وسيري، أو الاتصال بأجهزة أخرى تعمل بالبلوتوث.

في اختبار أخير زاوج خلاله الفريق النظام مع جهاز آيباد، حقّقت النظارة دقّة بنسبة 95 في المائة، ولكنّها لا تزال تحتاج إلى المزيد من العمل لتحسين سهولة استخدامها. تحتاج «إيكو سبيتش» حالياً إلى التدريب في كلّ مرّة يرتديها شخصٌ مختلف، الأمر الذي قد يؤدي إلى إبطاء التقدّم بالتزامن مع تطوير النظام. ولكنّ الفريق يعتقد أنّ اتساع قاعدة المستخدمين إلى درجة كافية سيمكّن النموذج أخيراً من جمع بيانات أكثر، وتعلّم المزيد من أنماط الخطاب، وتطبيقها على الجميع.

يقول زانغ أخيراً إنّ عمل النظام بـ100 أو 200 مصطلح يجب ألّا يشكّل تحدّياً مع الذكاء الصناعي المتوفر حالياً، ولكنّ التوسّع بالمصطلحات سيحتاج إلى نموذج ذكاء صناعي أكثر تقدّماً، ما قد يشكّل ثقلاً على الأبحاث الحالية في مجال التعرّف على الخطاب.

*«فاست كومباني»

- خدمات تريبيون ميديا


مقالات ذات صلة

علاج ثوري جديد لقصور القلب... والتعافي غير مسبوق

صحتك دراسة جديدة تشير إلى إمكانية علاج مرض قصور القلب (ميديكال إكسبرس)

علاج ثوري جديد لقصور القلب... والتعافي غير مسبوق

تاريخياً، عُدَّت الإصابةُ بقصور القلب غير قابل للعكس، لكن نتائج دراسة جديدة تشير إلى أن هذا قد يتغير يوماً ما.

«الشرق الأوسط» (نيويورك)
يوميات الشرق التثاؤب يحدث عندما يكون الناس في حالة انتقالية مثلاً بين النوم والاستيقاظ (رويترز)

التثاؤب... هل يعني أن أدمغتنا لا تحصل على الأكسجين الكافي؟

يشعر معظمنا بقرب عملية التثاؤب. تبدأ عضلات الفك بالتقلص، وقد تتسع فتحتا الأنف، وقد تذرف أعيننا الدموع عندما ينفتح فمنا.

«الشرق الأوسط» (واشنطن)
يوميات الشرق الدعم المُرتكز على التعاطف مع المريض يعادل تناول الدواء (جامعة تكساس)

المكالمات الهاتفية المُرتكزة على التعاطف تُحسّن السيطرة على السكري

المكالمات الهاتفية المُرتكزة على التعاطف مع مرضى السكري من أفراد مدرّبين على القيام بذلك، أدَّت إلى تحسينات كبيرة في قدرتهم على التحكُّم في نسبة السكر بالدم.

«الشرق الأوسط» (القاهرة )
صحتك لا يستطيع بعضنا النوم في بعض الأحيان رغم شعورنا بالتعب والإرهاق الشديدين (رويترز)

لماذا لا يستطيع البعض النوم ليلاً رغم شعورهم بالتعب الشديد؟

أحياناً لا يستطيع بعضنا النوم رغم شعورنا بالتعب والإرهاق الشديدين، الأمر الذي يعود إلى سبب قد لا يخطر على بال أحد وهو الميكروبات الموجودة بأمعائنا.

«الشرق الأوسط» (لندن)
صحتك هناك 323 قارورة من فيروسات معدية متعددة اختفت من المختبر (أ.ف.ب)

اختفاء عينات فيروسات قاتلة من أحد المختبرات بأستراليا

أعلنت حكومة كوينزلاند، الاثنين، عن اختفاء مئات العينات من فيروسات قاتلة من أحد المختبرات في أستراليا.

«الشرق الأوسط» (سيدني)

«نيويورك تايمز» تتحدث عن محنة العلماء الفلسطينيين

صورة من جامعة «بيرزيت» لطلاب دراسة الفيزياء الفلكية
صورة من جامعة «بيرزيت» لطلاب دراسة الفيزياء الفلكية
TT

«نيويورك تايمز» تتحدث عن محنة العلماء الفلسطينيين

صورة من جامعة «بيرزيت» لطلاب دراسة الفيزياء الفلكية
صورة من جامعة «بيرزيت» لطلاب دراسة الفيزياء الفلكية

لعقود من الزمن كان السعي وراء مهنة علمية في الأراضي الفلسطينية محفوفاً بالمخاطر. ثم هاجمت «حماس» إسرائيل في 7 أكتوبر (تشرين الأول) 2023، مما أشعل حرباً في قطاع غزة مستمرة منذ أكثر من عام.

حوار مع علماء فلسطينيين

ومع قصف إسرائيل وغزو غزة في حملة للقضاء على «حماس»، تم تدمير المدارس واضطر الطلاب إلى مواصلة دراستهم عن بُعد أو وقفها تماماً. أما الأطباء فقد عملوا في ظروف متدهورة على نحو متزايد. وشعر الفلسطينيون خارج المنطقة أيضاً بآثار الحرب.

وقد تحدثت صحيفة «نيويورك تايمز» إلى أربعة فلسطينيين يعيشون في غزة والضفة الغربية والخارج، حول الصراع الذي يَلوح في الأفق بشأن أبحاثهم العلمية وعملهم الطبي: كما كتبت كاترينا ميلر(*).

د. أسيد السر

من فلسطين الداخل... نحو هارفارد

* أسيد السر (32 عاماً): في عام 1948، انتقلت عائلة الدكتور أسيد السر إلى غزة من حمامة، وهي قرية على أرض أصبحت الآن جزءاً من إسرائيل. وقال السر، وهو طبيب مقيم في الجراحة العامة وباحث في تكساس، إنه أكمل دراسته في كلية الطب في غزة عام 2016، ودرس في جامعة أكسفورد لبعض الوقت، ثم انتقل إلى جامعة هارفارد عام 2019 لإجراء بحث حول جراحة الصدمات الطارئة.

وقال إن الدراسة في أوروبا والولايات المتحدة تختلف عن الدراسة في غزة. فالوصول غير المحدود إلى الكهرباء والمياه والإنترنت أمر مفروغ منه، والسفر، في الغالب، غير مقيد. وقال: «كان هذا صادماً بالنسبة لي».

في غزة، اختار والدا السر مكان العيش بناءً على المكان الذي سيكون لديهم فيه وصول ثابت إلى الإنترنت، حتى يتمكن هو وإخوته من متابعة دراستهم. بالنسبة إلى الكهرباء، كان لديهم مولد للطاقة. وإذا نفد غازه، كانوا يعتمدون على الألواح الشمسية والشموع والبطاريات.

وتوفر الدراسة في الخارج مزيداً من الفرص. لفعل ذلك، كان على السر التقدم بطلب للحصول على تصاريح من الحكومات في إسرائيل ومصر والأردن وغزة. وقال إن العملية قد تستغرق شهوراً. واستغرق الأمر منه ثلاث محاولات للحصول على القبول في أكسفورد. تقدم بطلب للحصول على ما يقرب من 20 منحة دراسية وفاز بواحدة. ومع هارفارد، استمر في التقديم. وقال السر إن هذه المثابرة شيء تعلمه من العيش في غزة.

كان السر في تكساس في 7 أكتوبر 2023. لكنَّ عائلته عادت إلى منزلها في غزة، وتعيش بالقرب من مستشفى الشفاء. في العام الماضي، داهمت إسرائيل مستشفى الشفاء. ثم انتقلت عائلة السر المباشرة منذ ذلك الحين إلى الجنوب، ودُمرت منازلهم في غزة، كما قال، فيما كان يواصل تدريبه الطبي في تكساس.

د. وفاء خاطر

فيزيائية بجامعة بيرزيت

* وفاء خاطر (49 عاماً). نشأت وفاء خاطر في الضفة الغربية، وهي منطقة تقع غرب نهر الأردن تحتلها إسرائيل منذ عام 1967. ثم انتقلت إلى النرويج لمتابعة دراستها للدكتوراه في الفيزياء بجامعة بيرغن.

أتيحت لها الفرصة للبقاء في النرويج بشكل دائم، لكنها عادت إلى الضفة الغربية للتدريس في أوائل العقد الأول من القرن الحادي والعشرين، في أثناء الانتفاضة الفلسطينية الثانية ضد الاحتلال الإسرائيلي. تتذكر قائلةً: «قال لي جميع زملائي النرويجيين في ذلك الوقت: هل أنتِ مجنونة؟ لكنني قلت لهم: «هذا هو الوطن، وأنا في مهمة».

والآن، تعمل خاطر أستاذة في جامعة بيرزيت، وهي من أوائل الفلسطينيين الذين مارسوا مهنة دراسة طبيعة وسلوك الجسيمات دون الذرية. وقالت: «لم يتخيل كثير من الناس أبداً أن هناك علوماً توجد في فلسطين».

وأضافت أن غياب مجتمع بحثي صحي في الضفة الغربية المحتلة يحد من فرصها للتعاون العلمي، لذا فقد سعت إلى بناء شبكة. وقد دعت زملاء أوروبيين للتحدث في جامعات الضفة الغربية، ودفعت طلاب الفيزياء الفلسطينيين لحضور برامج بحثية صيفية في الخارج.

وقالت إن البحث النظري يمكن أن يزدهر في الضفة الغربية، لكنَّ «الفيزياء التجريبية ليست لها أي فرصة تقريباً». وأوضحت أن الجامعات تكافح لدفع ثمن المعدات والبنية الأساسية للمختبرات، وتعتمد على التبرعات.

مرصد جامعة بيرزيت

وقد افتُتح في عام 2015، وهو أحد المرافق الفلكية القليلة في الضفة الغربية. موَّله رامز حكيم، رجل أعمال فلسطيني - أمريكي. وقالت خاطر: «كانت هذه هي المرة الأولى التي يمكن فيها لطلابنا رؤية تلسكوب والنظر إلى السماء».

حتى عندما يتم تأمين التمويل، قد يكون من الصعب استيراد الأدوات التجريبية إلى الضفة الغربية وغزة، لأن بعض المعدات اللازمة للبحث يمكن استخدامها أيضاً لأغراض عسكرية. تصنف إسرائيل مثل هذه السلع على أنها «استخدام مزدوج» وتتطلب إذناً للمدنيين في الأراضي الفلسطينية لشرائها.

التدريس عن بُعد في الضفة الغربية

بعد هجوم 7 أكتوبر، بدأت خاطر وأعضاء هيئة التدريس الآخرون في جامعتها التدريس عن بُعد. وقالت إن زيادة نقاط التفتيش في الضفة الغربية، نتيجة للوجود العسكري الإسرائيلي المتزايد بعد هجوم «حماس»، جعلت من الصعب على الطلاب والأساتذة حضور الفصول الدراسية شخصياً. استؤنفت التدريس وجهاً لوجه بشكل محدود في الربيع الماضي. ولكن بعد ذلك في أكتوبر، بعد وقت قصير من شن إيران هجوماً صاروخياً على إسرائيل تسبب في سقوط الشظايا على الضفة الغربية، أعلنت بيرزيت أن واجبات التدريس والإدارة ستنتقل عبر الإنترنت من أجل السلامة.

أمضت خاطر الصيف في تدريس دورة فيزياء عبر الإنترنت للطلاب في قطاع غزة. وقالت إن تسعة عشر طالباً سجلوا، لكن أكثر من نصفهم تركوا الدراسة لأنهم يفتقرون إلى الكهرباء المستقرة أو الوصول إلى الإنترنت.

د. ضحى البرغوثي

طبيبة وابنة عالم في الفيزياء الفلكية

ضحى البرغوثي (25 عاماً). درست الدكتورة ضحى البرغوثي، وهي طبيبة باطنية في الضفة الغربية، الطب لمدة ست سنوات في جامعة القدس. أنهت عامها التدريبي أو التدريب بعد التخرج في أكتوبر من العام الماضي، قبل أسبوع واحد من اندلاع الحرب.

كان مستشفى «المقاصد» في القدس، حيث تدربت البرغوثي، على بُعد بضع دقائق فقط سيراً على الأقدام من منزلها. ولكن حتى قبل الحرب، كان عليها أن تغادر مبكراً لساعات للتنقل عبر نقاط التفتيش المطلوبة للوصول إلى العمل في الوقت المحدد. بعد 7 أكتوبر 2023، داهم جنود إسرائيليون مستشفى «المقاصد»، واعتقلوا المرضى من غزة وأقاربهم.

في أكتوبر الماضي، اعتُقل والد ضحى، عماد البرغوثي، وهو عالم فيزياء فلكية في جامعة القدس، ووُضع قيد الاعتقال الإداري، وهي ممارسة تُستخدم لاحتجاز الفلسطينيين دون توجيه اتهامات رسمية، للمرة الرابعة.

بعد اعتقاله الأول في عام 2015، منعته السلطات الإسرائيلية من مغادرة الضفة الغربية، وهو ما قالت ضحى البرغوثي إنه قيَّد فرصه في التعاون العلمي.

في بيان لصحيفة «نيويورك تايمز»، قال الجيش الإسرائيلي إن عماد البرغوثي اعتُقل بسبب شكوك في «العضوية والنشاط في جمعية غير قانونية، والتحريض والمشاركة في أنشطة تُعرِّض الأمن الإقليمي للخطر». فيما صرّح عالم الفيزياء الفلكية بأنه ليس منتمياً أو مؤيداً لـ«حماس».

بعد ستة أشهر من الاعتقال، أُطلق سراح والدها فيما وصفته البرغوثي بـ«ظروف صحية مروعة»، بما في ذلك فقدان الوزن الشديد، والاشتباه في كسر الأضلاع وتلف الأعصاب في أصابعه.

د. رامي مرجان (الى اليسار)

مركّبات جديدة مضادة للسرطان

* رامي مرجان (50 عاماً). وصف رامي مرجان، الكيميائي العضوي في الجامعة الإسلامية في غزة، حياته المهنية بأنها طريق مليء بالعقبات، حيث قضى سنوات في محاولة إنشاء مجموعة بحثية وقليل من الأدوات العلمية أو المواد الكيميائية التي يمكن استخدامها لإجراء تجارب متطورة. وكتب في نص لصحيفة «التايمز»: «ليست لدينا بنية أساسية للبحث».

يركز مرجان على إنشاء مركَّبات جديدة ذات تطبيقات محتملة في الأدوية المضادة للبكتيريا والفطريات والسرطان. وهو يستخدم التخليق متعدد الخطوات، وهي تقنية تخضع فيها المركّبات المبدئية لسلسلة من التفاعلات الكيميائية لتحويلها إلى المنتج النهائي المطلوب. تتطلب هذه العملية استخدام المذيبات والأجهزة لتحديد التركيب الكيميائي للمركب في كل خطوة، ولكن لأن كثيراً من هذه الأدوات تعدها إسرائيل معدات ذات استخدام مزدوج، فإن مرجان وزملاءه غير قادرين على أداء ذلك بشكل صحيح.

«غزة أجمل مكان في وطني»

تمكن مرجان من نشر بعض أعماله في المجلات الأكاديمية. لكنه قال إن نقص الموارد في غزة حدَّ من إنتاجه البحثي مقارنةً بأبحاث زملائه في الخارج.

وقد حصل على الدكتوراه من جامعة مانشستر في عام 2004، ثم عاد إلى غزة. وقال: «أردت أن أنقل الخبرة والمعرفة إلى شعبي». أجبره العنف على إخلاء منزله في مدينة غزة والانتقال إلى دير البلح، وهي مدينة في الجزء الأوسط من غزة تعرضت لإطلاق النار حيث استهدف الجيش الإسرائيلي ما قال إنها «مراكز قيادة وسيطرة» لـ«حماس» هناك.

واعترف مرجان بأن قراره العودة إلى القطاع منعه من تحقيق أحلامه في مهنة علمية. لكنه لم يندم على ذلك، وقال: «غزة هي أجمل مكان، وهي جزء صغير من وطني».

* خدمة «نيويورك تايمز»

اقرأ أيضاً