طلبة بجامعة «ميديلسكس» يبتكرون جهازاً يترجم لغة الإشارة إلى نصّ

ابتكر طلبة في جامعة «ميدلسكس» بدبي جهازاً ذكياً يتيح التواصل في الاتجاهين بين الصمّ وضعاف السمع والطبيعيين، عبر التعرف إلى تهجئة الأصابع بلغة الإشارة وتحويلها إلى نصّ، وفي الاتجاه المقابل تحويل الكلام بالإنجليزية إلى نصّ.
ويعتمد الجهاز على تقنية Raspberry Pi 5، ويحمل اسم Sign Bridge. كما يعمل بصورة مستقلة من دون الحاجة إلى الاتصال بالإنترنت أو إرسال التسجيلات الصوتية ومقاطع الفيديو إلى خدمات سحابية خارجية، بهدف الجمع بين سهولة الاستخدام وسرعة الاستجابة والحفاظ على خصوصية البيانات.
يأتي المشروع لمعالجة أحد التحديات التي تواجه الصمّ وضعاف السمع في مواقف الحياة اليومية، خصوصاً عندما لا تتوافر وسيلة تواصل مشتركة بينهم وبين السامعين، وهو تحدٍّ قد يصبح أكثر أهمية في بيئات مثل المؤسسات الصحية والتعليمية والخدمية.
ويركز جهاز SignBridge على توفير التواصل في الاتجاهين بدلاً من الاكتفاء بتحويل الكلام إلى نصّ أو ترجمة منفصلة للغة الإشارة، بما يسمح للطرفين بتبادل الرسائل باستخدام الجهاز نفسه.
وطوّر الطلبة خوارزمية مخصصة للتعرف إلى تهجئة الأصابع في لغة الإشارة الأمريكية، تعتمد على تحليل 72 نقطة وميزة مكانية لرصد العلاقات الدقيقة بين مواضع اليد والأصابع.

تكتسب هذه التفاصيل أهمية خاصة في التمييز بين الإشارات المتشابهة بصرياً، إذ يمكن لتغيير محدود في موضع أحد الأصابع أن يؤدي إلى اختلاف الحرف المقصود، كما يحدث في عدد من الحروف، من بينها M وN وS وT.
وحقق النظام خلال الاختبارات دقة بلغت 97.7% في التعرف إلى الإشارات، مع زمن استجابة فورية، وفق نتائج المشروع.

وخلال عملية التواصل، يستخدم Sign Bridge محرك Vosk لتحويل الكلام بالإنجليزية نصاً مكتوباً من دون اتصال بالإنترنت، وحقق هذا الجزء من النظام دقة 81.82% خلال الاختبارات.
ويسمح تشغيل العمليتين بالاستغناء عن الاعتماد المستمر على الخدمات السحابية، ما يقلل الحاجة إلى إرسال بيانات صوتية أو مرئية حساسة إلى خوادم خارجية.
وانتقل Sign Bridge خلال مراحل تطويره من نموذج أوّلي سهل قائم على لوحة تجارب إلكترونية إلى جهاز مستقل ومتكامل خضع لسلسلة من الاختبارات، مع التركيز على تحقيق التوازن بين دقة التعرف وسرعة الاستجابة وإمكانية تشغيل النظام على جهاز صغير.
ويعمل الطلبة حالياً على تطوير قدرات جهاز «Sign Bridge» لتتجاوز التعرف إلى تهجئة الحروف بالأصابع إلى فهم الكلمات والعبارات المتواصلة بلغة الإشارة، وهي خطوة توسّع نطاق استخدام التقنية في المحادثات اليومية.
كما تتضمن خطط التطوير تصغير حجم الجهاز وزيادة قابليته للحمل، تمهيداً لتحويله إلى أداة مساعدة يمكن استخدامها في مجموعة أوسع من المواقف، من المؤسسات التعليمية والخدمية إلى المرافق الصحية.
ويستهدف المشروع على المدى البعيد توفير وسيلة تواصل ثنائية الاتجاه أكثر سهولة واستقلالية، تقلل الاعتماد على الاتصال بالإنترنت والخدمات السحابية، وتساعد على تجاوز بعض عوائق التواصل بين الصم وضعاف السمع.