المهندسون يترجمون إشارات الدماغ مباشرة إلى الكلام

في علمية أولية ، ابتكر علمو الهندسة العصبية في كولومبيا نظامًا يترجم الفكر إلى خطاب واضح ومفهوم. من خلال مراقبة نشاط الدماغ لشخص ما ، يمكن للتكنولوجيا إعادة بناء الكلمات التي يسمعها الشخص بوضوح غير مسبوق. هذا الاختراق ، الذي يسخر قوة أجهزة النطق والذكاء الاصطناعي ، يمكن أن يؤدي إلى طرق جديدة لأجهزة الكمبيوتر للاتصال مباشرة مع الدماغ. كما أنه يرسي الأساس لمساعدة الأشخاص الذين لا يستطيعون الكلام ، مثل أولئك الذين يعيشون مع التصلب الجانبي الضموري (ALS) أو يتعافون من السكتة الدماغية ، واستعادة قدرتهم على التواصل مع العالم الخارجي.

تم نشر هذه النتائج اليوم في التقارير العلمية.

وقالت نعمة مسغراني ، الدكتورة ، الكاتبة الرئيسية للباحث والمحقق الرئيسي: "أصواتنا تساعدنا على التواصل مع أصدقائنا وعائلتنا والعالم من حولنا ، وهذا هو السبب في أن فقدان قوة صوت المرء بسبب الإصابة أو المرض مدمر للغاية". في معهد مورتيمر ب. زوكرمان لماكين العقل في جامعة كولومبيا. "مع دراسة اليوم ، لدينا طريقة محتملة لاستعادة هذه القوة. لقد أظهرنا أنه ، مع التكنولوجيا المناسبة ، يمكن فك رموز أفكار هؤلاء الأشخاص وفهمها من قبل أي مستمع".

لقد أظهرت عقود من الأبحاث أنه عندما يتحدث الناس – أو حتى يتخيلون – تظهر أنماط نشاط مدهشة في مخهم. يظهر أيضًا نمط متميز من الإشارات (لكن يمكن التعرف عليها) عندما نستمع إلى شخص ما يتكلم أو يتخيل الإصغاء. يرى الخبراء ، الذين يحاولون تسجيل هذه الأنماط وفكها ، أن المستقبل لا يجب أن تبقى الأفكار فيه مخفية داخل الدماغ ، بل يمكن ترجمتها إلى الكلام اللفظي في الإرادة.

لكن إنجاز هذا العمل الفذ قد أثبت أنه مليء بالتحديات. وقد ركزت الجهود المبكرة لفك شفرة إشارات الدماغ من قبل الدكتور مسارجاني وآخرون على نماذج حاسوبية بسيطة حللت الطيف الضوئي ، وهي تمثيلات مرئية للترددات الصوتية.

ولكن بسبب فشل هذا الأسلوب في إنتاج أي شيء يشبه الخطاب المفهوم ، تحول فريق الدكتور مسارجاني بدلاً من ذلك إلى مشفر صوتي ، وهو خوارزمية كمبيوتر يمكنها تجميع الكلام بعد تدريبه على تسجيلات الأشخاص الذين يتحدثون.

"هذه هي نفس التكنولوجيا المستخدمة من قبل Amazon Echo و Apple Siri لتقديم ردود شفهية على أسئلتنا" ، هذا ما قاله الدكتور Mesgarani ، وهو أيضًا أستاذ مشارك في الهندسة الكهربائية في كلية FU Foundation للهندسة والعلوم التطبيقية في جامعة كولومبيا.

لتدريس مشفر الصوت لتفسيره لنشاط الدماغ ، تعاون الدكتور Mesgarani مع أشيش دينيش Mehta ، دكتوراه في الطب ، دكتوراه ، جراح الأعصاب في معهد نورث ويل للشؤون الطبية والعلوم العصبية ومؤلف مشارك في ورقة اليوم. يعالج الدكتور ميهتا مرضى الصرع ، وبعضهم يجب أن يخضع لعمليات جراحية منتظمة.

"مع العمل مع الدكتور ميهتا ، طلبنا من مرضى الصرع خضوعه لعملية جراحية في الدماغ للاستماع إلى جمل يتكلمها أشخاص مختلفون ، بينما قمنا بقياس أنماط نشاط الدماغ" ، قال الدكتور مسارجاني. "هذه الأنماط العصبية قامت بتدريب المشفر الصوتي".

بعد ذلك ، طلب الباحثون من هؤلاء المرضى أنفسهم الاستماع إلى مكبرات الصوت الذين يتابعون الأرقام بين 0 إلى 9 ، أثناء تسجيل إشارات الدماغ التي يمكن بعد ذلك تشغيلها عبر المشفر الصوتي. تم تحليل الصوت الناتج عن المشفر الصوتي استجابة لتلك الإشارات وتنظيفها بواسطة الشبكات العصبية ، وهو نوع من الذكاء الاصطناعي الذي يحاكي بنية الخلايا العصبية في الدماغ البيولوجي.

كانت النتيجة النهائية صوتًا روبوتيًا يتلوها سلسلة من الأرقام. لاختبار دقة التسجيل ، كلف الدكتور مسارجاني وفريقه الأفراد بالاستماع إلى التسجيل والإبلاغ عن ما سمعوه.

"وجدنا أن الناس يمكن أن نفهم وتكرر الأصوات حول 75 ٪ من الوقت ، وهو ما يتجاوز بكثير أي محاولات سابقة" ، وقال الدكتور Mesgarani. كان التحسن في الوضوح واضحا بشكل خاص عند المقارنة بين التسجيلات الجديدة والمحاولات السابقة على الطيف. "إن المشفر الصوتي الحساس والشبكات العصبية القوية مثلت الأصوات التي استمع إليها أصلا بالدقة المدهشة".

ويعتزم الدكتور مسارجاني وفريقه اختبار الكلمات والجمل المعقدة التالية ، ويريدون إجراء نفس الاختبارات على إشارات الدماغ المنبعثة عندما يتكلم الشخص أو يتخيل الكلام. في نهاية المطاف ، يأملون أن يكون نظامهم جزءاً من عملية زرع ، شبيهة بتلك التي يرتديها بعض مرضى الصرع ، وهو ما يترجم أفكار المُرتدي مباشرة إلى الكلمات.

"في هذا السيناريو ، إذا كان مرتديها يفكر" أحتاج إلى كوب من الماء ، "يمكن لنظامنا أن يأخذ إشارات الدماغ التي تولدها تلك الفكرة ، ويحولها إلى خطاب كلامي ،" قال الدكتور مسارجاني. "سيكون هذا تغيير قواعد اللعبة. سيعطي أي شخص فقد قدرته على الكلام ، سواء من خلال الإصابة أو المرض ، الفرصة المتجددة للاتصال بالعالم من حوله".

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *