زبان اشاره، ابزار ارتباطی اصلی برای افراد دارای کم‌شنوایی است. بازشناسی خودکار زبان اشاره (SLR) به کامپیوترها این امکان را می‌دهد تا این زبان را تشخیص دهند. این موضوع یک چالش مهم برای محققان حوزه‌ی علوم کامپیوتر محسوب می‌شود، هرچند اخیراً با استفاده از یادگیری عمیق، پیشرفت‌هایی در این زمینه حاصل شده است.

به طور کلی، آموزش مدل‌های یادگیری عمیق نیازمند حجم عظیمی از داده است. متاسفانه، مجموعه‌های داده‌ای مناسب برای بسیاری از زبان‌های اشاره در دسترس نیست. یادگیری انتقالی (Transfer Learning) روشی است که با بهره‌گیری از یک وظیفه‌ی مرتبط که داده‌های فراوانی برای آن وجود دارد، به حل وظیفه‌ی هدف که داده‌های کافی ندارد، کمک می‌کند. این تکنیک در حوزه‌هایی مانند بینایی کامپیوتر و پردازش زبان طبیعی با موفقیت‌های چشمگیری همراه بوده است. با این حال، تحقیقات کمتری در زمینه‌ی SLR با استفاده از این رویکرد انجام شده است.

این مقاله به بررسی میزان اثربخشی یادگیری انتقالی در بازشناسی زبان اشاره ایزوله (Isolated SLR) با استفاده از یک شبکه‌ی عصبی پیچشی عمیق سه‌بعدی بسط‌یافته (Inflated 3D Convolutional Neural Network) به عنوان معماری یادگیری عمیق می‌پردازد.

این مقاله توسط رومن تونگی (Roman Töngi) به نگارش درآمده است. زمینه‌ی تحقیقاتی نویسنده، بینایی کامپیوتر و تشخیص الگو، و یادگیری ماشین است. هدف اصلی این تحقیق، ارائه‌ی راهکاری برای بهبود عملکرد سیستم‌های بازشناسی زبان اشاره با استفاده از تکنیک‌های یادگیری انتقالی است. این امر می‌تواند به توسعه‌ی ابزارهای ارتباطی بهتری برای افراد کم‌شنوا و ناشنوا کمک کند و تعامل آن‌ها را با جامعه تسهیل بخشد.

چکیده‌ی مقاله به این موضوع اشاره دارد که زبان اشاره به عنوان زبان اصلی افراد کم‌شنوا، نیازمند ابزارهای بازشناسی خودکار است. به دلیل کمبود داده برای بسیاری از زبان‌های اشاره، یادگیری انتقالی به عنوان راهکاری برای حل این مشکل مطرح می‌شود. این مقاله به بررسی کاربرد یادگیری انتقالی با استفاده از یک شبکه‌ی عصبی عمیق سه‌بعدی در بازشناسی زبان اشاره ایزوله می‌پردازد.

نویسنده با پیش‌آموزش (Pre-training) شبکه‌ی عصبی بر روی مجموعه‌ی داده‌ی زبان اشاره‌ی آمریکایی MS-ASL و سپس تنظیم دقیق (Fine-tuning) آن بر روی سه اندازه‌ی مختلف از مجموعه‌ی داده‌ی زبان اشاره‌ی آلمانی SIGNUM، به ارزیابی اثربخشی یادگیری انتقالی پرداخته است. نتایج آزمایش‌ها نشان می‌دهد که یادگیری انتقالی می‌تواند به طور موثری در بازشناسی زبان اشاره ایزوله مورد استفاده قرار گیرد و دقت مدل‌ها تا 21% در مقایسه با مدل‌های پایه که بدون پیش‌آموزش بودند، افزایش می‌یابد.

روش‌شناسی تحقیق در این مقاله بر پایه‌ی یادگیری انتقالی استوار است. به طور خلاصه، این روش شامل مراحل زیر است:

• انتخاب معماری شبکه‌ی عصبی: استفاده از یک شبکه‌ی عصبی پیچشی عمیق سه‌بعدی بسط‌یافته (Inflated 3D Convolutional Neural Network) به دلیل توانایی آن در پردازش داده‌های ویدئویی و استخراج ویژگی‌های فضایی-زمانی.
• پیش‌آموزش (Pre-training): آموزش شبکه‌ی عصبی بر روی یک مجموعه‌ی داده‌ی بزرگ و در دسترس، مانند MS-ASL (زبان اشاره‌ی آمریکایی). هدف از این مرحله، یادگیری ویژگی‌های کلی و پایه‌ای مرتبط با زبان اشاره است.
• تنظیم دقیق (Fine-tuning): انتقال دانش آموخته شده از مرحله‌ی پیش‌آموزش به مجموعه‌ی داده‌ی هدف، مانند SIGNUM (زبان اشاره‌ی آلمانی). در این مرحله، وزن‌های شبکه‌ی عصبی با استفاده از داده‌های SIGNUM به طور دقیق تنظیم می‌شوند تا با ویژگی‌های خاص این زبان سازگار شوند.
• ارزیابی عملکرد: مقایسه‌ی عملکرد مدل‌های آموزش‌دیده با استفاده از یادگیری انتقالی با مدل‌های پایه (بدون پیش‌آموزش) برای ارزیابی میزان بهبود دقت.

به عنوان مثال، فرض کنید می‌خواهیم یک مدل بازشناسی زبان اشاره برای زبان اشاره‌ی فارسی ایجاد کنیم. از آنجایی که مجموعه‌ی داده‌ی بزرگی برای زبان اشاره‌ی فارسی در دسترس نیست، می‌توانیم از یادگیری انتقالی استفاده کنیم. ابتدا یک شبکه‌ی عصبی را بر روی مجموعه‌ی داده‌ی MS-ASL آموزش می‌دهیم. سپس، وزن‌های این شبکه‌ی عصبی را به عنوان نقطه‌ی شروع برای آموزش مدل بر روی یک مجموعه‌ی داده‌ی کوچک‌تر از زبان اشاره‌ی فارسی استفاده می‌کنیم. این کار به مدل کمک می‌کند تا با سرعت بیشتری یاد بگیرد و به دقت بالاتری دست یابد.

یافته‌های کلیدی این تحقیق نشان می‌دهند که:

• یادگیری انتقالی به طور قابل توجهی دقت سیستم‌های بازشناسی زبان اشاره ایزوله را بهبود می‌بخشد.
• مقدار افزایش دقت با استفاده از یادگیری انتقالی، تا 21% در مقایسه با مدل‌های پایه گزارش شده است.
• پیش‌آموزش بر روی مجموعه‌ی داده‌ی MS-ASL و سپس تنظیم دقیق بر روی مجموعه‌ی داده‌ی SIGNUM، یک استراتژی موثر برای بهره‌گیری از یادگیری انتقالی در زمینه‌ی SLR است.
• حتی با وجود اندازه‌ی کوچک مجموعه‌ی داده‌ی هدف (SIGNUM)، یادگیری انتقالی همچنان می‌تواند بهبود قابل توجهی در عملکرد ایجاد کند.

این تحقیق دارای کاربردهای متعددی است، از جمله:

• توسعه‌ی ابزارهای ارتباطی بهتر برای افراد کم‌شنوا و ناشنوا: با بهبود دقت سیستم‌های بازشناسی زبان اشاره، می‌توان ابزارهایی مانند مترجم‌های زبان اشاره به متن و متن به زبان اشاره را توسعه داد که تعامل این افراد را با جامعه تسهیل می‌کند.
• آموزش زبان اشاره: سیستم‌های بازشناسی زبان اشاره می‌توانند در آموزش زبان اشاره به افراد غیر ناشنوا و همچنین بهبود مهارت‌های زبانی افراد ناشنوا مورد استفاده قرار گیرند.
• دسترسی‌پذیری: استفاده از تکنولوژی بازشناسی زبان اشاره می‌تواند دسترسی‌پذیری محتوای ویدئویی و سایر رسانه‌ها را برای افراد ناشنوا افزایش دهد.

یکی از دستاوردهای مهم این تحقیق، ارائه‌ی یک روش موثر برای غلبه بر مشکل کمبود داده در زمینه‌ی بازشناسی زبان اشاره است. با استفاده از یادگیری انتقالی، می‌توان از داده‌های موجود برای یک زبان اشاره، برای آموزش مدل‌هایی با دقت بالا برای زبان‌های اشاره‌ی دیگر استفاده کرد.

به طور کلی، این مقاله به بررسی کاربرد موثر یادگیری انتقالی در زمینه‌ی بازشناسی زبان اشاره ایزوله پرداخته است. نتایج این تحقیق نشان می‌دهد که یادگیری انتقالی می‌تواند به طور قابل توجهی دقت سیستم‌های SLR را بهبود بخشد و راهکاری برای غلبه بر مشکل کمبود داده در این زمینه ارائه دهد. این تحقیق می‌تواند الهام‌بخش محققان برای توسعه‌ی روش‌های نوین یادگیری انتقالی در زمینه‌ی SLR و سایر حوزه‌های مرتبط باشد. همچنین، نتایج این تحقیق می‌تواند در توسعه‌ی ابزارهای ارتباطی و آموزشی بهتری برای افراد کم‌شنوا و ناشنوا مورد استفاده قرار گیرد.

در آینده، محققان می‌توانند به بررسی کاربرد یادگیری انتقالی در بازشناسی زبان اشاره‌ی پیوسته (Continuous SLR) و همچنین استفاده از معماری‌های شبکه‌ی عصبی پیشرفته‌تر در این زمینه بپردازند. همچنین، جمع‌آوری و انتشار مجموعه‌های داده‌ی بزرگ‌تر و متنوع‌تر از زبان‌های اشاره‌ی مختلف می‌تواند به پیشرفت بیشتر در این حوزه کمک کند.