ترجمه زبان اشاره (Sign Language Translation – SLT) به عنوان یک حوزه فعال تحقیقاتی، در تقاطع تعامل انسان و رایانه، بینایی کامپیوتر، پردازش زبان طبیعی (Natural Language Processing – NLP) و یادگیری ماشین (Machine Learning – ML) قرار دارد. پیشرفت در این حوزه می‌تواند منجر به سطوح بالاتری از ادغام افراد ناشنوا در جامعه شود. مقاله حاضر، به معرفی نخستین دادگان پیوسته زبان اشاره آرژانتینی (Argentinian Sign Language – LSA) می‌پردازد. این دادگان حاوی ۱۴,۸۸۰ ویدیوی سطح جمله از LSA است که از کانال یوتیوب CN Sordos استخراج شده و دارای برچسب‌ها و حاشیه‌نویسی‌های نقاط کلیدی برای هر فرد اشاره‌کننده می‌باشد. علاوه بر این، یک روش برای استنتاج فرد اشاره‌کننده فعال، تجزیه و تحلیل دقیق ویژگی‌های دادگان، یک ابزار تجسم برای بررسی دادگان و یک مدل SLT عصبی به عنوان خط مبنا برای آزمایش‌های آینده در این مقاله ارائه شده است.

زبان اشاره، یک سیستم ارتباطی پیچیده و غنی است که توسط جوامع ناشنوا در سراسر جهان استفاده می‌شود. با این حال، موانع ارتباطی بین افراد ناشنوا و شنوا همچنان یک چالش مهم است. ترجمه خودکار زبان اشاره، راه حلی بالقوه برای غلبه بر این موانع و تسهیل ارتباطات فراگیر ارائه می‌دهد. ایجاد دادگان‌های بزرگ و با کیفیت از زبان‌های اشاره، گام اساسی در توسعه سیستم‌های ترجمه زبان اشاره مبتنی بر یادگیری ماشین است. تا پیش از این، داده‌های مربوط به زبان اشاره آرژانتینی (LSA) محدود بوده و این امر پیشرفت در زمینه ترجمه LSA را با چالش مواجه کرده بود. مقاله حاضر با ارائه دادگان LSA-T، گام مهمی در راستای توسعه سیستم‌های ترجمه LSA برداشته و زمینه را برای تحقیقات بیشتر در این زمینه فراهم می‌کند. اهمیت این مقاله در موارد زیر خلاصه می‌شود:

• ارائه نخستین دادگان پیوسته LSA: این دادگان، منبع ارزشمندی برای محققان در زمینه ترجمه زبان اشاره خواهد بود.
• توسعه روش‌های ترجمه LSA: دادگان LSA-T امکان توسعه و ارزیابی مدل‌های ترجمه زبان اشاره را فراهم می‌کند.
• ادغام افراد ناشنوا در جامعه: بهبود ترجمه زبان اشاره می‌تواند به ادغام بهتر افراد ناشنوا در جامعه کمک کند.

به طور خلاصه، این مقاله با ارائه یک منبع داده جدید و ابزارهای مرتبط، نقش مهمی در پیشبرد تحقیقات ترجمه زبان اشاره ایفا می‌کند و به ایجاد جوامع فراگیرتر کمک می‌کند.

این مقاله توسط تیمی از محققان به نام‌های Pedro Dal Bianco, Gastón Ríos, Franco Ronchetti, Facundo Quiroga, Oscar Stanchi, Waldo Hasperué, و Alejandro Rosete به رشته تحریر درآمده است. نویسندگان این مقاله، متخصصانی در زمینه‌های بینایی کامپیوتر، پردازش زبان طبیعی و یادگیری ماشین هستند و تجربه قابل توجهی در زمینه توسعه سیستم‌های هوشمند و تحلیل داده‌های پیچیده دارند. تخصص جمعی این تیم، آن‌ها را قادر ساخته تا یک دادگان جامع و با کیفیت از زبان اشاره آرژانتینی ایجاد کرده و روش‌های نوینی برای تحلیل و استفاده از این دادگان ارائه دهند. زمینه تحقیقاتی این مقاله، در حوزه بین رشته‌ای ترجمه زبان اشاره قرار دارد که نیازمند دانش و تخصص در حوزه‌های مختلفی از جمله زبان‌شناسی، علوم کامپیوتر و مهندسی است.

چکیده مقاله به طور خلاصه به معرفی چالش‌های موجود در زمینه ترجمه زبان اشاره و اهمیت ایجاد دادگان‌های بزرگ و با کیفیت برای زبان‌های اشاره مختلف می‌پردازد. سپس، دادگان LSA-T را به عنوان نخستین دادگان پیوسته زبان اشاره آرژانتینی معرفی می‌کند و ویژگی‌های کلیدی آن را شرح می‌دهد. این ویژگی‌ها شامل حجم دادگان (۱۴,۸۸۰ ویدیوی سطح جمله)، منبع داده (کانال یوتیوب CN Sordos) و اطلاعات تکمیلی (برچسب‌ها و حاشیه‌نویسی‌های نقاط کلیدی) است. علاوه بر این، مقاله به معرفی یک روش برای استنتاج فرد اشاره‌کننده فعال، تجزیه و تحلیل ویژگی‌های دادگان، یک ابزار تجسم و یک مدل SLT عصبی به عنوان خط مبنا می‌پردازد. به طور خلاصه، محتوای مقاله شامل موارد زیر است:

• معرفی دادگان LSA-T: شرح ویژگی‌ها و نحوه ایجاد دادگان.
• روش استنتاج فرد اشاره‌کننده فعال: توضیح الگوریتم مورد استفاده برای شناسایی فرد اشاره‌کننده در هر ویدیو.
• تجزیه و تحلیل ویژگی‌های دادگان: بررسی توزیع داده‌ها و شناسایی چالش‌های موجود.
• ابزار تجسم دادگان: ارائه یک رابط کاربری برای جستجو و بررسی دادگان.
• مدل SLT عصبی: توسعه یک مدل پایه برای ترجمه LSA و ارائه نتایج اولیه.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

1. جمع‌آوری داده‌ها: ویدیوهای زبان اشاره آرژانتینی از کانال یوتیوب CN Sordos جمع‌آوری شدند. این ویدیوها شامل جملات مختلفی هستند که توسط افراد مختلف اشاره می‌شوند.
2. برچسب‌زنی و حاشیه‌نویسی: هر ویدیو با برچسب‌هایی که محتوای آن را توصیف می‌کنند، حاشیه‌نویسی شد. علاوه بر این، نقاط کلیدی (Keypoints) بدن و دست‌های افراد اشاره‌کننده در هر فریم ویدیو مشخص شدند. این نقاط کلیدی، اطلاعات ارزشمندی برای آموزش مدل‌های یادگیری ماشین فراهم می‌کنند. برای مثال، محل قرارگیری دست‌ها و جهت‌گیری آن‌ها، اطلاعات مهمی در مورد اشاره‌ها ارائه می‌دهد.
3. استنتاج فرد اشاره‌کننده فعال: یک الگوریتم برای شناسایی فرد اشاره‌کننده فعال در هر ویدیو توسعه داده شد. این الگوریتم احتمالا از تکنیک‌های بینایی کامپیوتر برای تشخیص چهره و ردیابی حرکات افراد استفاده می‌کند.
4. تجزیه و تحلیل داده‌ها: ویژگی‌های دادگان LSA-T به طور دقیق تجزیه و تحلیل شد. این تجزیه و تحلیل شامل بررسی توزیع داده‌ها، شناسایی الگوها و ناهنجاری‌ها، و ارزیابی کیفیت داده‌ها است.
5. توسعه ابزار تجسم: یک ابزار تجسم برای بررسی و تعامل با دادگان ایجاد شد. این ابزار به محققان امکان می‌دهد تا ویدیوها را جستجو کنند، حاشیه‌نویسی‌ها را مشاهده کنند و نقاط کلیدی را بررسی کنند.
6. توسعه مدل پایه SLT: یک مدل ترجمه زبان اشاره عصبی به عنوان خط مبنا برای آزمایش‌های آینده توسعه داده شد. این مدل احتمالا از معماری‌های شبکه عصبی عمیق مانند شبکه‌های بازگشتی (Recurrent Neural Networks – RNNs) یا شبکه‌های ترانسفورمر (Transformers) استفاده می‌کند.

یافته‌های کلیدی این تحقیق را می‌توان به صورت زیر خلاصه کرد:

• ایجاد دادگان LSA-T: ارائه نخستین دادگان پیوسته زبان اشاره آرژانتینی با حجم قابل توجه (۱۴,۸۸۰ ویدیو) و اطلاعات تکمیلی.
• روش استنتاج فرد اشاره‌کننده فعال: توسعه یک روش موثر برای شناسایی فرد اشاره‌کننده در ویدیوها.
• تجزیه و تحلیل ویژگی‌های دادگان: شناسایی چالش‌ها و فرصت‌های موجود در دادگان. برای مثال، ممکن است برخی از اشاره‌ها بیشتر از سایر اشاره‌ها در دادگان تکرار شده باشند و این امر می‌تواند بر عملکرد مدل‌های یادگیری ماشین تاثیر بگذارد.
• ابزار تجسم دادگان: ارائه یک ابزار کاربردی برای بررسی و تعامل با دادگان.
• مدل پایه SLT: توسعه یک مدل ترجمه زبان اشاره عصبی به عنوان خط مبنا. نتایج این مدل پایه می‌تواند به عنوان معیاری برای ارزیابی عملکرد مدل‌های پیشرفته‌تر مورد استفاده قرار گیرد.

به طور کلی، یافته‌های این تحقیق نشان می‌دهد که دادگان LSA-T منبع ارزشمندی برای تحقیقات ترجمه زبان اشاره است و می‌تواند به توسعه سیستم‌های ترجمه LSA کمک کند.

کاربردها و دستاوردهای این تحقیق بسیار گسترده و قابل توجه هستند:

• توسعه سیستم‌های ترجمه LSA: دادگان LSA-T می‌تواند برای آموزش مدل‌های ترجمه زبان اشاره استفاده شود. این مدل‌ها می‌توانند به افراد ناشنوا در برقراری ارتباط با افراد شنوا کمک کنند. برای مثال، یک سیستم ترجمه LSA می‌تواند به طور خودکار اشاره‌های یک فرد ناشنوا را به متن یا گفتار تبدیل کند.
• تسهیل آموزش زبان اشاره: دادگان LSA-T می‌تواند برای توسعه ابزارهای آموزشی زبان اشاره استفاده شود. این ابزارها می‌توانند به افراد شنوا در یادگیری زبان اشاره کمک کنند. برای مثال، یک برنامه آموزشی زبان اشاره می‌تواند از ویدیوهای دادگان LSA-T برای نمایش اشاره‌های مختلف استفاده کند.
• بهبود دسترسی به اطلاعات: سیستم‌های ترجمه LSA می‌توانند به افراد ناشنوا در دسترسی به اطلاعات آنلاین کمک کنند. برای مثال، یک سیستم ترجمه LSA می‌تواند زیرنویس خودکار برای ویدیوهای آنلاین تولید کند.
• تحقیقات بیشتر در زمینه ترجمه زبان اشاره: دادگان LSA-T می‌تواند به عنوان منبع داده برای تحقیقات بیشتر در زمینه ترجمه زبان اشاره مورد استفاده قرار گیرد. محققان می‌توانند از این دادگان برای توسعه مدل‌های پیشرفته‌تر ترجمه زبان اشاره و بررسی چالش‌های موجود در این زمینه استفاده کنند.

علاوه بر این، ارائه این دادگان می‌تواند منجر به افزایش آگاهی در مورد زبان اشاره آرژانتینی و فرهنگ ناشنوایان در آرژانتین شود.

مقاله حاضر با ارائه دادگان LSA-T، گام مهمی در راستای توسعه سیستم‌های ترجمه زبان اشاره آرژانتینی برداشته است. این دادگان، منبع ارزشمندی برای محققان در زمینه ترجمه زبان اشاره خواهد بود و می‌تواند به توسعه سیستم‌های ترجمه LSA، تسهیل آموزش زبان اشاره، بهبود دسترسی به اطلاعات و تحقیقات بیشتر در این زمینه کمک کند. در مجموع، این تحقیق نشان می‌دهد که با جمع‌آوری و تحلیل داده‌های زبان اشاره، می‌توان سیستم‌های هوشمندی را توسعه داد که به افراد ناشنوا در برقراری ارتباط و ادغام در جامعه کمک می‌کنند. انتظار می‌رود که این مقاله الهام‌بخش تحقیقات بیشتری در زمینه ترجمه زبان اشاره و توسعه سیستم‌های فراگیرتر برای افراد ناشنوا باشد. تلاش‌های مشابه برای سایر زبان‌های اشاره نیز می‌تواند به ایجاد یک جامعه جهانی فراگیرتر کمک کند که در آن همه افراد، صرف نظر از توانایی شنوایی خود، بتوانند به طور کامل در زندگی اجتماعی، اقتصادی و فرهنگی شرکت کنند.