در دهه‌های اخیر، حوزه ترجمه ماشینی (Machine Translation – MT) شاهد تحولات شگرفی بوده است. با ظهور مدل‌های ترجمه ماشینی عصبی (NMT)، کیفیت خروجی‌ها به سطحی رسیده که در بسیاری از موارد با ترجمه انسانی رقابت می‌کند. این پیشرفت چشمگیر، چالش جدیدی را پیش روی محققان قرار داده است: ارزیابی دقیق و معنادار این سیستم‌های پیشرفته. معیارهای ارزیابی خودکار سنتی، مانند BLEU، که بر اساس همپوشانی آماری کلمات (n-gram) بین ترجمه ماشینی و ترجمه مرجع عمل می‌کنند، دیگر قادر به تمایز ظرافت‌های کیفی میان سیستم‌های NMT پیشرفته نیستند. این معیارها اغلب ترجمه‌هایی را که از نظر معنایی ضعیف اما از نظر واژگانی شبیه به مرجع هستند، با امتیاز بالا ارزیابی می‌کنند.

مقاله «HilMeMe: A Human-in-the-Loop Machine Translation Evaluation Metric Looking into Multi-Word Expressions» به قلم لیفنگ هان، پاسخی نوآورانه به این چالش ارائه می‌دهد. این مقاله یک معیار ارزیابی جدید به نام HilMeMe را معرفی می‌کند که با دو رویکرد کلیدی، محدودیت‌های معیارهای سنتی را برطرف می‌سازد: اول، بهره‌گیری از قضاوت انسانی در فرآیند ارزیابی (Human-in-the-Loop) و دوم، تمرکز ویژه بر یکی از پیچیده‌ترین جنبه‌های زبان، یعنی عبارت‌های چندکلمه‌ای (MWEs). اهمیت این مقاله در آن است که راه را برای ارزیابی‌های عمیق‌تر، زبان‌شناسانه‌تر و همسو با درک انسانی از کیفیت ترجمه هموار می‌کند و ابزاری قدرتمند برای سنجش واقعی توانایی سیستم‌های ترجمه مدرن فراهم می‌آورد.

این مقاله توسط لیفنگ هان (Lifeng Han) به رشته تحریر درآمده و در تقاطع دو حوزه علمی مهم قرار گرفته است: پردازش زبان و محاسبات (Computation and Language) و تعامل انسان و کامپیوتر (Human-Computer Interaction – HCI). این جایگاه بین‌رشته‌ای، رویکرد منحصربه‌فرد مقاله را شکل داده است.

از یک سو، این پژوهش عمیقاً در حوزه پردازش زبان طبیعی (NLP)، به‌ویژه ترجمه ماشینی، ریشه دارد و به دنبال حل یکی از مشکلات بنیادی این حوزه، یعنی ارزیابی کیفیت، است. از سوی دیگر، با به‌کارگیری رویکرد «مشارکت انسان در حلقه»، این مقاله وارد قلمرو HCI می‌شود. در این رویکرد، به جای اتکای صرف به الگوریتم‌های خودکار، از هوش، شهود و دانش زبانی انسان برای غنی‌سازی و دقیق‌تر کردن فرآیند ارزیابی استفاده می‌شود. این ترکیب نشان می‌دهد که برای حل مسائل پیچیده زبان، همکاری میان ماشین و انسان می‌تواند به نتایجی بسیار برتر از هر یک به تنهایی منجر شود.

چکیده مقاله به وضوح بیان می‌کند که با پیشرفت سریع سیستم‌های ترجمه ماشینی عصبی، کیفیت خروجی‌ها به سطح جدیدی از دقت رسیده است. با این حال، بسیاری از محققان معتقدند که معیارهای رایج فعلی مانند BLEU در تشخیص تفاوت‌های کیفی میان سیستم‌های NMT پیشرفته ناتوان هستند. در پاسخ به این نقیصه، مقاله به طراحی و پیاده‌سازی یک معیار ارزیابی جدید با انگیزه زبان‌شناختی و با مشارکت انسان می‌پردازد که به‌طور خاص بر ترجمه عبارت‌های چندکلمه‌ای (MWEs) متمرکز است.

MWEs، که شامل اصطلاحات (idioms)، عبارات فعلی (phrasal verbs) و واژگان تخصصی (terminologies) می‌شوند، همواره یکی از موانع اصلی در بسیاری از وظایف پردازش زبان طبیعی، از جمله ترجمه ماشینی، بوده‌اند. این عبارت‌ها اغلب معنایی غیرترکیبی دارند؛ یعنی معنای کل عبارت را نمی‌توان از جمع معانی تک‌تک کلمات آن استنباط کرد. مقاله استدلال می‌کند که توانایی یک سیستم ترجمه در شناسایی و ترجمه صحیح و معادل MWEs می‌تواند به عنوان یک شاخص کلیدی برای تمایز میان سیستم‌های مختلف عمل کند و تصویری دقیق‌تر از قابلیت‌های واقعی آن‌ها ارائه دهد.

روش‌شناسی پیشنهادی در مقاله HilMeMe یک فرآیند چندمرحله‌ای است که هوشمندی ماشین و دقت انسان را با هم ترکیب می‌کند. این فرآیند را می‌توان به مراحل زیر تقسیم کرد:

• شناسایی عبارت‌های چندکلمه‌ای (MWEs): در گام نخست، متن منبع برای یافتن MWEs مورد تحلیل قرار می‌گیرد. این کار می‌تواند با استفاده از پایگاه‌های داده زبان‌شناختی، دیکشنری‌های اصطلاحات یا ابزارهای خودکار تشخیص MWE انجام شود. هدف، استخراج عباراتی است که ترجمه آن‌ها چالش‌برانگیز است.
• ترجمه توسط سیستم‌های هدف: متن منبع، که حاوی MWEs شناسایی‌شده است، به سیستم‌های ترجمه ماشینی که قرار است ارزیابی شوند، داده می‌شود تا ترجمه شوند.
• استخراج و ارائه ترجمه‌های MWE: سیستم HilMeMe به‌طور خودکار ترجمه MWEs را از خروجی هر سیستم استخراج کرده و آن‌ها را برای ارزیابی به عامل انسانی ارائه می‌دهد. این بخش، هسته رویکرد مشارکت انسان در حلقه است.
• ارزیابی انسانی: ارزیابان انسانی (معمولاً زبان‌شناسان یا مترجمان حرفه‌ای) ترجمه‌های ارائه‌شده برای هر MWE را بر اساس معیارهای مشخصی قضاوت می‌کنند. این معیارها می‌توانند شامل موارد زیر باشند:
  • کفایت معنایی (Adequacy): آیا معنای اصطلاح اصلی به درستی در ترجمه منتقل شده است؟
  • روانی (Fluency): آیا عبارت ترجمه‌شده در زبان مقصد طبیعی و روان به نظر می‌رسد؟
  • دقت (Accuracy): آیا از معادل صحیح و رایج برای اصطلاح مبدأ استفاده شده است؟
• محاسبه امتیاز نهایی: امتیازات داده‌شده توسط ارزیابان انسانی جمع‌آوری و پردازش می‌شوند تا یک امتیاز نهایی برای عملکرد هر سیستم در ترجمه MWEs محاسبه شود. این امتیاز، هسته اصلی معیار HilMeMe را تشکیل می‌دهد و می‌تواند به عنوان یک شاخص مستقل یا مکملی برای معیارهای دیگر مانند BLEU به کار رود.

یافته اصلی این پژوهش، اثبات ناکارآمدی معیارهای خودکار سنتی در ارزیابی ترجمه‌های حاوی عبارات پیچیده و معرفی HilMeMe به عنوان یک جایگزین برتر است. مقاله نشان می‌دهد که سیستم‌های NMT ممکن است در معیاری مانند BLEU امتیازات بسیار نزدیک و بالایی کسب کنند، در حالی که در عمل، تفاوت‌های فاحشی در کیفیت ترجمه آن‌ها وجود دارد، به‌ویژه در مواجهه با MWEs.

برای مثال، جمله انگلیسی «The new project manager is still a bit green» را در نظر بگیرید. در اینجا “a bit green” یک اصطلاح به معنای «بی‌تجربه» یا «تازه‌کار» است.

• ترجمه سیستم A (صحیح): «مدیر پروژه جدید هنوز کمی بی‌تجربه است.»
• ترجمه سیستم B (تحت‌اللفظی): «مدیر پروژه جدید هنوز کمی سبز است.»

یک معیار مانند BLEU ممکن است به دلیل همپوشانی کلمات «مدیر»، «پروژه»، «جدید»، «هنوز» و «کمی» امتیاز نسبتاً بالایی به ترجمه B بدهد. اما این ترجمه از نظر معنایی کاملاً اشتباه و بی‌معناست. در مقابل، معیار HilMeMe با تمرکز بر روی اصطلاح “a bit green”، از ارزیاب انسانی می‌خواهد که کیفیت ترجمه آن را بسنجد. در این حالت، ترجمه A امتیاز کامل و ترجمه B امتیاز بسیار پایینی دریافت خواهد کرد. این یافته نشان می‌دهد که HilMeMe قادر است نقاط ضعفی را آشکار کند که از چشم معیارهای آماری پنهان می‌مانند و در نتیجه، ارزیابی بسیار دقیق‌تری از عمق «فهم» زبانی یک سیستم ارائه می‌دهد.

معرفی معیار HilMeMe دستاوردها و کاربردهای مهمی را برای جامعه پژوهشی ترجمه ماشینی به ارمغان می‌آورد:

• ابزار ارزیابی دقیق‌تر برای محققان: توسعه‌دهندگان سیستم‌های MT می‌توانند از HilMeMe برای مقایسه دقیق‌تر مدل‌های خود استفاده کنند. این معیار به آن‌ها کمک می‌کند تا بفهمند کدام مدل در مدیریت پیچیدگی‌های زبانی مانند اصطلاحات بهتر عمل می‌کند و تلاش‌های خود را برای بهبود هدفمند سازند.
• هدایت توسعه مدل‌های آینده: با برجسته کردن ضعف سیستم‌ها در ترجمه MWEs، HilMeMe محققان را تشویق می‌کند تا معماری‌ها یا روش‌های آموزشی جدیدی توسعه دهند که به طور خاص برای درک و ترجمه زبان غیرترکیبی طراحی شده‌اند.
• بهبود کیفیت در کاربردهای عملی: در حوزه‌هایی مانند بومی‌سازی نرم‌افزار، ترجمه متون ادبی یا اسناد فنی، ترجمه صحیح اصطلاحات و واژگان تخصصی حیاتی است. HilMeMe ابزاری برای تضمین کیفیت در این زمینه‌ها فراهم می‌کند.
• حرکت به سوی ارزیابی زبان‌شناختی: این مقاله یک گام مهم در گذار از ارزیابی‌های صرفاً آماری به سمت ارزیابی‌های مبتنی بر اصول زبان‌شناسی است. این رویکرد، ارزیابی ماشین را به ارزیابی انسانی نزدیک‌تر می‌کند و درک عمیق‌تری از کیفیت واقعی ترجمه ارائه می‌دهد.

مقاله «HilMeMe» به یکی از نقاط ضعف اساسی در اکوسیستم فعلی ترجمه ماشینی، یعنی ارزیابی، می‌پردازد. در دورانی که سیستم‌های NMT به بلوغ رسیده‌اند، معیارهای قدیمی دیگر برای سنجش برتری آن‌ها کافی نیستند. این مقاله با معرفی یک معیار ترکیبی که از قضاوت هدفمند انسانی برای ارزیابی یکی از چالش‌برانگیزترین جنبه‌های زبان (عبارت‌های چندکلمه‌ای) بهره می‌برد، راه‌حلی هوشمندانه و کارآمد ارائه می‌دهد.

HilMeMe صرفاً یک معیار جدید نیست، بلکه نماینده یک پارادایم فکری نوین در ارزیابی سیستم‌های هوشمند زبانی است؛ پارادایمی که در آن، همکاری انسان و ماشین برای رسیدن به درکی عمیق‌تر از کیفیت، جایگزین اتکای صرف به معیارهای خودکار می‌شود. این رویکرد راه را برای توسعه نسل بعدی سیستم‌های ترجمه ماشینی هموار می‌کند که نه تنها کلمات را ترجمه می‌کنند، بلکه معنای نهفته در ظرافت‌های فرهنگی و زبانی را نیز درک کرده و منتقل می‌نمایند.