در سال‌های اخیر، مدل‌های زبانی بزرگ (Large Language Models – LLMs) انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. یکی از قابلیت‌های شگفت‌انگیز این مدل‌ها، یادگیری درون‌متنی (In-context Learning) است. در این رویکرد، مدل بدون نیاز به بازآموزی یا تنظیم دقیق (Fine-tuning)، تنها با دیدن چند مثال از یک وظیفه در ورودی (prompt)، آن وظیفه را یاد می‌گیرد و انجام می‌دهد. این پارادایم، استفاده از مدل‌های بزرگ را برای کاربردهای متنوعی از جمله ترجمه ماشینی (Machine Translation – MT) بسیار آسان کرده است.

با این حال، یک سؤال اساسی مطرح می‌شود: آیا انتخاب این مثال‌ها تأثیری بر کیفیت خروجی دارد؟ روش مرسوم، انتخاب تصادفی چند مثال از داده‌های موجود است. مقاله «انتخاب نمونه‌های درون‌متنی برای ترجمه ماشینی» این رویکرد را به چالش می‌کشد و به صورت علمی بررسی می‌کند که چگونه انتخاب هوشمندانه و هدفمند مثال‌ها می‌تواند کیفیت ترجمه را به طور چشمگیری بهبود بخشد. اهمیت این تحقیق در آن است که راهکاری عملی برای عبور از مهندسی پرامپت مبتنی بر آزمون و خطا به یک روش داده‌محور و بهینه ارائه می‌دهد و پتانسیل واقعی LLM‌ها را در یکی از دشوارترین وظایف NLP، یعنی ترجمه، آشکار می‌سازد.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های Sweta Agrawal, Chunting Zhou, Mike Lewis, Luke Zettlemoyer و Marjan Ghazvininejad به نگارش درآمده است. این محققان در حوزه پردازش زبان طبیعی و یادگیری ماشین شناخته‌شده هستند و در شرکت‌ها و مراکز تحقیقاتی پیشرو فعالیت می‌کنند. این پژوهش در دسته «محاسبات و زبان» (Computation and Language) قرار می‌گیرد و در نقطه تلاقی چند حوزه کلیدی و پرطرفدار علمی واقع شده است:

• مدل‌های زبانی بزرگ (LLMs): بهره‌گیری از توانایی‌های مدل‌های مولد در مقیاس وسیع.
• یادگیری چند نمونه‌ای (Few-shot Learning): آموزش مدل با تعداد محدودی مثال.
• ترجمه ماشینی (MT): یکی از قدیمی‌ترین و مهم‌ترین کاربردهای NLP.
• بازیابی اطلاعات (Information Retrieval): استفاده از تکنیک‌های جستجو برای یافتن بهترین مثال‌ها.

این مقاله به طور خاص به چگونگی بهینه‌سازی «پرامپت» برای بهبود وظیفه ترجمه می‌پردازد و نشان می‌دهد که انتخاب هوشمندانه مثال‌ها می‌تواند به اندازه معماری خود مدل اهمیت داشته باشد.

پژوهشگران در این مقاله به بررسی تأثیر انتخاب و ترتیب نمونه‌های درون‌متنی بر کیفیت ترجمه ماشینی می‌پردازند. رویکرد استاندارد تاکنون، نمونه‌گیری تصادفی از داده‌های توسعه بوده است. اما این مقاله نشان می‌دهد که این روش بهینه نیست. هدف اصلی، درک ویژگی‌های یک «نمونه خوب» برای ترجمه، هم در شرایطی که داده‌های آزمون از همان دامنه (in-domain) مثال‌ها هستند و هم در شرایطی که از دامنه‌ای متفاوت (out-of-domain) می‌آیند، است.

نتایج کلیدی مقاله نشان می‌دهد که کیفیت و دامنه مثال‌ها اهمیت بالایی دارند. حتی یک نمونه نامرتبط و نویزی می‌تواند تأثیری فاجعه‌بار بر کیفیت ترجمه خروجی داشته باشد. اگرچه استفاده از چندین مثال تصادفی می‌تواند اثرات منفی نویز را کاهش دهد، اما یک راهکار بسیار مؤثرتر، انتخاب مثال‌هایی است که با متن ورودی شباهت دارند. نویسندگان نشان می‌دهند که انتخاب مثال‌ها بر اساس همپوشانی n-gram با جمله منبع (متنی که قرار است ترجمه شود)، به طور مداوم و معناداری کیفیت ترجمه را افزایش می‌دهد. این رویکرد به قدری قدرتمند است که در ۲ مورد از ۴ مجموعه داده خارج از دامنه، عملکردی بهتر از یک معیار پایه بسیار قوی به نام kNN-MT (ترجمه ماشینی مبتنی بر نزدیک‌ترین همسایگی k) از خود نشان می‌دهد.

محققان برای ارزیابی فرضیه خود، یک چارچوب آزمایشی دقیق طراحی کردند. آن‌ها از یک مدل زبانی مولد بزرگ به عنوان پایه استفاده کرده و استراتژی‌های مختلفی را برای انتخاب مثال‌های درون‌متنی مقایسه نمودند:

• نمونه‌گیری تصادفی (Random Sampling): به عنوان خط پایه، چند زوج جمله (منبع و ترجمه) به صورت تصادفی از مجموعه داده توسعه انتخاب و به مدل ارائه می‌شد.
• تک‌نمونه نامرتبط (Noisy 1-shot): برای سنجش میزان حساسیت مدل به ورودی‌های بد، یک مثال از یک زوج زبانی کاملاً متفاوت (مثلاً ترجمه فرانسوی به آلمانی برای وظیفه انگلیسی به فارسی) به مدل داده شد.
• تک‌نمونه بهینه (Optimized 1-shot): در این روش، یک مثال واحد که بیشترین بهبود کیفیت را روی کل مجموعه داده توسعه ایجاد می‌کرد، پیدا و استفاده شد. این کار نشان می‌دهد که یک مثال “طلایی” چقدر می‌تواند مؤثر باشد.
• انتخاب مبتنی بر شباهت (Similarity-based Selection): این روش، راهکار اصلی پیشنهادی مقاله است. برای ترجمه هر جمله منبع جدید، ابتدا پایگاه داده‌ای از مثال‌های موجود جستجو می‌شود و مثال‌هایی انتخاب می‌شوند که بیشترین شباهت ساختاری و واژگانی را با جمله منبع دارند. معیار شباهت در این تحقیق همپوشانی n-gram (توالی‌های کلمات مشترک) بوده است.

این استراتژی‌ها هم در سناریوهای درون‌دامنه (جایی که موضوع و سبک متن آزمون و مثال‌ها یکسان است) و هم در سناریوهای چالش‌برانگیز خارج از دامنه (مانند ترجمه متون حقوقی با استفاده از مثال‌های خبری) ارزیابی شدند. برای مقایسه، نتایج با یک سیستم پیشرفته به نام kNN-MT که خود از مکانیزم بازیابی اطلاعات برای بهبود ترجمه بهره می‌برد، مقایسه گردید.

این پژوهش به نتایج مهم و کاربردی دست یافت که درک ما را از یادگیری درون‌متنی عمیق‌تر می‌کند:

• کیفیت و دامنه مثال‌ها حیاتی است: مثال‌هایی که از نظر موضوعی به متن ورودی نزدیک‌تر هستند، نتایج بهتری تولید می‌کنند. این نشان می‌دهد که مدل از مثال‌ها نه تنها برای درک قالب وظیفه، بلکه برای یادگیری واژگان و سبک نیز استفاده می‌کند.
• یک مثال بد، تأثیری ویرانگر دارد: یافته‌ها نشان داد که ارائه تنها یک مثال بی‌ربط یا نویزی (مثلاً یک ترجمه اشتباه یا از یک زوج زبانی دیگر) می‌تواند خروجی مدل را کاملاً به هم بریزد و به ترجمه‌ای بی‌معنا منجر شود. این امر بر شکنندگی مدل‌ها در برابر ورودی‌های نامناسب تأکید دارد.
• انتخاب مبتنی بر شباهت، برنده بی‌چون‌وچرا است: روش انتخاب مثال‌ها بر اساس شباهت n-gram با جمله منبع، به طور مداوم بهترین عملکرد را در تمام سناریوها داشت. این رویکرد به مدل اجازه می‌دهد تا از مثال‌هایی بهره ببرد که از نظر واژگان، ساختار و اصطلاحات بیشترین ارتباط را با وظیفه فعلی دارند.
• غلبه بر معیارهای پایه قدرتمند: موفقیت این روش در پیشی گرفتن از یک سیستم قدرتمند مانند kNN-MT در نیمی از مجموعه داده‌های خارج از دامنه، یک دستاورد بزرگ محسوب می‌شود. این نتیجه نشان می‌دهد که بازیابی مثال‌های کامل (به جای توکن‌های مجزا) می‌تواند اطلاعات غنی‌تری را برای مدل فراهم کند.

نتایج این مقاله پیامدهای عملی مهمی برای توسعه‌دهندگان و کاربران سیستم‌های ترجمه ماشینی دارد:

۱. بهبود ترجمه در دامنه‌های تخصصی: یکی از بزرگ‌ترین چالش‌های ترجمه ماشینی، عملکرد ضعیف در دامنه‌های تخصصی مانند پزشکی، حقوقی یا فنی است. با استفاده از این روش، می‌توان با ایجاد یک پایگاه داده از مثال‌های مرتبط با آن دامنه، کیفیت ترجمه را بدون نیاز به آموزش مجدد مدل، به شدت افزایش داد.

۲. انطباق‌پذیری پویا (Dynamic Adaptation): این تکنیک به سیستم ترجمه اجازه می‌دهد تا به صورت پویا و برای هر جمله، خود را با موضوع و سبک متن تطبیق دهد. این امر به ویژه برای ترجمه متونی با موضوعات متنوع (مانند اخبار یا محتوای وب) بسیار مفید است.

۳. مهندسی پرامپت هوشمند و خودکار: این تحقیق، فرآیند انتخاب مثال را از یک کار دستی و مبتنی بر شهود، به یک فرآیند الگوریتمی، قابل تکرار و بهینه تبدیل می‌کند. این یک گام مهم به سوی خودکارسازی مهندسی پرامپت است.

۴. کاربرد فراتر از ترجمه: اگرچه این مقاله بر ترجمه متمرکز است، اما اصل اساسی آن – یعنی افزایش کارایی با بازیابی مثال‌های مرتبط – می‌تواند به سایر وظایف NLP مانند خلاصه‌سازی متن، پاسخ به پرسش، و تولید کد نیز تعمیم داده شود.

مقاله «انتخاب نمونه‌های درون‌متنی برای ترجمه ماشینی» به طور قانع‌کننده‌ای نشان می‌دهد که رویکرد رایج نمونه‌گیری تصادفی برای یادگیری درون‌متنی در ترجمه ماشینی، یک استراتژی ناکارآمد است. این پژوهش یک راهکار جایگزین، ساده و در عین حال بسیار قدرتمند ارائه می‌دهد: انتخاب مثال‌ها بر اساس شباهت آن‌ها با متن ورودی.

این روش نه تنها کیفیت ترجمه را به طور قابل توجهی بهبود می‌بخشد، بلکه پایداری مدل را در برابر ورودی‌های خارج از دامنه افزایش می‌دهد و حتی از سیستم‌های تخصصی و پیچیده‌تر نیز عملکرد بهتری نشان می‌دهد. این کار مسیری جدید را برای استفاده هوشمندانه‌تر و مؤثرتر از مدل‌های زبانی بزرگ در کاربردهای دنیای واقعی هموار می‌کند و بر اهمیت توجه به داده‌های ورودی (پرامپت) به اندازه خود معماری مدل تأکید می‌ورزد.