در سال‌های اخیر، مدل‌های زبانی بزرگ (LLMs) مانند سری GPT انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. یکی از شگفت‌انگیزترین قابلیت‌های این مدل‌ها، یادگیری درون‌متنی (In-Context Learning – ICL) است. در این پارادایم، مدل بدون نیاز به به‌روزرسانی پارامترهای داخلی خود و تنها با مشاهده چند مثال (که «نمونه» یا demonstration نامیده می‌شوند) در ورودی، قادر به انجام وظایف جدید می‌شود. این ویژگی، استفاده از مدل‌های زبانی را بسیار انعطاف‌پذیر و قدرتمند کرده است.

با این حال، عملکرد ICL به شدت به کیفیت ورودی یا «پرامپت» (prompt) وابسته است. تحقیقات پیشین نشان داده‌اند که انتخاب نمونه‌ها و ترتیب قرارگیری آن‌ها تأثیر چشمگیری بر دقت مدل دارد. اما یک جنبه کلیدی که کمتر مورد توجه قرار گرفته، «تعداد» نمونه‌های ارائه‌شده به مدل است. باور رایج در میان متخصصان این بود که هرچه تعداد نمونه‌ها بیشتر باشد، عملکرد مدل بهتر خواهد بود؛ یک فرض منطقی که به نظر می‌رسد مدل با دیدن مثال‌های بیشتر، الگوها را بهتر درک می‌کند.

مقاله «کنترل‌کننده پویای نمونه‌ها برای یادگیری درون‌متنی» این باور رایج را به چالش می‌کشد. نویسندگان با آزمایش‌های دقیق نشان می‌دهند که رابطه بین تعداد نمونه‌ها و عملکرد مدل همیشه خطی و صعودی نیست. در واقع، افزودن نمونه‌های بیشتر گاهی می‌تواند به عملکرد مدل آسیب بزند. این کشف، دریچه‌ای نو به سوی بهینه‌سازی فرآیند ICL می‌گشاید و اهمیت این مقاله در ارائه یک راه‌حل عملی و هوشمندانه برای این مسئله نهفته است: یک کنترل‌کننده پویا که به طور خودکار تعداد بهینه نمونه‌ها را برای هر وظیفه تعیین می‌کند.

این مقاله توسط تیمی از محققان برجسته در زمینه هوش مصنوعی و پردازش زبان طبیعی به نگارش درآمده است:

• فی ژائو (Fei Zhao)
• تائوتیان پنگ (Taotian Pang)
• ژن وو (Zhen Wu)
• ژنگ ما (Zheng Ma)
• شوجیان هوانگ (Shujian Huang)
• شینیو دای (Xinyu Dai)

تخصص این تیم در حوزه‌هایی چون «محاسبات و زبان» و «هوش مصنوعی» نشان‌دهنده عمق پژوهش و ارتباط مستقیم آن با جدیدترین پیشرفت‌های این حوزه است. این تحقیق در راستای بهینه‌سازی تعامل انسان و ماشین و افزایش کارایی مدل‌های زبانی بزرگ انجام شده است.

این مقاله با یک مشاهده کلیدی آغاز می‌شود: برخلاف تصور عمومی، افزایش تعداد نمونه‌ها در یادگیری درون‌متنی لزوماً به بهبود عملکرد منجر نمی‌شود. نویسندگان از طریق آزمایش‌های مقدماتی دریافتند که در بسیاری از موارد، یک نقطه بهینه برای تعداد نمونه‌ها وجود دارد و عبور از این نقطه می‌تواند باعث افت دقت مدل شود. این پدیده ممکن است به دلیل ایجاد نویز، ارائه اطلاعات متناقض یا محدودیت‌های توجه در مدل‌های زبانی رخ دهد.

با تکیه بر این بینش، نویسندگان یک راه‌حل نوآورانه با نام D²Controller (Dynamic Demonstrations Controller) یا «کنترل‌کننده پویای نمونه‌ها» را پیشنهاد می‌کنند. این کنترل‌کننده به جای استفاده از یک تعداد ثابت، به صورت پویا و هوشمند بهترین تعداد نمونه را برای هر ورودی آزمایشی انتخاب می‌کند. هدف اصلی D²Controller، یافتن نقطه‌ی بهینه‌ای است که در آن، مدل بیشترین اطلاعات مفید را با کمترین نویز از نمونه‌ها دریافت کند.

نتایج آزمایش‌ها بسیار چشمگیر است. D²Controller توانسته به طور میانگین بهبود نسبی ۴.۶ درصدی در عملکرد ده مدل زبانی با ابعاد مختلف و بر روی ده مجموعه داده گوناگون ایجاد کند. این موفقیت نشان می‌دهد که روش پیشنهادی نه تنها مؤثر، بلکه قوی و قابل تعمیم به مدل‌ها و وظایف مختلف است. علاوه بر این، این متد می‌تواند با سایر روش‌های بهینه‌سازی ICL (مانند روش‌های انتخاب و ترتیب‌دهی نمونه‌ها) ترکیب شود و نتایج بهتری را رقم بزند.

ایده اصلی D²Controller بر این اصل استوار است که برای هر مسئله، تعداد ایده‌آلی از نمونه‌ها وجود دارد. روش‌شناسی این تحقیق برای یافتن این تعداد بهینه شامل چند مرحله کلیدی است:

• مشاهده پدیده: محققان ابتدا با انجام آزمایش‌های کنترل‌شده، منحنی عملکرد مدل را بر اساس تعداد نمونه‌ها (مثلاً از ۱ تا ۱۶) رسم کردند. آن‌ها مشاهده کردند که این منحنی اغلب یک شکل غیریکنواخت (non-monotonic) دارد؛ یعنی ابتدا صعودی است، به یک قله می‌رسد و سپس ممکن است نزولی شود. این مشاهده، فرضیه «بیشتر، همیشه بهتر نیست» را اثبات کرد. برای مثال، در یک وظیفه تحلیل احساسات، ارائه ۳ نمونه واضح و مرتبط ممکن است بهتر از ۱۰ نمونه باشد که برخی از آن‌ها مبهم یا گمراه‌کننده هستند.
• طراحی D²Controller: این کنترل‌کننده یک مکانیزم تصمیم‌گیری هوشمند است که قبل از ارسال درخواست نهایی به مدل زبانی بزرگ، بهترین تعداد نمونه را انتخاب می‌کند. فرآیند کار آن به شرح زیر است:
  1. تولید کاندیداها: برای یک ورودی آزمایشی مشخص، کنترل‌کننده چندین نسخه از پرامپت را تولید می‌کند. نسخه اول با ۱ نمونه، نسخه دوم با ۲ نمونه، و به همین ترتیب تا حداکثر تعداد نمونه‌های ممکن (k).
  2. امتیازدهی به کاندیداها: اجرای تمام این پرامپت‌ها بر روی مدل زبانی بزرگ اصلی بسیار پرهزینه و کند خواهد بود. برای حل این مشکل، D²Controller از یک «مدل امتیازدهی» (Scoring Model) کوچک و سریع استفاده می‌کند. این مدل امتیازدهی، هر پرامپت کاندیدا را ارزیابی کرده و یک امتیاز به آن اختصاص می‌دهد که پیش‌بینی‌کننده کیفیت پاسخ نهایی است.
  3. انتخاب بهینه: کنترل‌کننده پرامپتی را که بالاترین امتیاز را از مدل امتیازدهی دریافت کرده، به عنوان پرامپت بهینه انتخاب می‌کند. تعداد نمونه‌های موجود در این پرامپت (k*)، تعداد بهینه در نظر گرفته می‌شود.
  4. اجرای نهایی: در نهایت، تنها پرامپت بهینه (با k* نمونه) به مدل زبانی بزرگ اصلی ارسال می‌شود تا پاسخ نهایی تولید گردد.

این رویکرد هوشمندانه، بدون تحمیل هزینه محاسباتی سنگین، به طور مؤثری تعداد نمونه‌ها را بهینه می‌کند و عملکرد کلی سیستم را بهبود می‌بخشد.

آزمایش‌های گسترده انجام‌شده در این مقاله، نتایج مهم و قابل توجهی را به همراه داشته است:

• اثبات تجربی فرضیه: مهم‌ترین یافته، اثبات این موضوع است که افزایش بی‌رویه تعداد نمونه‌ها می‌تواند مضر باشد. این کشف، یک باور ریشه‌دار در زمینه مهندسی پرامپت را زیر سؤال می‌برد و بر اهمیت «کیفیت بر کمیت» تأکید می‌کند.
• بهبود عملکرد قابل توجه: D²Controller به طور میانگین ۴.۶ درصد بهبود نسبی در معیار دقت (accuracy) ایجاد کرده است. این میزان بهبود در دنیای رقابتی مدل‌های زبانی، یک دستاورد بزرگ محسوب می‌شود و نشان‌دهنده کارایی بالای روش پیشنهادی است.
• قدرت تعمیم‌پذیری: این بهبود عملکرد در طیف وسیعی از مدل‌ها (از مدل‌های چند صد میلیونی تا مدل‌های با ده‌ها میلیارد پارامتر) و وظایف مختلف NLP (مانند طبقه‌بندی متن، پاسخ به پرسش و استنتاج زبان طبیعی) مشاهده شده است. این امر نشان می‌دهد که D²Controller یک راه‌حل عمومی و مستقل از مدل است.
• سازگاری با روش‌های دیگر: این کنترل‌کننده می‌تواند به عنوان یک ماژول تکمیلی بر روی سایر تکنیک‌های بهینه‌سازی ICL اعمال شود. برای مثال، می‌توان ابتدا با یک روش پیشرفته بهترین نمونه‌ها را انتخاب کرد و سپس D²Controller را برای یافتن تعداد بهینه از میان آن‌ها به کار برد.

این تحقیق فراتر از یک دستاورد آکادمیک، کاربردهای عملی گسترده‌ای دارد:

• افزایش دقت و پایداری: توسعه‌دهندگانی که از LLMها در محصولات خود استفاده می‌کنند، می‌توانند با پیاده‌سازی این مکانیزم، دقت پاسخ‌های مدل را افزایش داده و نتایج پایدارتری دریافت کنند. این امر به ویژه در کاربردهای حساس مانند تحلیل داده‌های مالی یا پشتیبانی مشتریان حیاتی است.
• کاهش هزینه‌ها و تأخیر: با انتخاب تعداد نمونه‌های کمتر اما بهینه، طول پرامپت کاهش می‌یابد. این موضوع مستقیماً به کاهش هزینه‌های استفاده از APIهای مبتنی بر توکن (مانند OpenAI API) و همچنین کاهش زمان پاسخ‌دهی (latency) مدل منجر می‌شود.
• مدیریت بهتر محدودیت طول ورودی: بسیاری از مدل‌های زبانی دارای محدودیت در طول متن ورودی (context window) هستند. D²Controller با جلوگیری از استفاده از نمونه‌های غیرضروری، به مدیریت بهینه این فضا کمک کرده و امکان طرح سؤالات پیچیده‌تر را فراهم می‌کند.
• پیشرفت در مهندسی پرامپت: این مقاله، مهندسی پرامپت را از یک فرآیند مبتنی بر آزمون و خطا به یک رویکرد سیستماتیک‌تر و داده‌محور تبدیل می‌کند. این کنترل‌کننده یک ابزار علمی برای بهینه‌سازی یکی از مهم‌ترین ابعاد پرامپت، یعنی تعداد نمونه‌ها، فراهم می‌آورد.

مقاله «کنترل‌کننده پویای نمونه‌ها برای یادگیری درون‌متنی» یک گام مهم در جهت درک عمیق‌تر و بهره‌برداری مؤثرتر از قابلیت‌های یادگیری درون‌متنی در مدل‌های زبانی بزرگ است. این تحقیق با به چالش کشیدن فرض رایج «بیشتر، بهتر است»، نشان داد که تعداد بهینه نمونه‌ها یک پارامتر حیاتی است که باید به صورت پویا مدیریت شود.

راه‌حل پیشنهادی، D²Controller، یک روش هوشمندانه، کارآمد و قابل تعمیم است که توانسته بهبود قابل توجهی در عملکرد طیف وسیعی از مدل‌ها و وظایف ایجاد کند. این دستاورد نه تنها به بهینه‌سازی مستقیم عملکرد LLMها کمک می‌کند، بلکه با کاهش هزینه‌ها و پیچیدگی‌های مهندسی پرامپت، راه را برای استفاده گسترده‌تر و کارآمدتر از این فناوری قدرتمند هموار می‌سازد. این پژوهش، مسیرهای جدیدی را برای طراحی پرامپت‌های پویا و تطبیق‌پذیر در آینده می‌گشاید.