در سال‌های اخیر، مدل‌های زبان بزرگ (LLMs) انقلابی در حوزه هوش مصنوعی و پردازش زبان طبیعی ایجاد کرده‌اند. با این حال، استفاده از این مدل‌های غول‌پیکر با چالش‌های بزرگی همراه است. یکی از مهم‌ترین چالش‌ها، فرآیند «ریزتنظیم» (Fine-tuning) است که به معنای تطبیق یک مدل از پیش آموزش‌دیده با یک وظیفه خاص است. ریزتنظیم کامل (Full Fine-tuning) که در آن تمام پارامترهای مدل به‌روزرسانی می‌شوند، نیازمند منابع محاسباتی عظیم، حافظه بسیار زیاد و زمان طولانی است که آن را برای بسیاری از کاربردها غیرعملی می‌سازد.

برای غلبه بر این مشکل، روش‌های ریزتنظیم کارآمد پارامتری (PEFT) پدید آمدند. این روش‌ها به جای به‌روزرسانی میلیاردها پارامتر مدل، تنها بخش کوچکی از پارامترها را آموزش می‌دهند. یکی از محبوب‌ترین و مؤثرترین روش‌های PEFT، «تنظیم پرامپت» (Prompt Tuning) است. در این روش، به جای تغییر وزن‌های مدل، تعدادی بردار پیوسته و قابل آموزش (که پرامپت نرم نامیده می‌شوند) به ورودی مدل اضافه می‌شود. این روش با پارامترهای بسیار کم، نتایج رقابتی به دست می‌آورد.

با این حال، تنظیم پرامپت نیز با یک نقص ذاتی روبروست: افزایش طول توالی ورودی. افزودن توکن‌های پرامپت نرم به ورودی، طول کل توالی را افزایش می‌دهد و از آنجایی که معماری ترنسفورمر (Transformer) دارای پیچیدگی محاسباتی درجه دوم (Quadratic Complexity) نسبت به طول توالی است، این افزایش طول منجر به کندی قابل توجه در فرآیندهای آموزش و استنتاج و همچنین افزایش مصرف حافظه می‌شود. این مشکل به ویژه برای مدل‌های زبان بزرگی که روزانه با حجم عظیمی از درخواست‌ها مواجه هستند، بسیار جدی است. مقاله «DePT: تنظیم پرامپت تجزیه‌شده» راه‌حلی نوآورانه برای این مشکل ارائه می‌دهد و مسیری جدید برای دستیابی به کارایی محاسباتی و پارامتری به طور همزمان باز می‌کند.

این مقاله توسط ژنگ‌شیانگ شی (Zhengxiang Shi) و آلدو لیپانی (Aldo Lipani)، پژوهشگران دانشگاه کالج لندن (UCL)، به نگارش درآمده است. این تحقیق در تقاطع حوزه‌های کلیدی هوش مصنوعی مانند پردازش زبان طبیعی (NLP)، بینایی کامپیوتر (Computer Vision) و یادگیری ماشین (Machine Learning) قرار دارد.

این پژوهش بر پایه دستاوردهای قبلی در زمینه PEFT بنا شده است. نویسندگان با درک عمیق از محدودیت‌های روش‌های موجود مانند Prompt Tuning و LoRA (Low-Rank Adaptation)، به دنبال ایجاد یک رویکرد ترکیبی هستند که مزایای هر دو را به ارث ببرد و معایب آن‌ها را برطرف سازد. این مقاله پاسخی هوشمندانه به نیاز روزافزون صنعت برای توسعه روش‌هایی است که نه تنها از نظر تعداد پارامترها، بلکه از نظر سرعت و حافظه نیز کارآمد باشند و استفاده از مدل‌های عظیم را در مقیاس بزرگ عملی‌تر کنند.

مقاله DePT یک روش جدید برای ریزتنظیم کارآمد پارامتری معرفی می‌کند که با هدف حل مشکل هزینه‌های محاسباتی ناشی از افزایش طول توالی در روش تنظیم پرامپت (PT) طراحی شده است. در حالی که PT با افزودن پرامپت‌های نرم به ورودی، بدون نیاز به تغییر پارامترهای مدل اصلی به عملکردی رقابتی دست می‌یابد، این کار به قیمت افزایش زمان آموزش و استنتاج و مصرف حافظه تمام می‌شود.

راهکار اصلی DePT، تجزیه پرامپت نرم به دو مؤلفه مجزا است:

• یک پرامپت نرم بسیار کوتاه‌تر از حالت معمول.
• یک جفت ماتریس کم-رتبه (Low-rank matrices) که به صورت ضمنی اطلاعات پرامپت را به نمایش‌های ورودی تزریق می‌کنند.

نکته کلیدی دیگر در این روش، بهینه‌سازی این دو مؤلفه با دو نرخ یادگیری متفاوت است که به کنترل بهتر فرآیند آموزش کمک می‌کند. این رویکرد به DePT اجازه می‌دهد تا بدون افزایش تعداد کل پارامترهای قابل آموزش نسبت به PT استاندارد، به عملکردی بهتر دست یابد و در عین حال، هزینه‌های زمانی و حافظه را به شکل چشمگیری کاهش دهد. نویسندگان از طریق آزمایش‌های گسترده بر روی ۲۳ وظیفه مختلف در حوزه‌های پردازش زبان طبیعی و بینایی-زبان، نشان می‌دهند که DePT نه تنها از روش‌های پیشرفته PEFT بهتر عمل می‌کند، بلکه در برخی موارد حتی از ریزتنظیم کامل نیز پیشی می‌گیرد.

برای درک عمیق روش DePT، ابتدا باید به نحوه عملکرد تنظیم پرامپت (PT) نگاهی بیندازیم. در PT، فرض کنید ورودی ما دنباله‌ای از توکن‌ها با نمایش‌های برداری `X = [x_1, x_2, …, x_n]` باشد. این روش تعدادی بردار قابل آموزش `P = [p_1, p_2, …, p_k]` (پرامپت نرم) را به ابتدای این دنباله اضافه می‌کند. در نتیجه، ورودی جدید مدل به صورت `[p_1, …, p_k, x_1, …, x_n]` خواهد بود. مشکل اینجاست که طول توالی از `n` به `n+k` افزایش می‌یابد و هزینه محاسباتی در لایه‌های توجه (Attention) ترنسفورمر از `O(n^2)` به `O((n+k)^2)` می‌رسد که افزایشی قابل توجه است.

روش DePT (Decomposed Prompt Tuning) این مشکل را با تجزیه هوشمندانه پرامپت `P` حل می‌کند. به جای استفاده از یک پرامپت طولانی با `k` توکن، DePT آن را به دو بخش تقسیم می‌کند:

1. پرامپت نرم کوتاه (Shorter Soft Prompt): یک پرامپت نرم با طول `k_d` که `k_d` بسیار کوچکتر از `k` است. این بخش به صورت مستقیم به ابتدای توالی ورودی اضافه می‌شود و بخشی از اطلاعات راهنما را به صورت صریح به مدل ارائه می‌دهد.
2. ماتریس‌های کم-رتبه (Low-Rank Matrices): بخش باقی‌مانده از اطلاعات پرامپت، به جای تبدیل شدن به توکن‌های اضافی، توسط یک جفت ماتریس کم-رتبه `A` و `B` مدل‌سازی می‌شود. این ماتریس‌ها بر روی بردارهای ورودی `X` اعمال شده و خروجی آن‌ها با خود `X` جمع می‌شود. این فرآیند را می‌توان به صورت `X_new = X + XAB` نمایش داد. این عمل، اطلاعات پرامپت را به صورت ضمنی و بدون افزایش طول توالی به مدل تزریق می‌کند. این ایده از روش‌هایی مانند LoRA الهام گرفته شده است.

با این تجزیه، تعداد کل پارامترهای قابل آموزش ثابت باقی می‌ماند (پارامترهای حذف شده از پرامپت طولانی به ماتریس‌های کم-رتبه منتقل می‌شوند)، اما طول توالی ورودی به مدل تنها به اندازه `k_d` افزایش می‌یابد که بسیار کمتر از `k` است. این کاهش طول، منجر به صرفه‌جویی چشمگیر در زمان و حافظه می‌شود. علاوه بر این، استفاده از دو نرخ یادگیری مجزا برای بهینه‌سازی پرامپت نرم کوتاه و ماتریس‌های کم-رتبه، به مدل اجازه می‌دهد تا هر بخش را با دینامیک مناسب خود آموزش دهد و به همگرایی بهتر و عملکرد بالاتر دست یابد.

آزمایش‌های جامع انجام‌شده در این مقاله، کارایی و برتری DePT را به وضوح نشان می‌دهند. یافته‌های اصلی را می‌توان در چند بخش خلاصه کرد:

• عملکرد برتر: در ۲۳ وظیفه متنوع، شامل وظایف درک زبان طبیعی (مانند طبقه‌بندی متن و پاسخ به پرسش) و وظایف بینایی-زبان، DePT به طور مداوم عملکردی بهتر از روش‌های استاندارد PT و دیگر روش‌های پیشرفته PEFT مانند LoRA از خود نشان داد. شگفت‌آورتر آنکه، در برخی از سناریوها، عملکرد DePT حتی از ریزتنظیم کامل مدل (Full Fine-tuning) نیز فراتر رفت.
• کارایی محاسباتی فوق‌العاده: مزیت اصلی DePT در کاهش هزینه‌های محاسباتی است. نتایج تجربی نشان داد که این روش به طور قابل توجهی زمان آموزش و استنتاج را کاهش داده و مصرف حافظه GPU را بهینه می‌کند. این ویژگی DePT را به گزینه‌ای ایده‌آل برای کاربردهای عملی و مقیاس‌پذیر تبدیل می‌کند.
• مقیاس‌پذیری با افزایش اندازه مدل: یکی از مهم‌ترین یافته‌های مقاله این است که مزایای کارایی DePT با افزایش اندازه مدل، بیشتر نیز می‌شود. به عبارت دیگر، هرچه مدل بزرگ‌تر باشد، صرفه‌جویی زمانی و حافظه‌ای که DePT به ارمغان می‌آورد، محسوس‌تر خواهد بود. این ویژگی، آینده این روش را در عصر مدل‌های با صدها میلیارد پارامتر تضمین می‌کند.
• انعطاف‌پذیری و سازگاری: DePT به راحتی با سناریوهای یادگیری کم‌نمونه (Few-shot Learning) سازگار است و می‌تواند با کمترین داده، به عملکردی قوی دست یابد. همچنین، این روش به معماری خاصی محدود نیست و قابلیت پیاده‌سازی بر روی انواع مختلف مدل‌ها (مانند مدل‌های فقط انکودر، انکودر-دیکودر و فقط دیکودر) را دارد.

نوآوری DePT پیامدهای عملی گسترده‌ای برای صنعت و پژوهش در حوزه هوش مصنوعی دارد. مهم‌ترین دستاوردها و کاربردهای این روش عبارتند از:

• استقرار اقتصادی مدل‌های زبان بزرگ: با کاهش چشمگیر هزینه‌های محاسباتی، DePT استقرار و اجرای مدل‌های ریزتنظیم‌شده را در محیط‌های واقعی (Production) ارزان‌تر و سریع‌تر می‌کند. این امر به شرکت‌ها اجازه می‌دهد تا سرویس‌های مبتنی بر هوش مصنوعی را با تأخیر کمتر و هزینه پایین‌تر به کاربران نهایی ارائه دهند.
• دموکراتیزه کردن دسترسی به LLMها: کاهش نیاز به سخت‌افزارهای گران‌قیمت، به محققان، استارتاپ‌ها و سازمان‌های کوچکتر این امکان را می‌دهد که مدل‌های زبان بزرگ را برای نیازهای خاص خود سفارشی‌سازی و استفاده کنند. این امر به نوآوری و پیشرفت گسترده‌تر در این حوزه کمک می‌کند.
• ایجاد نسل جدیدی از روش‌های PEFT: DePT با ترکیب هوشمندانه ایده‌های تنظیم پرامپت (افزودن توکن) و انطباق مبتنی بر ماتریس (تغییر نمایش)، یک رویکرد ترکیبی (Hybrid) مؤثر را معرفی می‌کند. این مقاله می‌تواند الهام‌بخش پژوهش‌های آینده برای طراحی روش‌های کارآمدتر باشد که به جای تمرکز بر یک جنبه، بهینه‌سازی را در چندین سطح به طور همزمان انجام دهند.
• کاربردهای فراتر از زبان: موفقیت DePT در وظایف بینایی-زبان نشان می‌دهد که این رویکرد یک تکنیک عمومی است و می‌تواند برای انطباق مدل‌های بزرگ در دامنه‌های دیگر مانند پردازش تصویر، صوت و داده‌های چندوجهی (Multimodal) نیز به کار گرفته شود.

مقاله “DePT: تنظیم پرامپت تجزیه‌شده برای ریزتنظیم کارآمد پارامتری” یک گام مهم رو به جلو در جهت حل یکی از چالش‌های اساسی در استفاده از مدل‌های زبان بزرگ است. این مقاله به طور دقیق مشکل هزینه‌های محاسباتی ناشی از افزایش طول توالی در روش محبوب تنظیم پرامپت را شناسایی کرده و راه‌حلی خلاقانه و مؤثر برای آن ارائه می‌دهد.

با تجزیه پرامپت به یک بخش صریح (پرامپت کوتاه) و یک بخش ضمنی (ماتریس‌های کم-رتبه)، DePT موفق می‌شود به یک موازنه ایده‌آل بین کارایی پارامتری و کارایی محاسباتی دست یابد. نتایج این پژوهش نشان می‌دهد که می‌توان بدون فدا کردن عملکرد—و حتی با بهبود آن—مدل‌های زبان بزرگ را به شیوه‌ای بسیار سریع‌تر و اقتصادی‌تر ریزتنظیم کرد. DePT نه تنها یک روش جدید است، بلکه یک پارادایم فکری نو را برای طراحی نسل آینده تکنیک‌های PEFT معرفی می‌کند که برای ساخت سیستم‌های هوش مصنوعی پایدار، مقیاس‌پذیر و در دسترس، ضروری خواهند بود.