۱. معرفی مقاله و اهمیت آن

در سال‌های اخیر، مدل‌های زبانی بزرگ (Large Language Models – LLMs) با توانایی‌های بی‌نظیر خود در پردازش زبان طبیعی (NLP)، تحولات شگرفی را در حوزه‌های مختلف هوش مصنوعی رقم زده‌اند. از تولید متن و ترجمه گرفته تا خلاصه‌سازی و پاسخگویی به سوالات، این مدل‌ها مرزهای آنچه را که یک سیستم هوش مصنوعی می‌تواند انجام دهد، جابجا کرده‌اند. با این موفقیت‌های چشمگیر، توجه بسیاری از محققان به پتانسیل LLMها در زمینه‌های کاربردی دیگر، از جمله سیستم‌های توصیه‌گر (Recommender Systems) معطوف شده است.

سیستم‌های توصیه‌گر، ستون فقرات پلتفرم‌های دیجیتال مدرن، از تجارت الکترونیک گرفته تا سرویس‌های پخش محتوا، هستند و نقش حیاتی در شخصی‌سازی تجربه کاربری و افزایش تعامل ایفا می‌کنند. با این حال، استفاده مستقیم از LLMها به عنوان یک سیستم توصیه‌گر، چالش‌های منحصربه‌فردی را به همراه دارد که از جمله مهم‌ترین آن‌ها می‌توان به ناپایداری (instability) و سوگیری موقعیتی (positional bias) اشاره کرد. مقاله “مدل‌های زبانی بزرگ، سیستم‌های توصیه‌گر پایداری نیستند” به قلم Tianhui Ma و همکاران، دقیقاً به این معضل می‌پردازد و یک رویکرد نوین برای غلبه بر آن پیشنهاد می‌کند.

اهمیت این تحقیق در آن است که با وجود امیدواری‌های فراوان به LLMها در حوزه توصیه، نقاط ضعف بنیادی آن‌ها را آشکار کرده و راهکاری عملی برای رفع این کاستی‌ها ارائه می‌دهد. این پژوهش نه تنها به بهبود عملکرد سیستم‌های توصیه‌گر کمک می‌کند، بلکه درک ما را از محدودیت‌ها و چالش‌های به‌کارگیری LLMها در سناریوهای پیچیده، عمیق‌تر می‌سازد.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط Tianhui Ma, Yuan Cheng, Hengshu Zhu و Hui Xiong به نگارش درآمده است. این تیم پژوهشی در حوزه‌های بازیابی اطلاعات (Information Retrieval) و هوش مصنوعی (Artificial Intelligence) فعالیت می‌کنند که دو زمینه بسیار مهم و در هم تنیده در علم کامپیوتر محسوب می‌شوند.

بازیابی اطلاعات، علمی است که به سازماندهی، ذخیره‌سازی، بازیابی و تحلیل اطلاعات از مجموعه‌های بزرگ داده می‌پردازد. سیستم‌های توصیه‌گر خود زیرمجموعه‌ای از بازیابی اطلاعات هستند که هدفشان یافتن آیتم‌های مرتبط برای کاربران خاص است. از سوی دیگر، هوش مصنوعی چارچوبی گسترده‌تر است که شامل توسعه الگوریتم‌ها و مدل‌هایی می‌شود که قادر به تقلید از توانایی‌های شناختی انسان هستند، از جمله یادگیری، استدلال و تصمیم‌گیری. مدل‌های زبانی بزرگ، یکی از پیشرفته‌ترین دستاوردهای اخیر در حوزه هوش مصنوعی هستند.

تمرکز این مقاله بر روی تقاطع این دو حوزه، یعنی استفاده از LLMها در سیستم‌های توصیه‌گر، نشان‌دهنده یک رویکرد میان‌رشته‌ای است. نویسندگان با ترکیب دانش عمیق خود در هر دو زمینه، توانسته‌اند یک مشکل اساسی را شناسایی کرده و راهکاری نوآورانه برای آن ارائه دهند. این نوع تحقیقات که در مرزهای دانش انجام می‌شوند، اغلب پتانسیل تغییر پارادایم‌ها و ایجاد مسیرهای جدید برای پژوهش‌های آتی را دارند.

۳. چکیده و خلاصه محتوا

چکیده مقاله به وضوح مشکل اصلی را مطرح می‌کند: با وجود موفقیت‌های چشمگیر مدل‌های زبانی بزرگ (LLMs) در بسیاری از وظایف پردازش زبان طبیعی، علاقه فزاینده‌ای در میان محققان برای بررسی LLMها به عنوان سیستم‌های توصیه‌گر نوین وجود دارد. با این حال، همانطور که نویسندگان مشاهده کرده‌اند، استفاده مستقیم از LLMs به عنوان یک سیستم توصیه‌گر معمولاً ناپایدار است و دلیل اصلی آن، سوگیری موقعیتی ذاتی (inherent position bias) این مدل‌هاست.

سوگیری موقعیتی به این معنی است که ترتیب نمایش آیتم‌ها در ورودی به LLM می‌تواند به طور نامتناسبی بر خروجی توصیه تأثیر بگذارد، حتی اگر محتوای خود آیتم‌ها تغییری نکرده باشد. به عنوان مثال، اگر LLM لیستی از محصولات را برای رتبه‌بندی دریافت کند، ممکن است آیتم‌هایی که در ابتدای لیست قرار دارند را به طور ناعادلانه‌ای بهتر از آیتم‌های مشابهی که در انتهای لیست هستند، ارزیابی کند.

برای حل این مشکل، نویسندگان ابتدا یک تحقیق اکتشافی انجام داده‌اند تا الگوهای سازگار سوگیری موقعیتی در LLMها را که بر عملکرد توصیه در سناریوهای مختلف تأثیر می‌گذارند، شناسایی کنند. بر اساس این یافته‌ها، آن‌ها یک چارچوب احتمالاتی بیزی (Bayesian probabilistic framework) با نام STELLA (Stable LLM for Recommendation) پیشنهاد می‌کنند که شامل یک پایپ‌لاین دو مرحله‌ای است:

• مرحله اول: کاوش (Probing Stage): در این مرحله، با استفاده از یک مجموعه داده آشکارساز (probing detection dataset)، الگوهای سوگیری در یک ماتریس گذار (transition matrix) شناسایی می‌شوند. این ماتریس به مدل کمک می‌کند تا بفهمد چگونه موقعیت یک آیتم بر احتمال انتخاب یا امتیازدهی آن تأثیر می‌گذارد.
• مرحله دوم: توصیه (Recommendation Stage): در این مرحله، یک استراتژی بیزی (Bayesian strategy) به کار گرفته می‌شود تا خروجی سوگیرانه LLM را با استفاده از یک شاخص آنتروپی (entropy indicator) تنظیم کند. آنتروپی به عنوان معیاری برای عدم قطعیت یا تنوع در توزیع احتمالات خروجی LLM عمل می‌کند و به چارچوب کمک می‌کند تا زمانی که خروجی LLM کمتر قابل اعتماد است، اصلاحات قوی‌تری اعمال کند.

بنابراین، چارچوب STELLA می‌تواند از اطلاعات الگوی موجود برای کالیبراسیون ناپایداری LLMها استفاده کرده و عملکرد توصیه را بهبود بخشد. آزمایش‌های گسترده، اثربخشی این چارچوب را به وضوح تأیید می‌کنند.

۴. روش‌شناسی تحقیق

روش‌شناسی به کار گرفته شده در این مقاله برای حل مشکل ناپایداری LLMها در سیستم‌های توصیه‌گر، بسیار دقیق و نوآورانه است. همانطور که اشاره شد، قلب این روش چارچوب STELLA است که از یک رویکرد دو مرحله‌ای بهره می‌برد:

مشاهده و تحلیل سوگیری موقعیتی:

قبل از معرفی STELLA، محققان به طور سیستماتیک سوگیری موقعیتی در LLMها را مورد بررسی قرار دادند. آن‌ها مشاهده کردند که هنگام ارائه لیستی از آیتم‌ها به یک LLM برای ارزیابی یا رتبه‌بندی، موقعیت مکانی هر آیتم در لیست (مثلاً آیتم اول، آیتم وسط، آیتم آخر) تأثیر قابل توجهی بر نتیجه LLM دارد. این تأثیر می‌تواند منجر به نتایج غیرثابت و ناپایدار شود، به این معنی که اگر همان مجموعه آیتم‌ها با ترتیب متفاوتی به LLM ارائه شوند، خروجی توصیه ممکن است کاملاً متفاوت باشد. این ناپایداری برای یک سیستم توصیه‌گر که باید قابل اعتماد و قابل تکرار باشد، غیرقابل قبول است.

برای درک این الگوها، نویسندگان از یک تحقیق اکتشافی استفاده کردند. این تحقیق شامل آزمایش‌های متعددی بود که در آن ترتیب آیتم‌ها به طور سیستماتیک تغییر داده می‌شد و پاسخ‌های LLM ثبت می‌گردید. نتایج نشان داد که الگوهای سوگیری موقعیتی ثابت و قابل تشخیصی در LLMها وجود دارد که می‌توان آن‌ها را مدل‌سازی کرد.

چارچوب STELLA: پایپ‌لاین دو مرحله‌ای

برای مقابله با سوگیری‌های شناسایی شده، چارچوب STELLA طراحی شده است که از دو مرحله اصلی تشکیل می‌شود:

مرحله اول: کاوش برای شناسایی الگوها (First Probing Stage)

• هدف: شناسایی و کمّی‌سازی الگوهای سوگیری موقعیتی.
• ابزار: ماتریس گذار (Transition Matrix). این ماتریس برای ثبت چگونگی تأثیر موقعیت آیتم بر احتمال انتخاب یا امتیازدهی آن استفاده می‌شود. به عنوان مثال، اگر یک آیتم “A” در موقعیت ۱ به احتمال X توصیه شود و همان آیتم “A” در موقعیت ۵ به احتمال Y توصیه شود، ماتریس گذار این اطلاعات را ضبط می‌کند. این ماتریس در واقع یک نمایش آماری از چگونگی “گذار” یا تغییر ترجیحات LLM بر اساس تغییر موقعیت آیتم‌هاست.
• مجموعه داده: از یک مجموعه داده آشکارساز (Probing Detection Dataset) برای جمع‌آوری اطلاعات لازم جهت ساخت ماتریس گذار استفاده می‌شود. این مجموعه داده به گونه‌ای طراحی شده است که سناریوهای مختلف موقعیت آیتم‌ها را پوشش دهد تا الگوهای سوگیری به طور جامع شناسایی شوند. مثلاً، می‌توان آیتم‌های یکسان را در موقعیت‌های مختلف به LLM ارائه داد و واکنش آن را ثبت کرد تا سوگیری‌ها آشکار شوند.

مرحله دوم: توصیه با استراتژی بیزی (Second Recommendation Stage)

• هدف: تنظیم و کالیبره کردن خروجی سوگیرانه LLM بر اساس الگوهای شناسایی شده در مرحله اول.
• استراتژی: یک استراتژی بیزی (Bayesian Strategy) در اینجا به کار گرفته می‌شود. منطق بیزی به مدل اجازه می‌دهد تا دانش قبلی (priors) را که از مرحله کاوش به دست آمده (یعنی الگوهای سوگیری)، با مشاهدات جدید (خروجی خام LLM) ترکیب کند. به عبارت دیگر، LLM یک توصیه اولیه (احتمالاً سوگیرانه) ارائه می‌دهد، و سپس استراتژی بیزی با استفاده از ماتریس گذار، این توصیه را “اصلاح” می‌کند تا اثر سوگیری موقعیتی را کاهش دهد. این امر منجر به توصیه‌هایی می‌شود که کمتر به ترتیب ورودی حساس هستند.
• شاخص کمکی: شاخص آنتروپی (Entropy Indicator) نیز در این مرحله نقش مهمی ایفا می‌کند. آنتروپی یک معیار از میزان عدم قطعیت یا پراکندگی در یک توزیع احتمال است. در اینجا، شاخص آنتروپی می‌تواند برای سنجش میزان “اطمینان” یا “عدم اطمینان” LLM در خروجی‌هایش به کار رود. اگر LLM در مورد یک توصیه خاص (که ممکن است تحت تأثیر سوگیری موقعیتی باشد) عدم قطعیت بالایی (آنتروپی بالا) نشان دهد، استراتژی بیزی می‌تواند اصلاحات قوی‌تری را اعمال کند. این مکانیزم به STELLA اجازه می‌دهد تا به صورت دینامیک و هوشمندانه خروجی‌های LLM را تعدیل کند، به خصوص در مواردی که سوگیری بیشتر است یا LLM کمتر قابل اعتماد به نظر می‌رسد.

با ترکیب این دو مرحله، STELLA یک رویکرد جامع را برای استخراج الگوهای سوگیری و سپس استفاده از این الگوها برای کالیبراسیون و پایداری بخشیدن به خروجی‌های LLM در سیستم‌های توصیه‌گر ارائه می‌دهد. این چارچوب به طور مؤثری از داده‌های موجود برای بهبود عملکرد و افزایش اعتمادپذیری LLMها بهره می‌برد.

۵. یافته‌های کلیدی

نویسندگان برای اعتبار سنجی چارچوب STELLA، آزمایش‌های گسترده‌ای را روی مجموعه‌داده‌های مختلف انجام داده‌اند. نتایج این آزمایش‌ها به وضوح اثربخشی و برتری روش پیشنهادی آن‌ها را نسبت به رویکردهای مستقیم استفاده از LLMها یا سایر روش‌های پایه (baselines) تأیید می‌کند. یافته‌های کلیدی این پژوهش عبارتند از:

• کاهش محسوس سوگیری موقعیتی: یکی از مهم‌ترین دستاوردها، توانایی STELLA در کاهش چشمگیر سوگیری موقعیتی است. با استفاده از ماتریس گذار و استراتژی بیزی، چارچوب توانسته است تأثیر نامطلوب ترتیب آیتم‌ها بر توصیه‌های LLM را به طور مؤثری خنثی کند. این به معنای آن است که توصیه‌های سیستم، فارغ از نحوه چینش آیتم‌ها در ورودی اولیه، پایدارتر و سازگارتر هستند.
• افزایش پایداری سیستم: STELLA به طور قابل توجهی پایداری سیستم توصیه‌گر را بهبود بخشیده است. این پایداری به معنای تولید نتایج مشابه و قابل اعتماد در شرایط ورودی مختلف (با تغییر جزئی در ترتیب) است، که برای کاربرد عملی سیستم‌های توصیه‌گر حیاتی است. کاربران به سیستمی نیاز دارند که توصیه‌هایش ثابت و قابل پیش‌بینی باشند، نه اینکه با هر تغییر کوچکی در داده‌های ورودی، نتایج متناقضی ارائه دهد.
• بهبود عملکرد توصیه: علاوه بر پایداری، STELLA به طور همزمان عملکرد توصیه‌گر را نیز افزایش می‌دهد. این بهبود در معیارهای استاندارد ارزیابی سیستم‌های توصیه‌گر مانند دقت (Precision)، فراخوانی (Recall)، و Normalized Discounted Cumulative Gain (NDCG) مشاهده شده است. این نشان می‌دهد که توصیه‌های تولید شده توسط STELLA نه تنها پایدارتر هستند، بلکه از نظر کیفیت و ارتباط با ترجیحات کاربر نیز بهتر عمل می‌کنند. این چارچوب با جبران سوگیری‌ها، به LLM اجازه می‌دهد تا توانایی‌های ذاتی خود را در درک محتوا و تولید توصیه‌های مرتبط، به شکلی کارآمدتر به نمایش بگذارد.
• اثربخشی چارچوب بیزی و شاخص آنتروپی: نتایج نشان می‌دهند که هر دو جزء اصلی STELLA، یعنی استراتژی بیزی برای تعدیل خروجی و استفاده از شاخص آنتروپی برای وزن‌دهی به این تعدیلات، در افزایش کارایی چارچوب نقش کلیدی دارند. رویکرد بیزی با امکان ترکیب دانش قبلی (الگوهای سوگیری) با مشاهدات فعلی، یک روش قدرتمند برای اصلاح خروجی LLM فراهم می‌کند، و شاخص آنتروپی به چارچوب اجازه می‌دهد تا در مواقع لزوم، اصلاحات هدفمندتری را اعمال کند.

به طور خلاصه، یافته‌های این تحقیق به وضوح نشان می‌دهد که استفاده صرف از LLMها به عنوان توصیه‌گر بدون در نظر گرفتن سوگیری‌های ذاتی آن‌ها، می‌تواند منجر به نتایج ناپایدار و ناکارآمد شود. اما با اعمال چارچوب STELLA، می‌توان این مشکلات را برطرف کرده و از توانایی‌های قدرتمند LLMها به شکلی پایدار و مؤثر در سیستم‌های توصیه‌گر بهره‌برداری کرد.

۶. کاربردها و دستاوردها

دستاورد اصلی این مقاله، ارائه یک چارچوب عملی و مؤثر برای تبدیل مدل‌های زبانی بزرگ از ابزارهای ناپایدار به سیستم‌های توصیه‌گر قابل اعتماد است. این موفقیت پیامدهای گسترده‌ای برای صنایع مختلف و تحقیقات آینده دارد:

کاربردهای عملی:

• تجارت الکترونیک و خرده‌فروشی آنلاین: پلتفرم‌های بزرگی مانند آمازون یا دیجی‌کالا می‌توانند از STELLA برای ارائه توصیه‌های محصول دقیق‌تر و ثابت‌تر استفاده کنند. این امر می‌تواند منجر به افزایش نرخ تبدیل، رضایت مشتری و فروش شود. به عنوان مثال، اگر یک مشتری چندین بار به یک محصول خاص علاقه نشان دهد، سیستم توصیه‌گر مبتنی بر STELLA اطمینان حاصل می‌کند که آن محصول به طور مداوم و در اولویت‌های مناسب به مشتری پیشنهاد شود، بدون اینکه سوگیری موقعیتی LLM بر آن تأثیر بگذارد.
• سرویس‌های پخش محتوا (Streaming Services): نتفلیکس، اسپاتیفای و یوتیوب می‌توانند با استفاده از این چارچوب، توصیه‌های فیلم، موسیقی، پادکست و ویدیو را شخصی‌سازی کنند. این به کاربران کمک می‌کند تا محتوای مورد علاقه خود را سریع‌تر پیدا کنند و تجربه کاربری کلی آن‌ها بهبود یابد. برای مثال، اگر LLM قرار است لیستی از فیلم‌ها را برای پیشنهاد به کاربر تولید کند، STELLA تضمین می‌کند که رتبه‌بندی فیلم‌ها صرفاً به دلیل موقعیت آن‌ها در لیست ورودی LLM تغییر نکند.
• پلتفرم‌های خبری و اطلاعاتی: وب‌سایت‌های خبری و پلتفرم‌های جمع‌آوری مقاله می‌توانند مقالات و محتوای خبری مرتبط‌تر را به کاربران پیشنهاد دهند، که باعث افزایش درگیری و ماندگاری کاربر می‌شود.
• سیستم‌های توصیه‌گر آکادمیک: در زمینه پژوهش و آموزش، STELLA می‌تواند برای توصیه مقالات علمی، دوره‌های آموزشی یا کتاب‌های درسی به دانشجویان و محققان مورد استفاده قرار گیرد.
• تبلیغات هدفمند: ارائه تبلیغات مرتبط‌تر به کاربران بر اساس تاریخچه مرور و ترجیحات آن‌ها، می‌تواند اثربخشی کمپین‌های تبلیغاتی را به شدت افزایش دهد.

دستاوردها و اهمیت استراتژیک:

• پل زدن بین LLM و RS: این تحقیق شکاف بین قابلیت‌های قدرتمند LLM در درک زبان و نیازهای خاص سیستم‌های توصیه‌گر را پر می‌کند. با حل مشکل ناپایداری، مسیر برای ادغام گسترده‌تر LLMها در سیستم‌های توصیه‌گر باز می‌شود.
• افزایش اعتماد به AI: با ارائه توصیه‌های پایدار و منطقی‌تر، اعتماد کاربران به سیستم‌های هوش مصنوعی افزایش می‌یابد. این امر در بلندمدت برای پذیرش عمومی فناوری‌های AI حیاتی است.
• بهبود تجربه کاربری: توصیه‌های دقیق‌تر و مرتبط‌تر مستقیماً به تجربه کاربری بهتر منجر می‌شود، که برای هر پلتفرم دیجیتالی یک مزیت رقابتی محسوب می‌گردد.
• مسیر برای تحقیقات آتی: این مقاله نه تنها یک مشکل را حل می‌کند، بلکه مسیرهای جدیدی را برای تحقیقات آینده در زمینه ترکیب LLMها با مدل‌های سنتی هوش مصنوعی و ایجاد سیستم‌های ترکیبی قوی‌تر و پایدارتر باز می‌کند. به عنوان مثال، محققان می‌توانند به بررسی سوگیری‌های دیگر LLMها (غیر از سوگیری موقعیتی) و راه‌حل‌های مشابه بپردازند.

به طور کلی، چارچوب STELLA نشان‌دهنده گام مهمی در جهت استفاده پایدار و بهینه از پتانسیل مدل‌های زبانی بزرگ در کاربردهای دنیای واقعی است. این دستاورد به صنایع مختلف کمک می‌کند تا از مزایای هوش مصنوعی مولد به بهترین شکل ممکن بهره‌مند شوند و تجربه شخصی‌سازی شده‌تری را برای کاربران خود فراهم آورند.

۷. نتیجه‌گیری

در نهایت، مقاله “مدل‌های زبانی بزرگ، سیستم‌های توصیه‌گر پایداری نیستند” به وضوح نشان می‌دهد که با وجود توانایی‌های بی‌نظیر مدل‌های زبانی بزرگ (LLMs) در پردازش زبان طبیعی، استفاده مستقیم از آن‌ها به عنوان سیستم‌های توصیه‌گر با چالش‌های اساسی و ذاتی همراه است. مهم‌ترین این چالش‌ها، ناپایداری و وجود سوگیری موقعیتی (positional bias) است که می‌تواند منجر به توصیه‌های متناقض و غیرقابل اعتماد شود.

برای غلبه بر این محدودیت، نویسندگان چارچوب نوآورانه STELLA (Stable LLM for Recommendation) را معرفی کرده‌اند. این چارچوب با رویکردی دو مرحله‌ای، ابتدا الگوهای سوگیری موقعیتی را از طریق یک ماتریس گذار و مجموعه داده آشکارساز شناسایی می‌کند (مرحله کاوش). سپس، با بهره‌گیری از یک استراتژی بیزی و شاخص آنتروپی، خروجی‌های سوگیرانه LLM را تعدیل و کالیبره می‌نماید تا توصیه‌هایی پایدارتر و دقیق‌تر ارائه دهد (مرحله توصیه).

آزمایش‌های جامع و نتایج ارائه شده در مقاله، به روشنی تأیید می‌کنند که STELLA نه تنها قادر به کاهش چشمگیر سوگیری‌های موقعیتی است، بلکه به طور همزمان پایداری و عملکرد کلی سیستم‌های توصیه‌گر را بهبود می‌بخشد. این دستاورد اهمیت حیاتی دارد، زیرا راه را برای بهره‌برداری مؤثر و اعتمادپذیر از LLMها در طیف وسیعی از کاربردهای عملی، از تجارت الکترونیک گرفته تا سرویس‌های پخش محتوا، هموار می‌سازد.

این پژوهش نه تنها یک مشکل فنی مهم را حل می‌کند، بلکه درک ما را از پیچیدگی‌های به‌کارگیری هوش مصنوعی پیشرفته در سناریوهای کاربردی عمیق‌تر می‌سازد. STELLA به عنوان یک نقطه عطف، نشان می‌دهد که ترکیب هوشمندانه مدل‌های نوین (مانند LLM) با اصول احتمالاتی و آماری (مانند رویکرد بیزی)، می‌تواند به نتایجی فراتر از قابلیت‌های هر یک به تنهایی منجر شود. امید است که این مقاله الهام‌بخش تحقیقات آتی برای کشف و رفع سایر محدودیت‌های LLMها در سیستم‌های هوشمند پیچیده باشد.