معرفی مقاله و اهمیت آن

مدل‌های زبانی بزرگ مبتنی بر ترانسفورمر (LLMs)، به ویژه آن‌هایی که بر روی حجم عظیمی از داده‌های متنی پیش‌آموزش دیده‌اند، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها در طیف گسترده‌ای از وظایف، از ترجمه ماشینی و خلاصه‌سازی متن گرفته تا پاسخ‌دهی به سؤالات و تولید محتوا، عملکردی بی‌نظیر از خود نشان داده‌اند. با این حال، علی‌رغم توانایی‌های چشمگیرشان، نحوه عملکرد درونی این مدل‌ها و چگونگی توزیع مهارت‌های لازم برای انجام وظایف مختلف در میان پارامترهای پیچیده آن‌ها، همچنان یک جعبه سیاه باقی مانده است. درک این مکانیسم‌های داخلی نه تنها از جنبه کنجکاوی علمی مهم است، بلکه برای بهبود، بهینه‌سازی و افزایش قابلیت اعتماد این سیستم‌ها نیز حیاتی است.

مقاله “یافتن نورون‌های مهارت در مدل‌های زبانی ترانسفورمر پیش‌آموزش‌دیده” (Finding Skill Neurons in Pre-trained Transformer-based Language Models) به قلم Xiaozhi Wang و همکارانش، گامی مهم در جهت روشن کردن این جعبه سیاه برمی‌دارد. این تحقیق با هدف شناسایی و درک “نورون‌های مهارت” (Skill Neurons) در مدل‌های ترانسفورمر پیش‌آموزش‌دیده انجام شده است. این نورون‌ها به عنوان واحدهای محاسباتی در شبکه عصبی تعریف می‌شوند که فعال‌سازی آن‌ها پس از تنظیم با روش “پرامپت تیونینگ” (Prompt Tuning) برای یک وظیفه خاص، به شدت پیش‌بینی‌کننده برچسب‌های آن وظیفه هستند. اهمیت این پژوهش در این است که با فراهم آوردن بینشی عمیق‌تر نسبت به چگونگی رمزگذاری مهارت‌ها در مدل‌های زبانی، راه را برای توسعه مدل‌های قابل فهم‌تر، کارآمدتر و حتی ایمن‌تر هموار می‌سازد.

نویسندگان و زمینه تحقیق

این مقاله توسط تیمی از محققان برجسته شامل Xiaozhi Wang, Kaiyue Wen, Zhengyan Zhang, Lei Hou, Zhiyuan Liu و Juanzi Li به رشته تحریر درآمده است. با توجه به نام برخی از نویسندگان و اطلاعات عمومی موجود، این تیم اغلب با گروه مهندسی دانش (Knowledge Engineering Group – THU-KEG) در دانشگاه Tsinghua چین مرتبط هستند که یکی از مراکز پیشرو در تحقیقات هوش مصنوعی و پردازش زبان طبیعی در جهان به شمار می‌رود. زمینه اصلی این تحقیق در مرز بین یادگیری ماشین، پردازش زبان طبیعی و هوش مصنوعی قابل تفسیر (Explainable AI – XAI) قرار دارد.

پژوهش در زمینه هوش مصنوعی قابل تفسیر به دنبال پاسخ به این سؤال است که “چرا یک مدل هوش مصنوعی تصمیم خاصی را می‌گیرد؟” یا “چگونه می‌توانیم به یک مدل اعتماد کنیم؟” در مورد مدل‌های زبانی ترانسفورمر، این سؤالات از اهمیت ویژه‌ای برخوردارند، زیرا این مدل‌ها به طور فزاینده‌ای در کاربردهای حیاتی مانند تشخیص پزشکی، سیستم‌های حقوقی و دستیاران هوشمند مورد استفاده قرار می‌گیرند. درک مکانیسم‌های زیربنایی که به مدل‌ها امکان انجام وظایف پیچیده را می‌دهد، برای ساخت سیستم‌های قابل اعتمادتر و شفاف‌تر ضروری است.

این تحقیق به طور خاص در دسته‌بندی‌های “محاسبات و زبان” (Computation and Language) و “یادگیری ماشین” (Machine Learning) قرار می‌گیرد که نشان‌دهنده ماهیت بین‌رشته‌ای آن است. این گروه‌ها نشان می‌دهند که تحقیق حاضر هم به جنبه‌های نظری و کاربردی یادگیری ماشین برای مسائل زبانی می‌پردازد و هم به چالش‌های بنیادین در درک مدل‌های محاسباتی زبان می‌پردازد.

چکیده و خلاصه محتوا

چکیده مقاله به وضوح هدف، روش و یافته‌های اصلی پژوهش را بیان می‌کند. در هسته اصلی این تحقیق، سؤال چگونگی توزیع مهارت‌های مورد نیاز برای انجام وظایف مختلف در پارامترهای مدل‌های ترانسفورمر قرار دارد. نویسندگان نشان می‌دهند که پس از تنظیم مدل با روش “پرامپت تیونینگ” برای وظایف خاص، فعال‌سازی برخی از نورون‌ها در ترانسفورمرهای پیش‌آموزش‌دیده، توانایی بالایی در پیش‌بینی برچسب‌های وظیفه دارند. این نورون‌ها به عنوان “نورون‌های مهارت” نام‌گذاری شده‌اند.

پژوهشگران با انجام آزمایش‌های دقیق، ماهیت و ویژگی‌های این نورون‌های مهارت را تأیید می‌کنند. یافته‌های کلیدی آن‌ها شامل موارد زیر است:

• اهمیت حیاتی نورون‌های مهارت: عملکرد مدل‌های ترانسفورمر پیش‌آموزش‌دیده بر روی یک وظیفه، با اختلال در نورون‌های مهارت مربوطه، به طور قابل توجهی کاهش می‌یابد. این نشان می‌دهد که این نورون‌ها نقش اساسی در انجام وظایف ایفا می‌کنند.
• خاص‌بودن نورون‌های مهارت برای وظایف: نورون‌های مهارت برای هر وظیفه خاص هستند؛ به این معنی که مجموعه‌ای از نورون‌ها برای یک وظیفه فعال می‌شوند که ممکن است برای وظیفه دیگری متفاوت باشد. با این حال، وظایف مشابه تمایل دارند که توزیع‌های مشابهی از نورون‌های مهارت را به اشتراک بگذارند.

علاوه بر این، مقاله نشان می‌دهد که نورون‌های مهارت به احتمال زیاد در مرحله “پیش‌آموزش” (Pre-training) مدل شکل می‌گیرند، نه صرفاً در مرحله تنظیم دقیق (Fine-tuning). این نتیجه با مشاهده اینکه نورون‌های مهارت یافت شده با پرامپت تیونینگ، برای سایر روش‌های تنظیم دقیق که وزن نورون‌ها را ثابت نگه می‌دارند (مانند “اداپتر-بیس تیونینگ” (adapter-based tuning) و “بیت‌فیت” (BitFit)) نیز حیاتی هستند، پشتیبانی می‌شود. در نهایت، نویسندگان کاربردهای عملی این کشف را بررسی می‌کنند، از جمله تسریع ترانسفورمرها از طریق “هرس شبکه” (network pruning) و ساخت شاخص‌های بهتر برای “قابلیت انتقال” (transferability). این یافته‌ها مسیرهای جدیدی را برای تحقیقات بیشتر در زمینه درک عمیق‌تر مدل‌های ترانسفورمر باز می‌کند.

روش‌شناسی تحقیق

برای کشف و اعتبارسنجی نورون‌های مهارت، نویسندگان از یک رویکرد چندمرحله‌ای و سیستماتیک بهره گرفتند. قلب روش‌شناسی آن‌ها بر پایه “پرامپت تیونینگ” (Prompt Tuning) استوار است. در این روش، به جای تنظیم تمام پارامترهای مدل ترانسفورمر برای یک وظیفه جدید (که در فاین‌تیونینگ سنتی انجام می‌شود)، تنها چند “توکن نرم” (soft tokens) به ورودی مدل اضافه و آموزش داده می‌شوند، در حالی که وزن‌های اصلی مدل ثابت می‌مانند. این رویکرد به مدل اجازه می‌دهد تا بدون تغییر معماری یا وزن‌های پیش‌آموزش‌دیده‌اش، با وظیفه جدید سازگار شود و امکان مشاهده فعال‌سازی‌های نورونی مرتبط با مهارت‌های خاص را فراهم می‌آورد.

پس از تنظیم مدل با پرامپت تیونینگ برای یک وظیفه خاص، محققان به شناسایی نورون‌هایی پرداختند که فعال‌سازی آن‌ها به شدت با برچسب‌های آن وظیفه همبستگی دارد. این نورون‌ها به عنوان “نورون‌های مهارت” نام‌گذاری شدند. برای اعتبارسنجی این ادعا، دو مجموعه آزمایش کلیدی انجام شد:

• آزمایش‌های اخلال (Perturbation Experiments): برای تأیید اهمیت حیاتی نورون‌های مهارت، محققان به طور سیستماتیک فعال‌سازی این نورون‌ها را در حین انجام وظیفه دچار اخلال کردند. این اخلال می‌تواند شامل صفر کردن فعال‌سازی‌ها (killing neurons) یا تصادفی کردن آن‌ها باشد. اگر مدل پس از اخلال در نورون‌های مهارت مربوطه، در انجام وظیفه به طور قابل توجهی افت کند، این نشان‌دهنده نقش کلیدی آن‌هاست. این رویکرد به وضوح نشان داد که حذف یا تغییر فعال‌سازی این نورون‌ها، مستقیماً منجر به کاهش شدید عملکرد مدل می‌شود.
• تحلیل خاص‌بودن وظیفه (Task-Specificity Analysis): برای بررسی اینکه آیا نورون‌های مهارت برای وظایف مختلف، خاص هستند یا خیر، محققان توزیع نورون‌های مهارت را در میان وظایف مختلف (مانند تحلیل احساسات، تشخیص نام‌گذاری شده و غیره) مقایسه کردند. آن‌ها دریافتند که در حالی که هر وظیفه مجموعه منحصر به فردی از نورون‌های مهارت را فعال می‌کند، وظایف مرتبط (مثلاً دو وظیفه طبقه‌بندی متن) تمایل دارند که همپوشانی بیشتری در نورون‌های مهارت خود داشته باشند. این تحلیل با استفاده از معیارهای تشابه مانند ضریب جاکارد یا همبستگی فعال‌سازی‌ها بین مجموعه‌های نورونی انجام شد.

یکی از جنبه‌های نوآورانه روش‌شناسی، تلاش برای تعیین منشأ نورون‌های مهارت بود؛ اینکه آیا آن‌ها در طول پیش‌آموزش شکل می‌گیرند یا تنها در طول تنظیم دقیق. برای این منظور، نویسندگان روش‌های تنظیم دقیق دیگری را بررسی کردند که وزن‌های اصلی مدل را ثابت نگه می‌دارند، مانند “اداپتر-بیس تیونینگ” و “بیت‌فیت”. این روش‌ها تنها بخش کوچکی از مدل را برای وظایف جدید آموزش می‌دهند. با نشان دادن اینکه نورون‌های مهارت کشف شده با پرامپت تیونینگ همچنان برای این روش‌ها نیز حیاتی هستند، محققان به این نتیجه رسیدند که ریشه‌های این مهارت‌ها عمیق‌تر بوده و در فاز پیش‌آموزش شکل گرفته‌اند، نه صرفاً در تنظیمات بعدی.

یافته‌های کلیدی

این پژوهش به چندین یافته محوری دست یافت که درک ما از مدل‌های ترانسفورمر را به شکل قابل توجهی افزایش می‌دهد:

• وجود و شناسایی نورون‌های مهارت: مهم‌ترین دستاورد، تأیید وجود نورون‌هایی در مدل‌های ترانسفورمر پیش‌آموزش‌دیده است که فعال‌سازی آن‌ها پس از پرامپت تیونینگ، به شدت با برچسب‌های وظایف خاص همبستگی دارد. این نورون‌ها به عنوان “نورون‌های مهارت” شناخته شدند و می‌توانند با استفاده از روش‌های آماری و تحلیلی شناسایی شوند. این کشف نشان می‌دهد که مدل‌ها ساختار داخلی سازمان‌یافته‌ای برای مدیریت مهارت‌ها دارند.
• نقش حیاتی در عملکرد وظیفه: آزمایش‌های اخلال به وضوح نشان داد که نورون‌های مهارت برای انجام وظایف مربوطه بسیار حیاتی هستند. هنگامی که فعال‌سازی این نورون‌ها دستکاری یا غیرفعال می‌شوند (مثلاً با تنظیم آن‌ها به صفر)، عملکرد مدل بر روی آن وظیفه به شدت افت می‌کند. این افت عملکرد، گواهی قاطع بر نقش ضروری این نورون‌ها در توانایی مدل برای حل یک مشکل خاص است. به عنوان مثال، در یک وظیفه “تحلیل احساسات” (Sentiment Analysis)، اگر نورون‌های مسئول تشخیص احساسات مثبت یا منفی دچار اختلال شوند، مدل دیگر قادر به طبقه‌بندی صحیح احساسات نخواهد بود.
• خاص‌بودن وظیفه و اشتراک مهارت‌ها: یافته‌ها نشان داد که نورون‌های مهارت به طور کلی برای هر وظیفه خاص هستند. به این معنی که مجموعه‌ای از نورون‌ها برای انجام یک وظیفه فعال می‌شوند که ممکن است با مجموعه فعال‌شده برای وظیفه دیگر تفاوت داشته باشد. با این حال، یک نکته ظریف و مهم این است که وظایف مشابه (مانند دو وظیفه طبقه‌بندی متن با ماهیت معنایی نزدیک) تمایل دارند که توزیع‌های مشابهی از نورون‌های مهارت را به اشتراک بگذارند. این نشان می‌دهد که مدل‌ها می‌توانند مهارت‌های پایه مشترکی را برای خانواده‌ای از وظایف توسعه دهند. به عنوان مثال، تشخیص موجودیت‌های نام‌گذاری شده (NER) و بخش‌بندی کلام (POS tagging) هر دو به درک ساختار گرامری و معنایی کلمه-به-کلمه نیاز دارند و ممکن است برخی نورون‌های مهارت را به اشتراک بگذارند، در حالی که یک وظیفه خلاصه‌سازی متن به مهارت‌های سطح بالاتری از درک ساختار کلی متن نیاز دارد.
• شکل‌گیری در مرحله پیش‌آموزش: یکی از مهم‌ترین یافته‌های نظری این مقاله، شواهد محکمی است که نشان می‌دهد نورون‌های مهارت عمدتاً در مرحله “پیش‌آموزش” مدل‌های ترانسفورمر شکل می‌گیرند، نه صرفاً در مرحله تنظیم دقیق. این نتیجه با بررسی عملکرد نورون‌های مهارت در روش‌های تنظیم دقیقی مانند “اداپتر-بیس تیونینگ” و “بیت‌فیت” به دست آمد که در آن‌ها بیشتر وزن‌های مدل ثابت می‌مانند. این امر دلالت بر این دارد که مدل‌های زبانی بزرگ، پیش از اینکه برای وظایف خاصی آموزش ببینند، توانایی‌های استخراج ویژگی‌ها و مهارت‌های شناختی پیچیده‌ای را در خود رمزگذاری می‌کنند که بعداً برای وظایف مختلف مورد استفاده قرار می‌گیرند. این بینش، درک ما از چگونگی “یادگیری” این مدل‌ها را عمیق‌تر می‌کند.

کاربردها و دستاوردها

کشف نورون‌های مهارت و درک ویژگی‌های آن‌ها، افق‌های جدیدی را برای کاربردهای عملی و دستاوردهای علمی در زمینه مدل‌های زبانی ترانسفورمر باز می‌کند. این دستاوردها نه تنها به افزایش کارایی مدل‌ها کمک می‌کنند، بلکه به فهم عمیق‌تر و ساخت مدل‌های قابل اعتمادتر نیز منجر می‌شوند:

• تسریع ترانسفورمرها با هرس شبکه (Network Pruning): یکی از چالش‌های بزرگ در استفاده از مدل‌های ترانسفورمر، اندازه و پیچیدگی بالای آن‌ها است که منجر به مصرف منابع محاسباتی زیاد و زمان طولانی برای استنتاج می‌شود. با شناسایی نورون‌های مهارت، می‌توانیم نورون‌هایی را که برای یک وظیفه خاص غیرضروری هستند، هرس (prune) کنیم. این به معنای حذف یا غیرفعال کردن دائمی وزن‌های مربوط به آن نورون‌ها است. این رویکرد به کاهش قابل توجه اندازه مدل و در نتیجه تسریع فرآیند استنتاج کمک می‌کند، بدون اینکه عملکرد مدل به طور چشمگیری افت کند. به عنوان مثال، اگر یک مدل برای وظیفه تحلیل احساسات بهینه‌سازی شود، می‌توان نورون‌های مرتبط با وظایف ترجمه یا خلاصه‌سازی را که در این مورد خاص غیرفعال هستند، حذف کرد.
• ساخت شاخص‌های بهتر برای قابلیت انتقال (Transferability Indicators): قابلیت انتقال به این معناست که یک مدل آموزش‌دیده بر روی یک وظیفه، تا چه حد می‌تواند برای وظیفه دیگر مفید باشد. در حال حاضر، پیش‌بینی قابلیت انتقال یک مدل بین دو وظیفه مختلف کار دشواری است و اغلب نیازمند آزمایش‌های پرهزینه است. با درک اینکه نورون‌های مهارت خاص وظایف هستند اما وظایف مشابه، نورون‌های مهارت مشترکی دارند، می‌توان از میزان همپوشانی یا شباهت در توزیع نورون‌های مهارت بین دو وظیفه به عنوان یک شاخص قوی برای قابلیت انتقال استفاده کرد. اگر دو وظیفه تعداد زیادی نورون مهارت مشترک داشته باشند، می‌توان پیش‌بینی کرد که مدل آموزش‌دیده بر روی یکی، به خوبی به دیگری منتقل خواهد شد. این امر می‌تواند فرآیند انتخاب مدل و بهینه‌سازی آموزش را بسیار کارآمدتر کند.
• افزایش قابلیت تفسیر و شفافیت (Interpretability and Transparency): شناسایی نورون‌های مهارت گامی بزرگ در جهت تبدیل مدل‌های ترانسفورمر از “جعبه سیاه” به “جعبه شفاف” است. با دانستن اینکه کدام بخش‌های مدل مسئول کدام مهارت‌ها هستند، می‌توانیم درک بهتری از چگونگی تصمیم‌گیری مدل‌ها پیدا کنیم. این امر به ویژه در کاربردهای حساس که نیاز به اعتماد و پاسخگویی بالا دارند، بسیار مهم است. درک عمیق‌تر از مکانیسم‌های داخلی مدل می‌تواند به ما در شناسایی تعصبات احتمالی (biases) یا نقاط ضعف مدل نیز کمک کند.
• توسعه روش‌های نوین آموزش و مهندسی پرامپت: با دانستن اینکه مهارت‌ها در کدام نورون‌ها رمزگذاری شده‌اند و عمدتاً در مرحله پیش‌آموزش شکل می‌گیرند، می‌توان رویکردهای جدیدی را برای طراحی مدل‌ها و روش‌های آموزشی ابداع کرد که به طور صریح، یادگیری مهارت‌های خاص را هدف قرار می‌دهند. همچنین، این دانش می‌تواند در طراحی پرامپت‌های کارآمدتر کمک کند تا مدل‌ها بتوانند با استفاده از نورون‌های مهارت موجود، بهترین عملکرد را از خود نشان دهند.

در مجموع، این یافته‌ها فراتر از یک کشف نظری هستند و پتانسیل بالایی برای تأثیرگذاری بر طراحی، بهینه‌سازی و استفاده از نسل‌های بعدی مدل‌های زبانی دارند.

نتیجه‌گیری

تحقیق “یافتن نورون‌های مهارت در مدل‌های زبانی ترانسفورمر پیش‌آموزش‌دیده” گامی اساسی و روشنگر در جهت رمزگشایی از پیچیدگی‌های داخلی مدل‌های زبانی بزرگ است. این مطالعه نه تنها به طور تجربی وجود “نورون‌های مهارت” را در ترانسفورمرهای پیش‌آموزش‌دیده تأیید می‌کند، بلکه با ارائه شواهدی مستحکم، اهمیت حیاتی، خاص‌بودن برای وظایف و ریشه‌های پیش‌آموزشی این نورون‌ها را به اثبات می‌رساند. این یافته‌ها، درک ما از چگونگی عملکرد این مدل‌ها را به طور چشمگیری بهبود می‌بخشند.

مهم‌ترین پیامد این پژوهش، فراهم آوردن بینشی عمیق‌تر نسبت به ساختار محاسباتی و توزیع مهارت‌ها در مدل‌های ترانسفورمر است. مشخص شد که این مدل‌ها صرفاً مجموعه‌ای از پارامترهای تصادفی نیستند، بلکه دارای یک سازمان‌دهی داخلی هستند که در آن، نورون‌های خاصی مسئول رمزگذاری مهارت‌های لازم برای انجام وظایف مشخصی هستند. این کشف از این جهت حائز اهمیت است که نشان می‌دهد حتی در غیاب فاین‌تیونینگ صریح برای یک وظیفه، مدل‌های پیش‌آموزش‌دیده، مجموعه‌ای از مهارت‌های عمومی را توسعه داده‌اند که می‌توانند با روش‌هایی مانند پرامپت تیونینگ، فعال و برای وظایف خاص مورد استفاده قرار گیرند.

کاربردهای عملی این تحقیق گسترده و تاثیرگذار هستند. از “هرس شبکه” برای ساخت مدل‌های سریع‌تر و کم‌مصرف‌تر گرفته تا توسعه “شاخص‌های قابلیت انتقال” برای بهینه‌سازی فرآیندهای آموزش و انتخاب مدل، این پژوهش ابزارهای جدیدی را در اختیار محققان و مهندسان قرار می‌دهد. علاوه بر این، این مطالعه به طور مستقیم به هدف بزرگ‌تر “هوش مصنوعی قابل تفسیر” (XAI) کمک می‌کند و شفافیت بیشتری را در عملکرد مدل‌های زبانی فراهم می‌آورد که برای پذیرش گسترده و مسئولانه این فناوری‌ها ضروری است.

در نهایت، این پژوهش راه را برای تحقیقات آتی هموار می‌کند. سؤالاتی نظیر چگونگی تکامل نورون‌های مهارت در طول فرآیند پیش‌آموزش، یا اینکه آیا می‌توان نورون‌های مهارت را به طور مصنوعی و هدفمند برای وظایف جدید مهندسی کرد، از جمله مسیرهایی هستند که می‌توانند در آینده مورد بررسی قرار گیرند. با پیشرفت در این زمینه‌ها، می‌توانیم به سمت ساخت مدل‌های زبانی هوشمندتر، کارآمدتر، قابل اعتمادتر و نهایتاً قابل فهم‌تر گام برداریم. این مقاله نمونه‌ای درخشان از تحقیقاتی است که می‌تواند پلی بین عملکرد خارق‌العاده مدل‌های مدرن و درک بنیادین از نحوه عملکرد آن‌ها ایجاد کند.