در سال‌های اخیر، دنیای هوش مصنوعی شاهد ظهور مدل‌های زبان بزرگ (Large Language Models – LLMs) بوده است که توانایی‌های شگفت‌انگیزی در تولید و درک زبان انسان از خود نشان داده‌اند. با این حال، این قدرت چشمگیر با دو چالش اساسی همراه است: پیچیدگی و عدم شفافیت. این مدل‌ها که اغلب به عنوان “جعبه سیاه” شناخته می‌شوند، فرآیند تصمیم‌گیری خود را پنهان می‌کنند. این ویژگی، استفاده از آن‌ها را در حوزه‌های حساسی مانند پزشکی، حقوق و امور مالی که در آن‌ها پاسخگویی و اعتماد ضروری است، با محدودیت جدی مواجه می‌کند. علاوه بر این، حجم عظیم و نیاز محاسباتی بالای این مدل‌ها، کاربرد آن‌ها را در دستگاه‌های با منابع محدود ناممکن می‌سازد.

مقاله “تقویت مدل‌های تفسیری با LLMها در حین آموزش” که توسط تیمی از محققان برجسته ارائه شده است، یک راه‌حل هوشمندانه و نوآورانه برای این چالش دوگانه ارائه می‌دهد. این مقاله به جای تلاش برای تفسیر خود LLMها، پارادایم جدیدی را معرفی می‌کند که در آن از دانش عظیم LLMها برای آموزش و تقویت مدل‌های کوچک، سریع و کاملاً تفسیرپذیر استفاده می‌شود. این رویکرد، پلی میان قدرت پیش‌بینی مدل‌های غول‌پیکر و شفافیت و کارایی مدل‌های کلاسیک ایجاد می‌کند و راه را برای ساخت سیستم‌های هوش مصنوعی قابل اعتماد و کارآمد هموار می‌سازد.

این پژوهش توسط تیمی از دانشمندان برجسته در آزمایشگاه تحقیقاتی مایکروسافت (Microsoft Research) به انجام رسیده است: چندان سینگ (Chandan Singh)، آرمین عسکری (Armin Askari)، ریچ کاروانا (Rich Caruana) و جیانفنگ گائو (Jianfeng Gao). این محققان، که هر یک سوابق درخشانی در زمینه یادگیری ماشین، پردازش زبان طبیعی و به ویژه هوش مصنوعی قابل توضیح (XAI) دارند، تخصص خود را برای حل یکی از مهم‌ترین معضلات هوش مصنوعی مدرن به کار گرفته‌اند. این مقاله در تقاطع علوم کامپیوتر، زبان‌شناسی محاسباتی و یادگیری ماشین قرار می‌گیرد و به دنبال ایجاد تعادل میان دقت و شفافیت در مدل‌های هوشمند است.

ایده اصلی مقاله حول یک چارچوب جدید به نام مدل‌های تفسیری تقویت‌شده (Augmented Interpretable Models – Aug-imodels) شکل گرفته است. فلسفه اصلی این چارچوب بسیار ساده و در عین حال قدرتمند است: استفاده از LLM به عنوان یک “معلم” یا “استاد” در مرحله آموزش، و نه به عنوان ابزار پیش‌بینی نهایی.

در این رویکرد، یک LLM پیشرفته (مانند مدل‌های سری GPT) ابتدا دانش نهفته در داده‌های متنی را استخراج می‌کند. سپس این دانش استخراج‌شده، که شامل مفاهیم پیچیده و روابط معنایی است، به یک مدل یادگیری ماشین ساده و کلاسیک (مانند یک درخت تصمیم یا یک مدل افزایشی تعمیم‌یافته) منتقل می‌شود. در نهایت، این مدل ساده که حالا با دانش LLM “تقویت” شده است، برای پیش‌بینی و استنتاج (inference) به کار گرفته می‌شود.

نتیجه این فرآیند، مدلی است که بهترین ویژگی‌های هر دو جهان را به ارث برده است: دقت بالای آن مدیون دانش عمیق LLM است، در حالی که سرعت، کارایی و شفافیت کامل خود را از ساختار ساده و قابل فهمش می‌گیرد. در زمان استفاده، دیگر هیچ نیازی به اجرای LLM سنگین و پرهزینه نیست، که این امر به بهبود سرعت و حافظه به میزان بیش از ۱,۰۰۰ برابر منجر می‌شود.

چارچوب Aug-imodels یک فرآیند دو مرحله‌ای برای انتقال دانش از یک مدل پیچیده به یک مدل ساده است. این مقاله دو پیاده‌سازی مشخص از این چارچوب را معرفی و ارزیابی می‌کند:

• Aug-GAM: تقویت یک مدل افزایشی تعمیم‌یافته (Generalized Additive Model).
• Aug-Tree: تقویت یک درخت تصمیم (Decision Tree).

در ادامه، هر یک از این روش‌ها با جزئیات بیشتری بررسی می‌شوند.

مدل‌های افزایشی تعمیم‌یافته (GAMs) به دلیل شفافیت بالای خود مشهور هستند. در یک GAM، پیش‌بینی نهایی از جمع تاثیرات مستقل هر ویژگی به دست می‌آید. این ساختار به ما اجازه می‌دهد تا سهم دقیق هر کلمه یا ویژگی را در تصمیم نهایی مشاهده و تحلیل کنیم. با این حال، GAMهای سنتی اغلب در درک روابط پیچیده میان کلمات ضعیف عمل می‌کنند.

در روش Aug-GAM، محققان از یک LLM برای استخراج “تعبیه‌سازی‌های تفکیک‌شده” (decoupled embeddings) از متن ورودی استفاده می‌کنند. این تعبیه‌سازی‌ها، بردارهای عددی غنی از اطلاعات معنایی هستند که توسط LLM تولید می‌شوند. سپس، این بردارهای هوشمند به عنوان ورودی به مدل GAM داده می‌شوند. در نتیجه، GAM به جای کار با کلمات خام، با مفاهیم سطح بالایی که LLM درک کرده است کار می‌کند. این مدل نهایی همچنان ساختار شفاف خود را حفظ می‌کند، اما اکنون می‌تواند به دقت بسیار بالاتری دست یابد، زیرا بر پایه درک عمیق‌تری از زبان بنا شده است.

درختان تصمیم مدل‌هایی بسیار قابل فهم هستند که شبیه به یک فلوچارت از سوالات “اگر… آنگاه…” عمل می‌کنند. هر مسیر در درخت، یک قانون قابل تفسیر را نشان می‌دهد. نقطه ضعف آن‌ها این است که برای رسیدن به دقت بالا، اغلب بسیار بزرگ و پیچیده می‌شوند.

روش Aug-Tree این مشکل را با استفاده از LLM به عنوان یک “مهندس ویژگی” (feature engineer) حل می‌کند. در این روش، LLM متن ورودی را می‌خواند و به جای آن، مجموعه‌ای از ویژگی‌های مفهومی و سطح بالا تولید می‌کند. برای مثال، برای یک نقد فیلم، LLM ممکن است ویژگی‌هایی مانند `[احساسات: مثبت، ژانر: کمدی، اشاره به بازیگری: بله]` را استخراج کند.

سپس، درخت تصمیم بر اساس این ویژگی‌های تمیز و معنادار آموزش داده می‌شود. قوانین نهایی درخت چیزی شبیه به این خواهد بود: “اگر احساسات مثبت بود و ژانر کمدی بود، امتیاز ۵ ستاره بده”. این درخت هم قدرتمند است و هم به راحتی توسط انسان قابل درک است.

آزمایش‌های انجام شده در این مقاله نتایج بسیار امیدوارکننده‌ای را به همراه داشت که پتانسیل بالای چارچوب Aug-imodels را به نمایش می‌گذارد:

• عملکرد برتر: هر دو مدل `Aug-GAM` و `Aug-Tree` در مجموعه داده‌های متنوع طبقه‌بندی متن، به طور مداوم از همتایان سنتی و غیرتقویت‌شده خود عملکرد بهتری داشتند.
• رقابت با غول‌ها: در یک مقایسه شگفت‌انگیز، مدل Aug-GAM توانست عملکردی بهتر از مدل بسیار بزرگ `GPT-J` (با ۶ میلیارد پارامتر) ارائه دهد، در حالی که خود بیش از ۱۰,۰۰۰ برابر پارامتر کمتری داشت. این یافته نشان می‌دهد که دانش یک LLM را می‌توان به شکلی بسیار فشرده و کارآمد به یک مدل کوچک منتقل کرد.
• کارایی فوق‌العاده در استنتاج: از آنجایی که LLM تنها در مرحله آموزش استفاده می‌شود، مدل‌های نهایی در زمان پیش‌بینی (استنتاج) بیش از ۱,۰۰۰ برابر سریع‌تر و از نظر مصرف حافظه بهینه‌تر از LLMهای بزرگ عمل کردند.
• شفافیت کامل: مدل‌های تولید شده کاملاً “جعبه سفید” هستند و به کاربران اجازه می‌دهند تا منطق پشت هر تصمیم را به وضوح درک کرده و آن را راستی‌آزمایی کنند.

چارچوب Aug-imodels کاربردهای عملی گسترده‌ای در دنیای واقعی دارد و می‌تواند درهایی را به روی استفاده از هوش مصنوعی در حوزه‌های جدید باز کند.

• پزشکی و سلامت: یک مدل `Aug-GAM` می‌تواند یادداشت‌های بالینی یک بیمار را تحلیل کرده و ریسک یک بیماری خاص را پیش‌بینی کند. مهم‌تر اینکه، می‌تواند به پزشک نشان دهد که کدام عبارات یا علائم در پرونده بیشترین تاثیر را در این پیش‌بینی داشته‌اند.
• امور مالی و اعتبارسنجی: در سیستم‌های امتیازدهی اعتباری که شفافیت قانونی الزامی است، یک `Aug-Tree` می‌تواند مدل‌هایی بسازد که قوانین آن‌ها برای مشتریان و نهادهای نظارتی کاملاً قابل فهم باشد.
• پردازش روی لبه (Edge Computing): به دلیل حجم بسیار کم و سرعت بالا، این مدل‌ها برای اجرا بر روی دستگاه‌هایی با منابع محدود مانند گوشی‌های هوشمند، ساعت‌های هوشمند و سنسورهای اینترنت اشیاء (IoT) ایده‌آل هستند.
• تحقیقات علمی: همانطور که در مقاله اشاره شده، این رویکرد در یک مطالعه `fMRI` برای تحلیل داده‌های اسکن مغزی مرتبط با زبان به کار گرفته شد. مدل تفسیری توانست الگوهای جالبی را در فعالیت مغز کشف کند که تفسیر آن‌ها با استفاده از مدل‌های جعبه سیاه غیرممکن بود.
• ترویج علم باز: محققان تمام کدهای مورد نیاز برای پیاده‌سازی و بازتولید نتایج را در `GitHub` به صورت عمومی منتشر کرده‌اند که این امر به پیشرفت جامعه علمی و ترویج شفافیت کمک شایانی می‌کند.

مقاله “تقویت مدل‌های تفسیری با LLMها در حین آموزش” صرفاً یک بهبود تدریجی در تکنیک‌های موجود نیست؛ بلکه یک تغییر پارادایم در نحوه نگرش ما به مدل‌های هوش مصنوعی ارائه می‌دهد. این پژوهش به ما نشان می‌دهد که مجبور نیستیم میان قدرت پیش‌بینی و قابلیت تفسیر یکی را انتخاب کنیم.

رویکرد Aug-imodels با هوشمندی، دانش مفهومی و عمیق مدل‌های زبان بزرگ را با شفافیت ساختاری و کارایی مدل‌های کلاسیک ترکیب می‌کند. نتیجه، دستیابی به بهترین‌های هر دو جهان است: مدل‌هایی که از نظر دقت با غول‌های هوش مصنوعی رقابت می‌کنند، اما از نظر سرعت، حجم و شفافیت، همانند ساده‌ترین مدل‌های آماری عمل می‌نمایند. این دستاورد مسیر را برای توسعه نسل جدیدی از سیستم‌های هوش مصنوعی هموار می‌کند که نه تنها قدرتمند، بلکه قابل اعتماد، پاسخگو و در دسترس همگان هستند.