در سال‌های اخیر، مدل‌های زبان بزرگ (LLMs) و مدل‌های پایه (Foundation Models) مبتنی بر معماری ترنسفورمر، مانند GPT-4، BERT و ViT، انقلابی در حوزه هوش مصنوعی ایجاد کرده‌اند. این مدل‌ها با پیش‌آموزش بر روی حجم عظیمی از داده‌ها، قابلیت‌های شگفت‌انگیزی در پردازش زبان طبیعی و بینایی کامپیوتر کسب می‌کنند. با این حال، چالش اصلی در استفاده از این مدل‌ها، انطباق آن‌ها با کاربردهای خاص (Downstream Tasks) بدون از دست دادن دانش ارزشمندی است که در مرحله پیش‌آموزش کسب کرده‌اند. فرآیند تنظیم دقیق یا Fine-tuning، اگرچه مؤثر است، اما اغلب با پدیده‌ای به نام «فراموشی فاجعه‌بار» (Catastrophic Forgetting) همراه است؛ یعنی مدل در حین یادگیری وظیفه جدید، عملکرد خود را در وظایف قبلی از دست می‌دهد.

مقاله “Engineering flexible machine learning systems by traversing functionally-invariant paths” یک راهکار نوآورانه و عمیقاً ریاضیاتی برای این مشکل ارائه می‌دهد. این مقاله با بهره‌گیری از مفاهیم پیشرفته هندسه دیفرانسیل، چارچوبی به نام «مسیرهای ناوردا از نظر عملکرد» (Functionally Invariant Paths – FIP) را معرفی می‌کند که به ما امکان می‌دهد شبکه‌های عصبی را به صورت پیوسته و انعطاف‌پذیر برای اهداف مختلف، از جمله یادگیری مستمر و تُنُک‌سازی (Sparsification)، تطبیق دهیم، بدون آنکه دانش قبلی آن‌ها آسیب ببیند. اهمیت این پژوهش در ارائه یک بنیان نظری محکم برای مهندسی مدل‌های هوش مصنوعیِ کارآمدتر، پایدارتر و انعطاف‌پذیرتر نهفته است.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته به نام‌های گوروپراساد راگاوان، باهی ثروت، سوریا نارایانان هاری، دروویل ساتانی و مت تامسون است. تخصص این تیم، حوزه‌های گوناگونی از جمله یادگیری ماشین، هوش مصنوعی و هندسه دیفرانسیل را در بر می‌گیرد. همین رویکرد میان‌رشته‌ای است که به آن‌ها اجازه داده تا یکی از چالش‌های اساسی در یادگیری ماشین را با ابزارهایی قدرتمند از ریاضیات محض مورد بررسی قرار دهند و به راهکاری خلاقانه و کارآمد دست یابند.

ایده اصلی مقاله این است که فضای تمام تنظیمات ممکن برای وزن‌های یک شبکه عصبی را نه به عنوان یک فضای اقلیدسی ساده، بلکه به عنوان یک خمینه ریمانی (Riemannian Manifold) در نظر بگیریم. خمینه یک فضای چندبعدی و خمیده است، مانند سطح یک کره. در این دیدگاه، هر مدل شبکه عصبی (با مجموعه‌ای از وزن‌های خاص) نقطه‌ای روی این خمینه است.

نویسندگان چارچوب FIP را معرفی می‌کنند که به دنبال یافتن مسیرهایی خاص روی این خمینه است. این مسیرها ویژگی منحصربه‌فردی دارند: حرکت در طول آن‌ها، عملکرد کلی مدل را در وظایفی که قبلاً یاد گرفته است، تغییر نمی‌دهد. به عبارت دیگر، این مسیرها «ناوردا از نظر عملکرد» هستند. با پیمایش این مسیرهای امن، می‌توانیم مدل را به سمت پیکربندی جدیدی هدایت کنیم که یک هدف ثانویه را برآورده سازد؛ مثلاً در یک وظیفه جدید به خوبی عمل کند یا وزن‌های اضافی خود را حذف کرده و کوچک‌تر شود. این فرآیند مانند حرکت در یک دره در یک رشته‌کوه است؛ تا زمانی که در کف دره حرکت می‌کنید، ارتفاع شما (عملکرد مدل) تقریباً ثابت باقی می‌ماند، اما می‌توانید به مکان‌های جدیدی (پیکربندی‌های جدید مدل) برسید.

برای پیاده‌سازی این ایده، نویسندگان از ابزارهای قدرتمند هندسه دیفرانسیل استفاده می‌کنند. روش‌شناسی آن‌ها بر چند ستون اصلی استوار است:

• مدل‌سازی فضای وزن‌ها به عنوان خمینه ریمانی: اولین گام، تجهیز فضای وزن‌های شبکه عصبی به یک ساختار هندسی است. این کار با تعریف یک تانسور متریک (Metric Tensor) انجام می‌شود. تانسور متریک در هر نقطه (هر مدل) از این فضا، به ما می‌گوید که تغییرات کوچک در وزن‌ها چه تأثیری بر خروجی مدل خواهد داشت. این تانسور در واقع «حساسیت» مدل را نسبت به تغییر پارامترهایش اندازه‌گیری می‌کند.
• شناسایی زیرفضاهای ناوردا: با تحلیل طیف (Spectrum) تانسور متریک، می‌توان جهت‌هایی را در فضای وزن‌ها شناسایی کرد که حرکت در آن‌ها کمترین تأثیر را بر عملکرد مدل دارد. این جهت‌ها، زیرفضاهای رتبه-پایین (Low-rank Subspaces) را تشکیل می‌دهند که همان «مسیرهای امن» یا ناوردا هستند. تغییر وزن‌ها در این راستاها، دانش قبلی مدل را مختل نمی‌کند.
• پیمایش مسیر ژئودزیک: الگوریتم FIP، انطباق مدل را به عنوان یک حرکت در طول یک مسیر ژئودزیک (Geodesic Path) در این زیرفضاهای امن فرمول‌بندی می‌کند. مسیر ژئودزیک، کوتاه‌ترین مسیر بین دو نقطه بر روی یک سطح خمیده است. الگوریتم با نمونه‌برداری از مسیر، به صورت تکراری مدل را به سمت پیکربندی جدیدی حرکت می‌دهد که همزمان با حفظ دانش قبلی، هدف ثانویه (مانند یادگیری یک وظیفه جدید یا کاهش تعداد پارامترها) را نیز محقق می‌سازد.

این رویکرد، برخلاف روش‌های سنتی که وزن‌ها را به صورت مستقیم و بدون در نظر گرفتن ساختار هندسی فضا تغییر می‌دهند، یک روش اصولی و ریاضیاتی برای انطباق مدل فراهم می‌کند.

آزمایش‌های انجام‌شده در این مقاله نتایج قابل توجهی را به همراه داشته است. یافته‌های اصلی عبارتند از:

• عملکرد رقابتی: الگوریتم FIP در وظایف کلیدی مانند یادگیری مستمر و تنک‌سازی، عملکردی قابل مقایسه و حتی در مواردی بهتر از روش‌های پیشرفته (State-of-the-art) موجود ارائه می‌دهد.
• کاربردپذیری گسترده: این چارچوب تنها به یک نوع معماری محدود نیست و کارایی خود را بر روی طیف وسیعی از مدل‌ها، از جمله مدل‌های زبانی (BERT)، ترنسفورمرهای بینایی (ViT, DeiT) و شبکه‌های کانولوشنی (CNN)، به اثبات رسانده است.
• بهره‌وری محاسباتی: یکی از مزایای مهم FIP این است که با منابع محاسباتی نسبتاً متوسطی به این نتایج دست می‌یابد. این ویژگی، استفاده از آن را در محیط‌های عملی و با محدودیت‌های سخت‌افزاری امکان‌پذیر می‌سازد.
• ایجاد زیرخمینه‌ای از مدل‌های کارآمد: این روش تنها یک مدل بهینه نهایی تولید نمی‌کند، بلکه یک «زیرخمینه» (Sub-manifold) کامل از مدل‌های با عملکرد مشابه را تعریف می‌کند. این به کاربران اجازه می‌دهد تا از میان مجموعه‌ای از مدل‌های خوب، مدلی را انتخاب کنند که بهترین سازگاری را با نیازهای خاص آن‌ها (مانند سرعت، اندازه یا دقت) دارد.

چارچوب FIP پیامدهای عملی مهمی برای آینده مهندسی هوش مصنوعی دارد:

۱. یادگیری مستمر (Continual Learning): سیستم‌های هوش مصنوعی می‌توانند وظایف جدید را به صورت متوالی یاد بگیرند بدون آنکه دانش پیشین خود را فراموش کنند. برای مثال، یک مدل تشخیص پزشکی که برای شناسایی بیماری‌های قلبی آموزش دیده، می‌تواند یاد بگیرد که بیماری‌های ریوی را نیز تشخیص دهد، بدون آنکه توانایی اولیه خود را از دست بدهد. این قابلیت برای ساخت سیستم‌های هوشمند پویا و همیشه در حال یادگیری حیاتی است.

۲. تنک‌سازی و فشرده‌سازی مدل (Sparsification & Compression): مدل‌های پایه امروزی بسیار بزرگ و پرهزینه هستند. FIP راهی برای حذف پارامترهای غیرضروری (تنک‌سازی) ارائه می‌دهد تا مدل‌ها کوچک‌تر، سریع‌تر و کم‌مصرف‌تر شوند. این امر استقرار مدل‌های پیشرفته را بر روی دستگاه‌های با منابع محدود مانند تلفن‌های هوشمند یا سیستم‌های نهفته (Embedded Systems) ممکن می‌سازد.

۳. مهندسی مدل انعطاف‌پذیر: FIP یک ابزار قدرتمند برای کاوش در فضای وسیع پیکربندی‌های ممکن یک شبکه عصبی است. این چارچوب به مهندسان یادگیری ماشین اجازه می‌دهد تا به جای یک تنظیم دقیق یکباره، به صورت پیوسته مدل‌ها را برای اهداف گوناگون تغییر شکل دهند و به یک تعادل بهینه بین معیارهای مختلف مانند دقت، کارایی و استحکام دست یابند.

مقاله “مهندسی سامانه‌های یادگیری ماشین انعطاف‌پذیر با پیمایش مسیرهای ناوردا از نظر عملکرد” یک تغییر نگرش بنیادین در نحوه تعامل ما با شبکه‌های عصبی را پیشنهاد می‌کند. این پژوهش به ما نشان می‌دهد که یک شبکه عصبی تنها مجموعه‌ای ثابت از پارامترها نیست، بلکه یک شیء ریاضیاتی پویا است که می‌توان آن را به صورت اصولی و پیوسته در فضای وسیع وزن‌ها تغییر شکل داد.

چارچوب FIP با تلفیق هوشمندانه یادگیری ماشین و هندسه دیفرانسیل، راهکاری قدرتمند، کارآمد و از نظر تئوری مستحکم برای مقابله با چالش‌های کلیدی مانند فراموشی فاجعه‌بار و بهینه‌سازی مدل‌ها ارائه می‌دهد. این دستاورد نه تنها مسیر را برای ساخت نسل بعدی سیستم‌های هوش مصنوعی انعطاف‌پذیرتر و پایدارتر هموار می‌کند، بلکه درک ما را از ساختار هندسی و ریاضیاتی یادگیری عمیق عمیق‌تر می‌سازد.