در سال‌های اخیر، هوش مصنوعی شاهد ظهور مدل‌های بنیادی (Foundation Models)، مانند خانواده مدل‌های GPT و ViT بوده است. این مدل‌های غول‌پیکر که بر روی حجم عظیمی از داده‌ها آموزش دیده‌اند، توانایی‌های شگفت‌انگیزی در پردازش زبان طبیعی، بینایی کامپیوتر و سایر حوزه‌ها از خود نشان داده‌اند. همزمان، یادگیری فدرال (Federated Learning – FL) به عنوان یک رویکرد نوین برای آموزش مدل‌های یادگیری ماشین بدون نیاز به متمرکزسازی داده‌ها، توجه بسیاری را به خود جلب کرده است. این روش با حفظ حریم خصوصی کاربران، به دستگاه‌های مختلف (مانند گوشی‌های هوشمند یا بیمارستان‌ها) اجازه می‌دهد تا به صورت مشترک یک مدل را آموزش دهند، بدون آنکه داده‌های خام خود را به اشتراک بگذارند.

مقاله “ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning” در نقطه تلاقی این دو حوزه قدرتمند قرار می‌گیرد و به یک چالش اساسی و بسیار کاربردی می‌پردازد: چگونه می‌توان از قدرت مدل‌های بنیادی در یک محیط یادگیری فدرال بهره برد، در حالی که این مدل‌ها اغلب به صورت «جعبه‌سیاه» (Black-box) در دسترس هستند و داده‌های کاربران نیز ناهمگون و نیازمند شخصی‌سازی است؟ اهمیت این مقاله در ارائه یک راه‌حل عملی و نوآورانه برای این مسئله پیچیده نهفته است. این پژوهش راه را برای استفاده ایمن، خصوصی و شخصی‌سازی‌شده از پیشرفته‌ترین مدل‌های هوش مصنوعی در دنیای واقعی هموار می‌سازد.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته از مراکز علمی و صنعتی پیشرو در جهان است. نویسندگانی چون Wang Lu، Hao Yu، Jindong Wang، Xing Xie و Qiang Yang از دانشگاه‌ها و مؤسساتی مانند دانشگاه پکینگ، دانشگاه علم و صنعت هنگ کنگ و آزمایشگاه تحقیقاتی مایکروسافت آسیا (Microsoft Research Asia) در این پژوهش مشارکت داشته‌اند. حضور این محققان، که هر یک در زمینه‌هایی چون یادگیری فدرال، یادگیری ماشین، و مدل‌های زبان بزرگ دارای سوابق درخشانی هستند، به اعتبار و عمق علمی این اثر افزوده است.

زمینه تحقیق این مقاله، ترکیبی از چند حوزه کلیدی در هوش مصنوعی مدرن است:

• یادگیری فدرال شخصی‌سازی‌شده (Personalized FL): این شاخه از یادگیری فدرال بر حل مشکل ناهمگونی داده‌ها (Data Heterogeneity) بین کلاینت‌های مختلف تمرکز دارد. در دنیای واقعی، داده‌های هر کاربر منحصربه‌فرد است و یک مدل جهانی واحد ممکن است برای همه به خوبی کار نکند.
• مدل‌های بنیادی (Foundation Models): استفاده از مدل‌های از پیش آموزش‌دیده و بسیار بزرگ به عنوان ستون فقرات سیستم‌های هوشمند.
• بهینه‌سازی جعبه‌سیاه (Black-box Optimization): توسعه الگوریتم‌هایی که بتوانند یک سیستم را بدون دسترسی به ساختار داخلی یا گرادیان‌های آن بهینه کنند. این موضوع زمانی حیاتی می‌شود که مدل‌های بنیادی تنها از طریق API در دسترس باشند.

مقاله با طرح یک چالش اصلی آغاز می‌شود: ادغام یادگیری فدرال شخصی‌سازی‌شده با مدل‌های بنیادی بزرگ، با محدودیت‌های متعددی در زمینه منابع روبرو است. این محدودیت‌ها نه تنها شامل هزینه‌های داده، محاسبات و ارتباطات می‌شوند، بلکه یک چالش جدید را نیز معرفی می‌کنند: دسترسی محدود به خود مدل‌ها. بسیاری از قدرتمندترین مدل‌های بنیادی به صورت اختصاصی و از طریق API ارائه می‌شوند و امکان دسترسی مستقیم به وزن‌ها یا معماری داخلی آنها وجود ندارد.

برای حل همزمان چالش محدودیت منابع و نیاز به شخصی‌سازی، نویسندگان روشی به نام ZooPFL را پیشنهاد می‌کنند. این نام از عبارت “Zeroth-Order Optimization for Personalized Federated Learning” گرفته شده است. ایده اصلی ZooPFL این است که به جای تلاش برای تغییر یا تنظیم دقیق (Fine-tuning) خود مدل بنیادی که یک جعبه‌سیاه است، یاد می‌گیرد که ورودی‌های مدل را به گونه‌ای هوشمندانه تطبیق دهد. این کار از طریق «بهینه‌سازی مرتبه صفر» (Zeroth-Order Optimization – ZOO) انجام می‌شود که نیازی به گرادیان‌های مدل ندارد و تنها با مشاهده خروجی در ازای ورودی‌های مختلف کار می‌کند.

علاوه بر این، برای شخصی‌سازی، ZooPFL از یک لایه «تصویرسازی خطی» (Linear Projection) ساده و کارآمد در خروجی مدل استفاده می‌کند تا پیش‌بینی‌های نهایی را برای هر کلاینت به طور اختصاصی تنظیم کند. برای کاهش بیشتر هزینه‌های محاسباتی و بهبود شخصی‌سازی، مقاله تکنیکی به نام «جراحی ورودی» (Input Surgery) را معرفی می‌کند که با استفاده از یک خودرمزگذار (Auto-encoder)، ورودی‌ها را به یک فضای نهان کم‌بعد و مختص هر کلاینت منتقل می‌کند. این رویکرد نه تنها محاسبات را سبک‌تر می‌کند، بلکه به مدل اجازه می‌دهد تا بر روی ویژگی‌های مهم‌تر داده‌های هر کاربر تمرکز کند. مقاله همچنین با ارائه تحلیل‌های نظری، همگرایی الگوریتم پیشنهادی را اثبات کرده و از طریق آزمایش‌های گسترده بر روی وظایف بینایی کامپیوتر و پردازش زبان طبیعی، کارایی آن را به نمایش می‌گذارد.

معماری ZooPFL بر یک اصل هوشمندانه بنا شده است: مدل بنیادی (Φ) را به عنوان یک واحد ثابت و غیرقابل تغییر در نظر بگیرید و تمام فرآیند یادگیری و شخصی‌سازی را در اطراف آن طراحی کنید. این روش از چند جزء کلیدی تشکیل شده است:

1. تطبیق ورودی با بهینه‌سازی مرتبه صفر (ZOO):
   از آنجا که دسترسی به گرادیان‌های مدل بنیادی Φ ممکن نیست، نمی‌توان از روش‌های مرسوم مبتنی بر گرادیان (مانند Backpropagation) برای آموزش استفاده کرد. ZOO این مشکل را با تخمین گرادیان حل می‌کند. این روش به صورت زیر عمل می‌کند:
   • برای هر کلاینت i، یک «تطبیق‌دهنده ورودی» یا پرامپت (p_i) کوچک و قابل یادگیری تعریف می‌شود.
   • این پرامپت به ورودی اصلی (x) اضافه می‌شود.
   • الگوریتم با ایجاد اغتشاش‌های تصادفی کوچک در p_i و مشاهده تغییر در خطای خروجی مدل، جهت بهینه برای به‌روزرسانی p_i را تخمین می‌زند.
   • این فرآیند به کلاینت اجازه می‌دهد تا بدون دستکاری مدل اصلی، بهترین ورودی را برای وظیفه خود “کشف” کند.
2. شخصی‌سازی خروجی با تصویرسازی خطی:
   پس از اینکه مدل بنیادی خروجی خود را تولید کرد، یک لایه خطی ساده و مختص هر کلاینت (h_i) این خروجی را به فضای پیش‌بینی نهایی نگاشت می‌کند. این لایه کوچک به سرعت با داده‌های محلی هر کلاینت سازگار می‌شود و به مدل امکان می‌دهد تا تفاوت‌های ظریف در توزیع داده‌های هر کاربر را در نظر بگیرد.
3. افزایش کارایی با جراحی ورودی (Input Surgery):
   بهینه‌سازی مرتبه صفر می‌تواند از نظر محاسباتی سنگین باشد، زیرا برای هر تخمین گرادیان به چندین بار اجرای مدل (Forward Pass) نیاز دارد. برای حل این مشکل، تکنیک جراحی ورودی پیشنهاد می‌شود:
   • یک خودرمزگذار (Auto-encoder) سبک برای فشرده‌سازی ورودی‌های با ابعاد بالا به یک فضای نهان (Latent Space) کم‌بعد آموزش داده می‌شود.
   • به‌جای یادگیری پرامپت p_i در فضای ورودی اصلی، این پرامپت در فضای نهان کم‌بعد یاد گرفته می‌شود.
   • این کار به طور چشمگیری تعداد پارامترهای قابل یادگیری و در نتیجه هزینه‌های محاسباتی ZOO را کاهش می‌دهد.
4. چارچوب یادگیری فدرال:
   این اجزا در یک فرآیند یادگیری فدرال استاندارد قرار می‌گیرند. در هر دور، کلاینت‌ها پارامترهای تطبیق‌دهنده ورودی (p_i) و لایه خروجی (h_i) خود را به صورت محلی با استفاده از ZOO و داده‌هایشان آموزش می‌دهند. سپس، این پارامترها (یا بخشی از آنها) به سرور مرکزی ارسال شده، agregat می‌شوند (مثلاً با الگوریتم FedAvg) و مدل‌های به‌روزشده دوباره به کلاینت‌ها توزیع می‌شوند.

آزمایش‌های تجربی گسترده‌ای که در این مقاله انجام شده، کارایی و برتری روش ZooPFL را در سناریوهای مختلف تأیید می‌کند. مهم‌ترین یافته‌ها عبارتند از:

• عملکرد برتر: ZooPFL در مقایسه با روش‌های پایه و رقیب، عملکرد بهتری در وظایف یادگیری فدرال شخصی‌سازی‌شده با مدل‌های جعبه‌سیاه از خود نشان می‌دهد. این روش توانست دقت بالاتری را در طبقه‌بندی تصاویر و وظایف پردازش زبان طبیعی کسب کند.
• انعطاف‌پذیری بالا: این رویکرد با موفقیت بر روی مدل‌های بنیادی مختلفی مانند ViT (Vision Transformer) برای بینایی کامپیوتر و BERT برای پردازش زبان طبیعی آزمایش شد و در همه موارد کارایی خود را ثابت کرد. این نشان می‌دهد که ZooPFL به معماری خاصی وابسته نیست و یک راه‌حل عمومی است.
• کارایی محاسباتی: استفاده از تکنیک «جراحی ورودی» به طور قابل توجهی هزینه‌های محاسباتی را کاهش داد، بدون آنکه تأثیر منفی بر دقت نهایی مدل داشته باشد. این امر ZooPFL را به یک گزینه عملی برای اجرا بر روی دستگاه‌هایی با منابع محدود تبدیل می‌کند.
• پشتیبانی نظری: علاوه بر نتایج تجربی، نویسندگان با ارائه تحلیل‌های ریاضی نشان دادند که الگوریتم پیشنهادی تحت شرایط معقول، به طور تضمینی همگرا می‌شود. این پشتوانه نظری، اعتبار روش را دوچندان می‌کند.

دستاورد اصلی مقاله ZooPFL، ارائه یک پل مستحکم میان دنیای مدل‌های بنیادی متمرکز و نیاز روزافزون به هوش مصنوعی غیرمتمرکز، خصوصی و شخصی‌سازی‌شده است. این روش کاربردهای عملی گسترده‌ای را ممکن می‌سازد:

• حوزه سلامت: بیمارستان‌های مختلف می‌توانند برای تحلیل تصاویر پزشکی (مانند سی‌تی اسکن یا MRI) از یک مدل بنیادی قدرتمند و تجاری استفاده کنند. با ZooPFL، هر بیمارستان می‌تواند مدل را برای داده‌های بیماران خود شخصی‌سازی کند، بدون آنکه حریم خصوصی داده‌ها نقض شود یا نیازی به دسترسی به کد منبع مدل اصلی باشد.
• دستیارهای هوشمند روی دستگاه: شرکت‌ها می‌توانند مدل‌های زبان بزرگ را برای کاربردهایی مانند پیشنهاد کلمات، خلاصه‌سازی متن یا چت‌بات‌ها بر روی گوشی‌های هوشمند شخصی‌سازی کنند. داده‌های نوشتاری کاربر هرگز از دستگاه خارج نمی‌شود و مدل با سلیقه و سبک نوشتاری او تطبیق می‌یابد.
• خدمات مالی: بانک‌های مختلف می‌توانند از یک مدل مرکزی پیشرفته برای تشخیص تقلب بهره ببرند و همزمان آن را بر اساس الگوهای تراکنش منحصربه‌فرد مشتریان خود شخصی‌سازی کنند تا دقت تشخیص افزایش یابد.

به طور خلاصه، ZooPFL استفاده از پیشرفته‌ترین فناوری‌های هوش مصنوعی را برای طیف وسیع‌تری از توسعه‌دهندگان و سازمان‌ها، به ویژه آنهایی که با داده‌های حساس سروکار دارند، دموکراتیک و امکان‌پذیر می‌سازد.

مقاله “ZooPFL” یک گام مهم و رو به جلو در جهت حل یکی از بزرگ‌ترین چالش‌های هوش مصنوعی مدرن است: چگونگی بهره‌برداری ایمن و مؤثر از مدل‌های بنیادی در سناریوهای واقعی و غیرمتمرکز. این پژوهش با شناسایی دقیق محدودیت‌ها—از جمله ماهیت جعبه‌سیاه مدل‌ها، هزینه‌های محاسباتی و نیاز به شخصی‌سازی—یک راه‌حل جامع و خلاقانه ارائه می‌دهد.

روش پیشنهادی، ZooPFL، با تکیه بر بهینه‌سازی مرتبه صفر برای تطبیق ورودی و استفاده از لایه‌های خروجی سبک برای شخصی‌سازی، نشان می‌دهد که می‌توان بدون دسترسی به داخل مدل‌های بنیادی، آنها را برای نیازهای خاص هر کاربر بهینه کرد. نوآوری‌هایی مانند «جراحی ورودی» نیز این رویکرد را از نظر محاسباتی کارآمد و عملی می‌سازد. این مقاله نه تنها یک الگوریتم کارآمد معرفی می‌کند، بلکه مسیری جدید برای تحقیقات آینده در زمینه یادگیری فدرال، حریم خصوصی و استفاده مسئولانه از مدل‌های هوش مصنوعی غول‌پیکر ترسیم می‌کند.