۱. معرفی مقاله و اهمیت آن

در دنیای یادگیری ماشین، معماری‌های مبتنی بر ترنسفورمر (Transformer) به سرعت به یکی از ستون‌های اصلی پیشرفت در حوزه‌های متنوعی مانند پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (Computer Vision) تبدیل شده‌اند. موفقیت چشمگیر این معماری‌ها، به ویژه در کاربردهایی که نیاز به درک روابط پیچیده و بلندمدت در داده‌ها دارند، باعث شده تا پژوهشگران به دنبال راه‌هایی برای بهبود هرچه بیشتر عملکرد آن‌ها باشند. یکی از رویکردهای رایج برای دستیابی به این هدف، افزایش عمق مدل‌ها، یعنی اضافه کردن لایه‌های بیشتر (ترنسفورمر بلاک‌ها) با استفاده از اتصالات باقی‌مانده (Residual Connections) بوده است. این رویکرد، با افزایش ظرفیت مدل برای یادگیری الگوهای پیچیده‌تر، نتایج تحسین‌برانگیزی را به همراه داشته است.

با این حال، افزایش عمق مدل‌ها معمولاً منجر به افزایش قابل توجه تعداد پارامترهای قابل آموزش و در نتیجه، نیاز به منابع محاسباتی بیشتر برای آموزش و استناده (inference) می‌شود. این موضوع، دسترسی به مدل‌های قدرتمند را برای پژوهشگران و مهندسان با منابع محدود با چالش مواجه می‌سازد. برای غلبه بر این محدودیت، روش‌های اخیر به سمت “سطحی‌تر شدن” مدل‌ها حرکت کرده‌اند؛ یعنی با اشتراک‌گذاری پارامترها در طول عمق مدل یا فشرده‌سازی مدل، تعداد پارامترها را کاهش می‌دهند. اگرچه این رویکردها در کاهش هزینه‌های محاسباتی موفق بوده‌اند، اما محدودیت ظرفیت مدل‌سازی آن‌ها، منجر به افت عملکرد در برخی وظایف پیچیده شده است.

مقاله حاضر با عنوان “Go Wider Instead of Deeper” (به جای عمیق‌تر، گسترده‌تر شوید)، رویکردی نوآورانه را در این زمینه معرفی می‌کند. نویسندگان با طرح این ایده که می‌توان با گسترش مدل در عرض (width) به جای افزایش عمق، به عملکرد بهتر با پارامترهای قابل آموزش کمتر دست یافت، چارچوبی پارامتر-کارآمد را پیشنهاد می‌دهند. این مقاله به دنبال یافتن تعادلی بهینه بین قدرت مدل‌سازی و بهره‌وری پارامتری است که می‌تواند مسیر را برای توسعه مدل‌های هوش مصنوعی قدرتمندتر و در دسترس‌تر هموار سازد.

۲. نویسندگان و زمینه تحقیق

مقاله “Go Wider Instead of Deeper” توسط تیمی از پژوهشگران شامل Fuzhao Xue, Ziji Shi, Futao Wei, Yuxuan Lou, Yong Liu و Yang You ارائه شده است. این تیم تحقیقاتی در زمینه یادگیری ماشین (Machine Learning)، هوش مصنوعی (Artificial Intelligence) و به طور خاص، بینایی کامپیوتر و بازشناسی الگو (Computer Vision and Pattern Recognition) فعالیت می‌کنند. تمرکز اصلی این پژوهش بر روی بهینه‌سازی معماری مدل‌های یادگیری عمیق، با هدف دستیابی به حداکثر کارایی و بهره‌وری پارامتری است. این مقاله بخشی از تلاش‌های گسترده‌تر در جامعه علمی برای توسعه مدل‌های هوش مصنوعی است که هم از نظر عملکردی پیشرفته باشند و هم از نظر محاسباتی قابل مدیریت.

۳. چکیده و خلاصه محتوا

چکیده مقاله به شرح زیر است:

“اخیراً، اضافه کردن بلوک‌های ترنسفورمر بیشتر همراه با اتصالات باقی‌مانده، نتایج چشمگیری در وظایف مختلف به دست آورده است. برای دستیابی به عملکرد بهتر با پارامترهای قابل آموزش کمتر، روش‌های اخیر برای سطحی‌تر شدن مدل با اشتراک‌گذاری پارامتر یا فشرده‌سازی مدل همراه با عمق، پیشنهاد شده‌اند. با این حال، ظرفیت مدل‌سازی ضعیف، عملکرد آن‌ها را محدود می‌کند. در مقابل، گسترده‌تر شدن با القای ماتریس‌ها و پارامترهای قابل آموزش بیشتر، منجر به یک مدل بزرگ می‌شود که برای آموزش و استنتاج نیاز به موازی‌سازی پیشرفته دارد. در این مقاله، ما یک چارچوب پارامتر-کارآمد، یعنی گسترده‌تر شدن به جای عمیق‌تر شدن، پیشنهاد می‌کنیم. به طور خاص، با دنبال کردن کارهای موجود، ما اشتراک‌گذاری پارامتر را برای فشرده‌سازی در طول عمق تطبیق می‌دهیم. اما، چنین استقراری عملکرد را محدود می‌کند. برای به حداکثر رساندن ظرفیت مدل‌سازی، ما در عرض مدل مقیاس‌بندی می‌کنیم و شبکه پیش‌خور (FFN) را با مخلوطی از متخصصان (Mixture-of-Experts – MoE) جایگزین می‌کنیم. در سراسر بلوک‌های ترنسفورمر، به جای اشتراک‌گذاری لایه‌های نرمال‌سازی، ما پیشنهاد می‌کنیم از لایه‌های نرمال‌سازی فردی (individual layernorms) استفاده کنیم تا نمایش‌های معنایی مختلف را به روشی کارآمدتر از نظر پارامتری تبدیل کنیم. برای ارزیابی چارچوب پلاگ-اند-ران (plug-and-run) خود، ما WideNet را طراحی کرده و آزمایش‌های جامعی را بر روی معیارهای محبوب بینایی کامپیوتر و پردازش زبان طبیعی انجام می‌دهیم. در ImageNet-1K، بهترین مدل ما با $1.5%$ برتری نسبت به Vision Transformer (ViT) و با $0.72 times$ پارامتر قابل آموزش، عملکرد بهتری دارد. با استفاده از $0.46 times$ و $0.13 times$ پارامتر، WideNet ما همچنان می‌تواند بر ViT و ViT-MoE به ترتیب با $0.8%$ و $2.1%$ برتری یابد. در چهار مجموعه داده پردازش زبان طبیعی، WideNet به طور متوسط $1.8%$ بهتر از ALBERT عمل می‌کند و با پارامتر کمتر، $0.8%$ بر BERT با پارامترسازی جاسازی فاکتوریزه شده، برتری دارد.”

خلاصه محتوا نشان می‌دهد که مقاله به چالش افزایش کارایی مدل‌های ترنسفورمر با حفظ یا بهبود عملکرد می‌پردازد. ایده اصلی، تغییر تمرکز از افزایش عمق (تعداد لایه‌ها) به افزایش عرض (ظرفیت هر لایه) است. این امر با جایگزینی شبکه پیش‌خور (FFN) سنتی در بلوک‌های ترنسفورمر با معماری “مخلوطی از متخصصان” (MoE) و استفاده از لایه‌های نرمال‌سازی جداگانه برای هر بلوک، محقق می‌شود. هدف، دستیابی به مدلی قدرتمند و انعطاف‌پذیر است که با وجود کاهش قابل توجه در تعداد پارامترهای قابل آموزش، قادر به رقابت و حتی برتری بر مدل‌های عمیق‌تر و بزرگ‌تر باشد. چارچوب پیشنهادی WideNet به گونه‌ای طراحی شده که به راحتی قابل ادغام در معماری‌های موجود (plug-and-run) باشد.

۴. روش‌شناسی تحقیق

روش‌شناسی تحقیق در این مقاله بر پایه‌ی ایجاد یک چارچوب جدید برای معماری ترنسفورمر بنا شده است که با تمرکز بر “گسترده‌تر شدن” به جای “عمیق‌تر شدن”، به دنبال افزایش بهره‌وری پارامتری است. مولفان در این راستا دو نوآوری کلیدی را ارائه می‌دهند:

• جایگزینی شبکه پیش‌خور (FFN) با مخلوطی از متخصصان (MoE):
  در معماری‌های ترنسفورمر استاندارد، هر بلوک شامل یک مکانیزم توجه (Attention) و یک شبکه پیش‌خور (FFN) است. FFN معمولاً از دو لایه خطی تشکیل شده که فضای نمایش را در طول بعد مخفی (hidden dimension) تغییر می‌دهند. این لایه‌ها بخش قابل توجهی از پارامترهای مدل را تشکیل می‌دهند. در رویکرد WideNet، به جای استفاده از یک FFN ثابت، از معماری MoE استفاده می‌شود. در MoE، به جای یک FFN، چندین “متخصص” (که خود FFN های مجزا هستند) وجود دارد. یک “لایه دروازه” (gating layer) مسئول انتخاب یک یا چند متخصص برای پردازش ورودی در هر موقعیت (token) یا در هر بلوک است. این امر به مدل اجازه می‌دهد تا برای ورودی‌های مختلف، از زیرمجموعه‌های متفاوتی از پارامترها استفاده کند، در نتیجه ظرفیت مدل‌سازی را بدون افزایش متناسب پارامترهای قابل آموزش، افزایش می‌دهد. این ایده، شبیه به کاری است که در مدل‌های بزرگ زبانی مانند GPT-3 یا مدل‌های مرتبط با MoE در NLP انجام شده، اما نویسندگان آن را به شکلی پارامتر-کارآمد در معماری ترنسفورمرهای عمومی‌تر پیاده‌سازی کرده‌اند.
• استفاده از لایه‌های نرمال‌سازی فردی (Individual LayerNorms):
  در معماری ترنسفورمر، لایه‌های نرمال‌سازی (Layer Normalization) نقش مهمی در تثبیت فرآیند آموزش و بهبود جریان گرادیان ایفا می‌کنند. در رویکردهای سنتی یا حتی برخی روش‌های فشرده‌سازی، ممکن است این لایه‌ها نیز بین بلوک‌های مختلف به اشتراک گذاشته شوند. اما، نویسندگان WideNet استدلال می‌کنند که استفاده از لایه‌های نرمال‌سازی مجزا برای هر بلوک ترنسفورمر، امکان تبدیل و تنظیم دقیق‌تر نمایش‌های معنایی در سطوح مختلف را فراهم می‌کند. این امر با وجود افزایش جزئی تعداد پارامترها، به مدل کمک می‌کند تا از انعطاف‌پذیری بیشتری در پردازش اطلاعات بهره‌مند شود و از محدود شدن ظرفیت به دلیل اشتراک‌گذاری اجباری جلوگیری کند. این رویکرد، در نهایت به افزایش کارایی پارامتری کلی مدل منجر می‌شود، زیرا افزایش پارامتر در Layernorm ناچیز است و در مقابل، انعطاف‌پذیری MoE افزایش چشمگیری دارد.

چارچوب WideNet به گونه‌ای طراحی شده که “پلاگ-اند-ران” (plug-and-run) باشد، به این معنی که می‌توان آن را به راحتی جایگزین بخش‌هایی از معماری‌های ترنسفورمر موجود کرد، بدون نیاز به بازطراحی گسترده. این ویژگی، امکان ارزیابی سریع و مقایسه‌ی آن را با مدل‌های پیشین فراهم می‌سازد.

برای ارزیابی، نویسندگان WideNet را بر روی مجموعه‌داده‌های شناخته‌شده در دو حوزه اصلی پیاده‌سازی و آزمایش کرده‌اند:

• بینایی کامپیوتر: معیاری مانند ImageNet-1K که برای ارزیابی مدل‌های طبقه‌بندی تصویر استفاده می‌شود.
• پردازش زبان طبیعی: چهار مجموعه داده مجزا که برای ارزیابی مدل‌های درک زبان طراحی شده‌اند.

نتایج این آزمایش‌ها نشان‌دهنده توانایی WideNet در دستیابی به عملکرد رقابتی با پارامترهای کمتر است.

۵. یافته‌های کلیدی

یافته‌های کلیدی این مقاله، نشان‌دهنده موفقیت رویکرد “گسترده‌تر شدن” WideNet در دستیابی به اهداف مورد نظر است:

• عملکرد برتر در بینایی کامپیوتر:
  بر روی مجموعه داده ImageNet-1K، بهترین مدل WideNet توانسته است با ۱.۵% بهبود عملکرد نسبت به Vision Transformer (ViT) و با تنها ۰.۷۲ برابر پارامترهای قابل آموزش ViT، نتایج قابل توجهی کسب کند. این نشان می‌دهد که افزایش عرض مدل از طریق MoE، به طور مؤثری ظرفیت مدل‌سازی را افزایش داده است.
• بهره‌وری پارامتری بالا:
  حتی با کاهش چشمگیر پارامترها، WideNet همچنان قادر به رقابت است. با استفاده از ۰.۴۶ برابر پارامترهای ViT، WideNet توانسته بر ViT غلبه کند. این دستاورد با استفاده از ۰.۱۳ برابر پارامترهای ViT نیز، باعث شده تا WideNet برنده مقایسه با ViT-MoE (یک مدل مبتنی بر MoE دیگر) باشد و ۲.۱% عملکرد بهتری ارائه دهد. این یافته کلیدی، نشان‌دهنده توانایی WideNet در ایجاد مدل‌هایی بسیار سبک‌تر و در عین حال قدرتمند است.
• موفقیت در پردازش زبان طبیعی:
  در چهار مجموعه داده پردازش زبان طبیعی، WideNet نیز عملکردی امیدوارکننده از خود نشان داده است. به طور متوسط، این مدل ۱.۸% بهتر از ALBERT (که خود یک مدل پارامتر-کارآمد است) عمل کرده است. علاوه بر این، WideNet با پارامترهای کمتر، توانسته با ۰.۸% برتری، از BERT که از پارامترسازی جاسازی فاکتوریزه شده (factorized embedding parameterization) استفاده می‌کند، پیشی بگیرد. این نتایج نشان می‌دهد که WideNet قادر است به طور مؤثری در وظایف درک زبان نیز به بهبود عملکرد دست یابد.
• انعطاف‌پذیری و قابلیت ادغام (Plug-and-Run):
  ماهیت “پلاگ-اند-ران” WideNet به این معنی است که معماری آن به راحتی قابل پیاده‌سازی و ادغام با مدل‌های ترنسفورمر موجود است، که این امر استفاده عملی از یافته‌های این مقاله را تسهیل می‌کند.

۶. کاربردها و دستاوردها

یافته‌های این مقاله پیامدهای مهمی برای توسعه و کاربرد مدل‌های هوش مصنوعی در هر دو حوزه بینایی کامپیوتر و پردازش زبان طبیعی دارد:

• مدل‌های هوشمندتر و سبک‌تر:
  مهم‌ترین دستاورد، امکان ساخت مدل‌هایی است که هم از نظر عملکردی در سطح بالایی قرار دارند و هم از نظر اندازه و نیازهای محاسباتی، بسیار کارآمدتر هستند. این امر می‌تواند دسترسی به مدل‌های پیشرفته را برای طیف وسیع‌تری از کاربران، از جمله توسعه‌دهندگان با منابع محدود، محققان آکادمیک و حتی دستگاه‌های با توان محاسباتی کمتر (مانند دستگاه‌های موبایل) فراهم کند.
• تسریع فرآیند تحقیق و توسعه:
  قابلیت “پلاگ-اند-ران” WideNet به محققان اجازه می‌دهد تا به سرعت این چارچوب را در مدل‌های موجود خود ادغام کرده و تأثیر آن را بر عملکرد بررسی کنند. این امر می‌تواند فرآیند کشف و توسعه معماری‌های جدید را تسریع بخشد.
• کاربرد در حوزه‌های متنوع:
  نتایج مثبت هم در وظایف تصویری و هم در وظایف زبانی، نشان‌دهنده قابلیت تعمیم WideNet به مشکلات مختلف است. این می‌تواند شامل موارد زیر باشد:
  • بینایی کامپیوتر: طبقه‌بندی تصاویر، تشخیص اشیاء، بخش‌بندی تصاویر، و حتی کاربردهای پیچیده‌تر مانند تولید تصویر.
  • پردازش زبان طبیعی: ترجمه ماشینی، خلاصه‌سازی متن، پرسش و پاسخ، تحلیل احساسات، و تولید متن.
• کاهش هزینه‌های عملیاتی:
  استفاده از مدل‌های پارامتر-کارآمدتر منجر به کاهش قابل توجه هزینه‌های آموزش و استنتاج می‌شود. این امر در مقیاس بزرگ، تأثیر اقتصادی قابل توجهی خواهد داشت، به خصوص برای شرکت‌ها و سازمان‌هایی که به طور مداوم با مدل‌های عظیم کار می‌کنند.

به طور کلی، WideNet نه تنها یک پیشرفت فنی در معماری مدل‌ها محسوب می‌شود، بلکه گامی عملی به سوی هوش مصنوعی پایدارتر و در دسترس‌تر است.

۷. نتیجه‌گیری

مقاله “Go Wider Instead of Deeper” با معرفی چارچوب WideNet، یک مسیر جدید و امیدوارکننده را در جهت بهینه‌سازی معماری مدل‌های ترنسفورمر ارائه می‌دهد. این تحقیق به چالش اساسی میان عملکرد بالا و بهره‌وری پارامتری پرداخته و نشان می‌دهد که تمرکز بر “گسترده‌تر شدن” مدل، به خصوص از طریق معماری مخلوطی از متخصصان (MoE) و استفاده از لایه‌های نرمال‌سازی مجزا، می‌تواند راهکاری مؤثر برای دستیابی به این هدف باشد.

یافته‌های کلیدی مقاله، شامل برتری WideNet نسبت به مدل‌های پیشین مانند ViT و ALBERT در معیارهای استاندارد بینایی کامپیوتر و پردازش زبان طبیعی، هم با حفظ عملکرد و هم با کاهش چشمگیر پارامترهای قابل آموزش، گواهی بر موفقیت این رویکرد است. این نتایج نه تنها از نظر علمی ارزشمند هستند، بلکه کاربردهای عملی گسترده‌ای را برای توسعه مدل‌های هوش مصنوعی کارآمدتر، سبک‌تر و در دسترس‌تر در آینده فراهم می‌کنند.

با توجه به اینکه جهان به سمت نیاز به مدل‌های قدرتمندتر اما پایدارتر حرکت می‌کند، تحقیقاتی مانند WideNet نقش حیاتی در شکل‌دهی به آینده هوش مصنوعی خواهند داشت. این چارچوب “پلاگ-اند-ران” پتانسیل بالایی برای ادغام شدن در پروژه‌های تحقیقاتی و کاربردی فعلی و آینده دارد و می‌تواند به عنوان یک ابزار قدرتمند در دست محققان و مهندسان برای ساخت نسل بعدی سیستم‌های هوش مصنوعی قرار گیرد.