مدل‌های ترانسفورمر بزرگ، نقش اساسی در پیشرفت‌های اخیر در پردازش زبان طبیعی (NLP) ایفا کرده‌اند. با این حال، هزینه‌های آموزش و استنتاج این مدل‌ها به سرعت افزایش یافته و به طرز چشمگیری گران شده است. مقاله حاضر، به بررسی روش‌هایی برای کاهش هزینه‌های ترانسفورمرها از طریق جستجو برای یک نوع کارآمدتر می‌پردازد. این جستجو، در سطحی پایین‌تر، بر روی عناصر اولیه‌ای که یک برنامه TensorFlow ترانسفورمر را تعریف می‌کنند، انجام می‌شود. نتیجه این جستجو، معماری جدیدی به نام “پرایمر” (Primer) است که در مقایسه با ترانسفورمر اصلی و انواع دیگر، هزینه آموزش کمتری برای مدل‌سازی زبان خود-رگرسیو (auto-regressive) دارد.

در سال‌های اخیر، مدل‌های ترانسفورمر به عنوان یکی از قدرتمندترین ابزارها در حوزه پردازش زبان طبیعی ظاهر شده‌اند. این مدل‌ها، توانسته‌اند در وظایف مختلفی از جمله ترجمه ماشینی، خلاصه‌سازی متن، و پاسخ به سوالات، به نتایج قابل توجهی دست یابند. با این حال، یکی از چالش‌های اصلی در استفاده از مدل‌های ترانسفورمر، هزینه محاسباتی بالا و نیاز به منابع سخت‌افزاری قابل توجه برای آموزش و استنتاج آن‌ها است. این موضوع، استفاده از این مدل‌ها را برای بسیاری از محققان و شرکت‌ها محدود می‌کند. از این رو، تحقیقات در زمینه یافتن راه‌هایی برای کاهش هزینه‌های محاسباتی مدل‌های ترانسفورمر، از اهمیت ویژه‌ای برخوردار است. مقاله “پرایمر: جستجوی ترانسفورمرهای کارآمد برای مدل‌سازی زبان” در این راستا، به ارائه یک معماری جدید و کارآمدتر از ترانسفورمر می‌پردازد که می‌تواند هزینه آموزش و استنتاج را به طور قابل توجهی کاهش دهد.

این مقاله توسط David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer و Quoc V. Le نگارش شده است. این نویسندگان، از محققان برجسته در زمینه یادگیری ماشین و پردازش زبان طبیعی هستند و تجربیات گسترده‌ای در زمینه طراحی و بهینه‌سازی مدل‌های یادگیری عمیق دارند. زمینه تحقیقاتی این مقاله، در حوزه یادگیری ماشین، هوش مصنوعی، محاسبات و زبان، و محاسبات عصبی و تکاملی قرار می‌گیرد.

مقاله “پرایمر” به بررسی معماری جدیدی برای مدل‌های ترانسفورمر می‌پردازد که هدف آن، کاهش هزینه‌های محاسباتی آموزش و استنتاج است. نویسندگان، با انجام جستجو در سطح عناصر اولیه‌ای که یک برنامه TensorFlow ترانسفورمر را تعریف می‌کنند، معماری جدیدی به نام “پرایمر” را شناسایی کرده‌اند. این معماری، با استفاده از دو تغییر ساده، به طور قابل توجهی هزینه آموزش را کاهش می‌دهد:

• مربع کردن فعال‌سازی‌های ReLU: به جای استفاده مستقیم از خروجی تابع ReLU، مقدار آن به توان دو می‌رسد.
• اضافه کردن یک لایه کانولوشن عمقی (Depthwise Convolution) پس از هر projection Q, K, V در خود-توجهی: این لایه، ارتباطات محلی را در داده‌ها بهتر ثبت می‌کند و باعث بهبود کارایی مدل می‌شود.

نتایج تجربی نشان می‌دهند که “پرایمر” در مقایسه با ترانسفورمر اصلی و سایر انواع آن، عملکرد بهتری در مدل‌سازی زبان خود-رگرسیو دارد و با افزایش مقیاس محاسباتی، این برتری بیشتر می‌شود. نویسندگان همچنین نشان داده‌اند که می‌توان “پرایمر” را به راحتی در کدبیس‌های مختلف جایگزین ترانسفورمر کرد و بدون نیاز به تنظیمات اضافی، سرعت آموزش را به طور قابل توجهی افزایش داد. به عنوان مثال، در اندازه 500 میلیون پارامتر، “پرایمر” معماری T5 اصلی را در مدل‌سازی زبان خود-رگرسیو C4 بهبود می‌بخشد و هزینه آموزش را 4 برابر کاهش می‌دهد. علاوه بر این، کاهش هزینه آموزش به این معنی است که “پرایمر” برای رسیدن به یک عملکرد مطلوب در یک شات، به محاسبات کمتری نیاز دارد. به عنوان مثال، در پیکربندی 1.9 میلیارد پارامتری مشابه GPT-3 XL، “پرایمر” با یک سوم محاسبات آموزشی، به همان عملکرد یک‌شات ترانسفورمر دست می‌یابد.

برای تسهیل بازتولیدپذیری، نویسندگان مدل‌های خود و چندین مقایسه در T5 را به صورت متن‌باز منتشر کرده‌اند.

روش‌شناسی تحقیق در این مقاله، مبتنی بر جستجوی خودکار معماری (Automated Architecture Search) است. نویسندگان، یک فضای جستجو را تعریف کرده‌اند که شامل انواع مختلفی از عملیات و اتصالات بین لایه‌های مختلف در یک مدل ترانسفورمر است. سپس، با استفاده از یک الگوریتم جستجو (که در مقاله جزئیات آن ذکر نشده است)، به دنبال معماری‌هایی بوده‌اند که در مقایسه با ترانسفورمر اصلی، هزینه آموزش کمتری داشته باشند و عملکرد بهتری ارائه دهند. این جستجو، بر روی مجموعه داده‌های بزرگ و با استفاده از منابع محاسباتی قابل توجه انجام شده است. نتایج حاصل از این جستجو، منجر به شناسایی معماری “پرایمر” شده است.

علاوه بر این، نویسندگان، آزمایش‌های تجربی گسترده‌ای را برای ارزیابی عملکرد “پرایمر” در وظایف مختلف مدل‌سازی زبان خود-رگرسیو انجام داده‌اند. آن‌ها، “پرایمر” را با ترانسفورمر اصلی و سایر انواع آن مقایسه کرده و نشان داده‌اند که “پرایمر” در اکثر موارد، عملکرد بهتری دارد. همچنین، آن‌ها نشان داده‌اند که “پرایمر” را می‌توان به راحتی در کدبیس‌های مختلف جایگزین ترانسفورمر کرد و بدون نیاز به تنظیمات اضافی، سرعت آموزش را به طور قابل توجهی افزایش داد.

یافته‌های کلیدی این مقاله عبارتند از:

• معماری “پرایمر” می‌تواند هزینه آموزش مدل‌های ترانسفورمر را به طور قابل توجهی کاهش دهد.
• دو تغییر ساده (مربع کردن فعال‌سازی‌های ReLU و اضافه کردن یک لایه کانولوشن عمقی) نقش مهمی در بهبود کارایی “پرایمر” دارند.
• “پرایمر” در مقایسه با ترانسفورمر اصلی و سایر انواع آن، عملکرد بهتری در مدل‌سازی زبان خود-رگرسیو دارد.
• “پرایمر” را می‌توان به راحتی در کدبیس‌های مختلف جایگزین ترانسفورمر کرد و بدون نیاز به تنظیمات اضافی، سرعت آموزش را به طور قابل توجهی افزایش داد.
• “پرایمر” برای رسیدن به یک عملکرد مطلوب در یک شات، به محاسبات کمتری نیاز دارد.

به طور خلاصه، “پرایمر” یک معماری کارآمدتر برای مدل‌های ترانسفورمر است که می‌تواند هزینه آموزش و استنتاج را به طور قابل توجهی کاهش دهد.

معماری “پرایمر” می‌تواند در طیف گسترده‌ای از کاربردهای پردازش زبان طبیعی مورد استفاده قرار گیرد، از جمله:

• ترجمه ماشینی: “پرایمر” می‌تواند برای آموزش مدل‌های ترجمه ماشینی کارآمدتر و دقیق‌تر مورد استفاده قرار گیرد.
• خلاصه‌سازی متن: “پرایمر” می‌تواند برای آموزش مدل‌های خلاصه‌سازی متن که قادر به تولید خلاصه‌های با کیفیت بالاتر با هزینه محاسباتی کمتر هستند، مورد استفاده قرار گیرد.
• پاسخ به سوالات: “پرایمر” می‌تواند برای آموزش مدل‌های پاسخ به سوالات که قادر به پاسخگویی به سوالات پیچیده با دقت بالاتر و هزینه محاسباتی کمتر هستند، مورد استفاده قرار گیرد.
• تولید متن: “پرایمر” می‌تواند برای آموزش مدل‌های تولید متن که قادر به تولید متون با کیفیت بالا و با سبک‌های مختلف با هزینه محاسباتی کمتر هستند، مورد استفاده قرار گیرد.

دستاورد اصلی این مقاله، ارائه یک معماری جدید و کارآمدتر برای مدل‌های ترانسفورمر است که می‌تواند هزینه آموزش و استنتاج را به طور قابل توجهی کاهش دهد. این دستاورد، می‌تواند تاثیر بسزایی در پیشرفت‌های آینده در حوزه پردازش زبان طبیعی داشته باشد و امکان استفاده از مدل‌های ترانسفورمر را برای طیف گسترده‌تری از محققان و شرکت‌ها فراهم کند.

مقاله “پرایمر: جستجوی ترانسفورمرهای کارآمد برای مدل‌سازی زبان” یک گام مهم در جهت کاهش هزینه‌های محاسباتی مدل‌های ترانسفورمر است. نویسندگان، با استفاده از جستجوی خودکار معماری، معماری جدیدی به نام “پرایمر” را شناسایی کرده‌اند که می‌تواند هزینه آموزش و استنتاج را به طور قابل توجهی کاهش دهد. این معماری، با استفاده از دو تغییر ساده (مربع کردن فعال‌سازی‌های ReLU و اضافه کردن یک لایه کانولوشن عمقی)، به طور قابل توجهی کارآمدتر از ترانسفورمر اصلی و سایر انواع آن است. نتایج تجربی نشان می‌دهند که “پرایمر” در مقایسه با ترانسفورمر اصلی و سایر انواع آن، عملکرد بهتری در مدل‌سازی زبان خود-رگرسیو دارد و می‌توان آن را به راحتی در کدبیس‌های مختلف جایگزین ترانسفورمر کرد. این تحقیق، می‌تواند تاثیر بسزایی در پیشرفت‌های آینده در حوزه پردازش زبان طبیعی داشته باشد و امکان استفاده از مدل‌های ترانسفورمر را برای طیف گسترده‌تری از محققان و شرکت‌ها فراهم کند.