در دنیای امروز، شاهد افزایش روزافزون استفاده از مدل‌های یادگیری عمیق، به‌ویژه مدل‌های مبتنی بر ترنسفورمر، در کاربردهای مختلف هستیم. این مدل‌ها، به دلیل توانایی بالا در پردازش زبان طبیعی (NLP)، در زمینه‌هایی مانند ترجمه ماشینی، خلاصه‌سازی متن، و پاسخگویی به سوالات به طور گسترده‌ای مورد استفاده قرار می‌گیرند. با این حال، پیچیدگی و حجم بالای این مدل‌ها، استقرار آن‌ها را بر روی دستگاه‌های با منابع محدود (مانند تلفن‌های همراه، دستگاه‌های اینترنت اشیا، و سیستم‌های لبه‌ای) با چالش‌های جدی مواجه می‌کند. اینجاست که اهمیت پیرایش مدل (Model Pruning) نمایان می‌شود. پیرایش مدل، به فرایند حذف بخش‌های غیرضروری یک مدل یادگیری عمیق بدون کاهش قابل توجه در دقت آن اشاره دارد. این کار منجر به کاهش حجم مدل، افزایش سرعت استنتاج، و کاهش مصرف انرژی می‌شود که همگی برای استقرار مدل‌ها در محیط‌های لبه‌ای ضروری هستند.

مقاله حاضر با عنوان “پیرایش خودکار و کارآمد BERT برای سیستم‌های هوش مصنوعی لبه” به ارائه یک روش جدید برای پیرایش مدل BERT می‌پردازد که به طور خاص برای استفاده در سیستم‌های هوش مصنوعی لبه طراحی شده است. اهمیت این مقاله در ارائه یک رویکرد خودکار و کارآمد است که نیاز به دانش تخصصی و تنظیم دستی ابرپارامترها را کاهش می‌دهد و در عین حال، دقت مدل را در سطح قابل قبولی حفظ می‌کند.

این مقاله توسط تیمی از محققان به سرپرستی Shaoyi Huang, Ning Liu, Yueying Liang, Hongwu Peng, Hongjia Li, Dongkuan Xu, Mimi Xie, و Caiwen Ding ارائه شده است. زمینه تحقیقاتی این گروه، متمرکز بر بهینه‌سازی مدل‌های یادگیری عمیق برای استقرار در سیستم‌های لبه‌ای است. این محققان با درک چالش‌های مربوط به محدودیت منابع در این سیستم‌ها، به دنبال ارائه راهکارهای کارآمد برای کاهش حجم و پیچیدگی مدل‌ها بدون افت کیفیت عملکرد هستند.

دسته‌بندی‌های اصلی این مقاله شامل محاسبات و زبان و هوش مصنوعی است که نشان‌دهنده تمرکز آن بر کاربرد مدل‌های زبانی پیشرفته در محیط‌های محاسباتی محدود است.

چکیده این مقاله به این شرح است: “با اشتیاق به دموکراتیزه کردن یادگیری عمیق، تقاضای فزاینده‌ای برای پیاده‌سازی مدل‌های پردازش زبان طبیعی (NLP) مبتنی بر ترنسفورمر بر روی دستگاه‌های با منابع محدود برای تاخیر کم و دقت بالا وجود دارد. روش‌های پیرایش BERT موجود نیاز به متخصصان دامنه دارد تا به‌طور اکتشافی ابرپارامترها را به‌صورت دستی تنظیم کنند تا تعادلی بین اندازه مدل، تاخیر و دقت ایجاد کنند. در این مقاله، ما AE-BERT، یک چارچوب پیرایش BERT خودکار و کارآمد با ارزیابی کارآمد را برای انتخاب یک نامزد زیرشبکه “خوب” (با دقت بالا) با توجه به محدودیت‌های کلی نسبت پیرایش پیشنهاد می‌کنیم. روش پیشنهادی ما نیازی به تجربه متخصصان انسانی ندارد و به عملکرد دقت بهتری در بسیاری از وظایف NLP دست می‌یابد. نتایج تجربی ما در معیار ارزیابی درک زبان عمومی (GLUE) نشان می‌دهد که AE-BERT در BERT_BASE از روش‌های پیرایش دستی پیشرفته (SOTA) عملکرد بهتری دارد. در QNLI و RTE، ما نسبت پیرایش کلی 75٪ و 42.8٪ بیشتر را در حالی که به دقت بالاتری دست می‌یابیم، به دست می‌آوریم. در MRPC، ما نمره 4.6 بالاتری نسبت به SOTA در همان نسبت پیرایش کلی 0.5 به دست می‌آوریم. در STS-B، ما می‌توانیم به نسبت پیرایش 40٪ بالاتر با کاهش بسیار کم در همبستگی اسپیرمن در مقایسه با روش‌های پیرایش دستی SOTA دست یابیم. نتایج تجربی همچنین نشان می‌دهد که پس از فشرده‌سازی مدل، زمان استنتاج یک رمزگذار BERT_BASE واحد در برد Xilinx Alveo U200 FPGA در مقایسه با پردازنده Intel(R) Xeon(R) Gold 5218 (2.30GHz) CPU، 1.83 برابر افزایش سرعت دارد، که نشان‌دهنده منطقی بودن استقرار زیرشبکه‌های تولید شده توسط روش پیشنهادی از مدل BERT_BASE بر روی دستگاه‌های محدود محاسباتی است.”

به طور خلاصه، این مقاله یک روش جدید و خودکار برای پیرایش مدل BERT با نام AE-BERT ارائه می‌دهد. این روش بدون نیاز به تنظیم دستی ابرپارامترها، می‌تواند مدل BERT را به گونه‌ای پیرایش کند که حجم آن کاهش یابد و سرعت استنتاج آن افزایش یابد، در حالی که دقت مدل در سطح قابل قبولی حفظ می‌شود. نتایج تجربی نشان می‌دهد که AE-BERT در مقایسه با روش‌های موجود، عملکرد بهتری دارد و می‌تواند مدل BERT را با نسبت پیرایش بالاتری، بدون افت قابل توجه در دقت، فشرده‌سازی کند.

روش‌شناسی تحقیق در این مقاله بر پایه طراحی و پیاده‌سازی یک چارچوب خودکار برای پیرایش مدل BERT استوار است. این چارچوب، که AE-BERT نامیده می‌شود، از یک رویکرد ارزیابی کارآمد برای انتخاب زیرشبکه‌های مناسب استفاده می‌کند. مراحل اصلی روش‌شناسی به شرح زیر است:

• تعریف مسئله: تعیین هدف اصلی تحقیق، یعنی کاهش حجم و افزایش سرعت استنتاج مدل BERT بدون افت قابل توجه در دقت.
• طراحی چارچوب AE-BERT: طراحی یک چارچوب خودکار که بتواند زیرشبکه‌های مختلف مدل BERT را ارزیابی کرده و بهترین زیرشبکه را با توجه به محدودیت‌های مشخص شده (نسبت پیرایش کلی) انتخاب کند.
• پیاده‌سازی و ارزیابی: پیاده‌سازی چارچوب AE-BERT و ارزیابی عملکرد آن بر روی مجموعه داده‌های استاندارد (GLUE benchmark).
• مقایسه با روش‌های موجود: مقایسه عملکرد AE-BERT با روش‌های پیرایش دستی موجود (SOTA) برای نشان دادن برتری روش پیشنهادی.
• تحلیل نتایج: تحلیل نتایج تجربی برای درک بهتر رفتار AE-BERT و شناسایی نقاط قوت و ضعف آن.
• ارزیابی زمان استنتاج: ارزیابی زمان استنتاج مدل پیرایش شده بر روی سخت‌افزارهای مختلف (FPGA و CPU) برای نشان دادن مزایای استقرار مدل پیرایش شده در سیستم‌های لبه‌ای.

به عبارت دیگر، روش‌شناسی این تحقیق شامل یک رویکرد ترکیبی از طراحی الگوریتم، پیاده‌سازی نرم‌افزاری، ارزیابی تجربی، و تحلیل مقایسه‌ای است.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• AE-BERT در مقایسه با روش‌های پیرایش دستی موجود، عملکرد بهتری دارد. به طور خاص، AE-BERT می‌تواند مدل BERT را با نسبت پیرایش بالاتری، بدون افت قابل توجه در دقت، فشرده‌سازی کند.
• AE-BERT نیاز به دانش تخصصی و تنظیم دستی ابرپارامترها را کاهش می‌دهد. این امر باعث می‌شود که استفاده از AE-BERT برای افراد غیرمتخصص نیز آسان باشد.
• AE-BERT می‌تواند سرعت استنتاج مدل BERT را به طور قابل توجهی افزایش دهد. نتایج تجربی نشان می‌دهد که استنتاج مدل پیرایش شده با AE-BERT بر روی FPGA، سریع‌تر از استنتاج مدل اصلی بر روی CPU است.
• در QNLI و RTE، با استفاده از AE-BERT نسبت پیرایش کلی 75٪ و 42.8٪ بیشتر به دست آمده است، در حالی که دقت نیز بهبود یافته است. این نشان‌دهنده کارآمدی بالای AE-BERT در حذف بخش‌های غیرضروری مدل است.
• در MRPC، AE-BERT نمره 4.6 بالاتری نسبت به روش‌های SOTA در همان نسبت پیرایش کلی 0.5 به دست آورده است. این امر نشان می‌دهد که AE-BERT می‌تواند دقت مدل را در حین فشرده‌سازی حفظ کند.
• در STS-B، AE-BERT توانسته است نسبت پیرایش 40٪ بالاتری را با کاهش بسیار کم در همبستگی اسپیرمن در مقایسه با روش‌های پیرایش دستی SOTA به دست آورد. این یافته نشان می‌دهد که AE-BERT می‌تواند در وظایف مختلف NLP عملکرد خوبی داشته باشد.

به طور کلی، یافته‌های این تحقیق نشان می‌دهد که AE-BERT یک روش کارآمد و موثر برای پیرایش مدل BERT است که می‌تواند در سیستم‌های هوش مصنوعی لبه مورد استفاده قرار گیرد.

کاربردها و دستاوردهای این تحقیق به شرح زیر است:

• بهبود عملکرد مدل‌های NLP در سیستم‌های لبه‌ای: AE-BERT می‌تواند به بهبود عملکرد مدل‌های NLP در سیستم‌های لبه‌ای با کاهش حجم و افزایش سرعت استنتاج کمک کند. این امر باعث می‌شود که این مدل‌ها بتوانند در دستگاه‌های با منابع محدود مورد استفاده قرار گیرند.
• کاهش مصرف انرژی: با کاهش حجم مدل، مصرف انرژی نیز کاهش می‌یابد که برای سیستم‌های لبه‌ای که معمولاً با باتری کار می‌کنند، بسیار مهم است.
• ارائه یک چارچوب خودکار برای پیرایش مدل: AE-BERT یک چارچوب خودکار برای پیرایش مدل BERT ارائه می‌دهد که نیاز به دانش تخصصی و تنظیم دستی ابرپارامترها را کاهش می‌دهد. این امر باعث می‌شود که استفاده از این روش برای افراد غیرمتخصص نیز آسان باشد.
• افزایش سرعت استنتاج بر روی FPGA: نتایج تجربی نشان می‌دهد که استنتاج مدل پیرایش شده با AE-BERT بر روی FPGA، 1.83 برابر سریع‌تر از استنتاج مدل اصلی بر روی CPU است. این امر نشان می‌دهد که استفاده از FPGA می‌تواند سرعت استنتاج را به طور قابل توجهی افزایش دهد.
• امکان استقرار مدل‌های پیچیده در محیط‌های محدود: این تحقیق نشان می‌دهد که با استفاده از روش‌های پیرایش، می‌توان مدل‌های پیچیده مانند BERT را در محیط‌های محدود محاسباتی مستقر کرد.

به طور کلی، این تحقیق به ارائه یک راهکار عملی برای استقرار مدل‌های NLP پیشرفته در سیستم‌های لبه‌ای کمک می‌کند و می‌تواند در زمینه‌های مختلفی مانند اینترنت اشیا، خودروهای خودران، و دستگاه‌های پزشکی مورد استفاده قرار گیرد.

در این مقاله، یک روش جدید و خودکار برای پیرایش مدل BERT با نام AE-BERT ارائه شد. این روش، با استفاده از یک رویکرد ارزیابی کارآمد، می‌تواند مدل BERT را به گونه‌ای پیرایش کند که حجم آن کاهش یابد و سرعت استنتاج آن افزایش یابد، در حالی که دقت مدل در سطح قابل قبولی حفظ می‌شود. نتایج تجربی نشان می‌دهد که AE-BERT در مقایسه با روش‌های موجود، عملکرد بهتری دارد و می‌تواند مدل BERT را با نسبت پیرایش بالاتری، بدون افت قابل توجه در دقت، فشرده‌سازی کند. این تحقیق به ارائه یک راهکار عملی برای استقرار مدل‌های NLP پیشرفته در سیستم‌های لبه‌ای کمک می‌کند و می‌تواند در زمینه‌های مختلفی مورد استفاده قرار گیرد. این تحقیق گامی مهم در جهت دموکراتیزه کردن یادگیری عمیق و فراهم کردن امکان استفاده از مدل‌های پیچیده در دستگاه‌های با منابع محدود است.

تحقیقات آتی می‌توانند بر بهبود بیشتر کارایی AE-BERT، گسترش آن به سایر مدل‌های یادگیری عمیق، و بررسی کاربردهای آن در زمینه‌های مختلف متمرکز شوند.