با گسترش روزافزون استفاده از دستگاه‌های با منابع محدود (مانند تلفن‌های همراه، دستگاه‌های اینترنت اشیا و…)، نیاز به اجرای مدل‌های یادگیری ماشین بر روی این دستگاه‌ها نیز افزایش یافته است. اما آموزش مدل‌های بزرگ مانند BERT (Bidirectional Encoder Representations from Transformers) که در حوزه پردازش زبان طبیعی (NLP) بسیار قدرتمند هستند، نیازمند منابع محاسباتی و حافظه زیادی است که اغلب در این دستگاه‌ها در دسترس نیست. این مقاله به ارائه روشی نوآورانه برای حل این چالش می‌پردازد.

مقاله “تنظیم دقیق کارآمد مدل‌های برت در لبه” به بررسی چالش‌های آموزش مدل‌های بزرگ زبانی مانند BERT بر روی دستگاه‌های با منابع محدود می‌پردازد. این مقاله با ارائه روشی به نام Freeze And Reconfigure (FAR)، تلاش می‌کند تا مصرف حافظه در حین فرایند تنظیم دقیق (Fine-tuning) مدل‌های BERT را بهینه کرده و امکان آموزش این مدل‌ها را بر روی دستگاه‌های لبه‌ای فراهم کند. اهمیت این موضوع از آن جهت است که دستگاه‌های لبه‌ای به طور فزاینده‌ای در کاربردهای مختلف مورد استفاده قرار می‌گیرند و توانایی آموزش مدل‌ها بر روی این دستگاه‌ها، امکان انطباق سریع‌تر با محیط‌های پویا و داده‌های جدید را فراهم می‌آورد. به عبارت دیگر، به جای تکیه بر مدل‌های از پیش آموزش‌دیده ثابت، دستگاه‌های لبه‌ای می‌توانند با استفاده از روش FAR، به طور مداوم مدل‌های خود را با داده‌های محلی تطبیق دهند.

این مقاله توسط تیمی از محققان با تخصص در زمینه‌های یادگیری ماشین، پردازش زبان طبیعی و سیستم‌های توزیع شده نوشته شده است:

• Danilo Vucetic
• Mohammadreza Tayaranian
• Maryam Ziaeefard
• James J. Clark
• Brett H. Meyer
• Warren J. Gross

زمینه تحقیقاتی این گروه بر بهینه‌سازی الگوریتم‌های یادگیری ماشین برای اجرا بر روی دستگاه‌های با منابع محدود و همچنین بهبود کارایی و بهره‌وری انرژی در پردازش زبان طبیعی متمرکز است.

چکیده مقاله به این صورت است: دستگاه‌های با منابع محدود به طور فزاینده‌ای هدف استقرار برنامه‌های یادگیری ماشین هستند. با این حال، مدل‌های ثابت همیشه برای محیط‌های پویا کافی نیستند. آموزش مدل‌ها بر روی دستگاه امکان انطباق سریع با سناریوهای جدید را فراهم می‌کند. با افزایش اندازه شبکه‌های عصبی عمیق، همانطور که در مورد BERT و سایر مدل‌های پردازش زبان طبیعی مشاهده می‌شود، نیاز به منابع، یعنی حافظه، محاسبات، انرژی و زمان افزایش می‌یابد. علاوه بر این، آموزش بسیار بیشتر از استنتاج از نظر منابع فشرده است. بنابراین، یادگیری بر روی دستگاه با منابع محدود دوچندان دشوار است، به ویژه با مدل‌های بزرگ شبیه BERT. با کاهش میزان حافظه مورد استفاده برای تنظیم دقیق، مدل‌های از پیش آموزش‌دیده BERT می‌توانند به اندازه‌ای کارآمد شوند که بر روی دستگاه‌های با منابع محدود تنظیم دقیق شوند. ما Freeze And Reconfigure (FAR) را پیشنهاد می‌کنیم، یک رژیم آموزشی با حافظه کارآمد برای مدل‌های شبیه BERT که با جلوگیری از به‌روزرسانی‌های غیرضروری پارامترها، میزان حافظه مورد استفاده از نقشه‌های فعال‌سازی را در طول تنظیم دقیق کاهش می‌دهد. FAR زمان تنظیم دقیق مدل DistilBERT و مجموعه داده CoLA را 30 درصد و زمان صرف شده برای عملیات حافظه را 47 درصد کاهش می‌دهد. به طور کلی، کاهش در عملکرد متریک در مجموعه‌های داده GLUE و SQuAD به طور متوسط حدود 1٪ است.

به طور خلاصه، مقاله به معرفی روش FAR می‌پردازد که با فریز کردن برخی از لایه‌های مدل و پیکربندی مجدد لایه‌های باقیمانده، از به‌روزرسانی غیرضروری پارامترها جلوگیری کرده و بدین ترتیب مصرف حافظه را کاهش می‌دهد. این روش امکان آموزش مدل‌های BERT را بر روی دستگاه‌هایی با منابع محدود فراهم می‌کند، در حالی که افت عملکرد قابل توجهی در دقت مدل مشاهده نمی‌شود.

محققان برای اثبات کارآمدی روش FAR، از روش‌های زیر استفاده کرده‌اند:

• تجزیه و تحلیل نظری: بررسی دقیق معماری مدل BERT و شناسایی لایه‌هایی که بیشترین تاثیر را در مصرف حافظه دارند.
• پیاده‌سازی و ارزیابی تجربی: پیاده‌سازی روش FAR بر روی مدل‌های مختلف BERT (مانند DistilBERT) و ارزیابی عملکرد آن بر روی مجموعه‌های داده متنوع (مانند GLUE و SQuAD).
• مقایسه با روش‌های موجود: مقایسه عملکرد روش FAR با سایر روش‌های بهینه‌سازی حافظه در حین آموزش مدل‌های BERT.
• اندازه‌گیری مصرف منابع: اندازه‌گیری دقیق مصرف حافظه، زمان آموزش و مصرف انرژی در حین استفاده از روش FAR بر روی دستگاه‌های مختلف.

این روش‌شناسی به محققان کمک کرده است تا به طور دقیق تاثیر روش FAR را بر کارایی آموزش مدل‌های BERT ارزیابی کرده و مزایای آن را نسبت به روش‌های دیگر نشان دهند. به عنوان مثال، آن‌ها نشان دادند که روش FAR می‌تواند زمان تنظیم دقیق مدل DistilBERT را بر روی مجموعه داده CoLA تا 30 درصد کاهش دهد، در حالی که افت عملکرد تنها حدود 1 درصد است.

مهم‌ترین یافته‌های این تحقیق عبارتند از:

• روش FAR می‌تواند به طور قابل توجهی مصرف حافظه را در حین تنظیم دقیق مدل‌های BERT کاهش دهد.
• کاهش مصرف حافظه منجر به کاهش زمان آموزش و افزایش بهره‌وری انرژی می‌شود.
• روش FAR با حفظ دقت مدل، امکان آموزش مدل‌های BERT را بر روی دستگاه‌های با منابع محدود فراهم می‌کند.
• روش FAR عملکرد بهتری نسبت به برخی از روش‌های بهینه‌سازی حافظه موجود دارد.
• کاهش زمان صرف شده برای عملیات حافظه تا 47% در برخی موارد مشاهده شده است.

این یافته‌ها نشان می‌دهند که روش FAR یک راهکار موثر برای غلبه بر چالش‌های آموزش مدل‌های بزرگ زبانی بر روی دستگاه‌های لبه‌ای است.

نتایج این تحقیق می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد:

• پردازش زبان طبیعی بر روی دستگاه‌های تلفن همراه: امکان اجرای برنامه‌های NLP پیشرفته (مانند ترجمه ماشینی، پاسخ به سوال و…) بر روی تلفن‌های همراه بدون نیاز به اتصال به اینترنت.
• اینترنت اشیا (IoT): آموزش مدل‌ها بر روی دستگاه‌های IoT برای تحلیل داده‌های حسگر و تصمیم‌گیری محلی. به عنوان مثال، در یک سیستم کشاورزی هوشمند، می‌توان از روش FAR برای آموزش یک مدل BERT بر روی یک دستگاه لبه‌ای استفاده کرد تا به طور خودکار بیماری‌های گیاهی را تشخیص دهد.
• خودروهای خودران: آموزش مدل‌ها بر روی خودرو برای پردازش داده‌های حسگر و تصمیم‌گیری در زمان واقعی.
• بهبود حریم خصوصی: با آموزش مدل‌ها بر روی دستگاه، داده‌ها دیگر نیازی به انتقال به سرورهای مرکزی ندارند، که این امر حریم خصوصی کاربران را بهبود می‌بخشد.

به طور کلی، این تحقیق گامی مهم در جهت democratizing هوش مصنوعی و در دسترس قرار دادن آن برای طیف گسترده‌تری از کاربران و دستگاه‌ها است.

مقاله “تنظیم دقیق کارآمد مدل‌های برت در لبه” یک راهکار نوآورانه و موثر برای حل چالش‌های آموزش مدل‌های بزرگ زبانی بر روی دستگاه‌های با منابع محدود ارائه می‌دهد. روش FAR با کاهش مصرف حافظه و زمان آموزش، امکان استفاده از مدل‌های BERT را در کاربردهای مختلف لبه‌ای فراهم می‌کند. این تحقیق می‌تواند تاثیر بسزایی در توسعه برنامه‌های هوش مصنوعی قابل اجرا بر روی دستگاه‌های تلفن همراه، اینترنت اشیا و سایر دستگاه‌های لبه‌ای داشته باشد و زمینه را برای نوآوری‌های بیشتر در این حوزه فراهم کند. توسعه دهندگان و محققان می‌توانند از این روش برای بهینه سازی مدل های خود و استقرار آن‌ها بر روی دستگاه‌های با محدودیت منابع بهره ببرند. به طور خلاصه، FAR یک گام رو به جلو در راستای دسترسی همگانی به هوش مصنوعی است.