مقاله “AutoBERT-Zero: کشف خودکار ستون فقرات BERT از پایه” رویکردی نوین در طراحی مدل‌های زبانی پیش‌آموزش‌شده (PLM) ارائه می‌دهد. این مقاله به بررسی چگونگی کشف خودکار یک معماری بهینه برای مدل‌های زبانی، به‌ویژه مدل BERT، از پایه می‌پردازد. اهمیت این تحقیق در این است که به‌جای استفاده از ساختارهای از پیش تعیین‌شده و دستی برای لایه‌های خودتوجهی (self-attention)، یک فرآیند جستجوی خودکار را برای یافتن ساختارهای بهتر و کارآمدتر معرفی می‌کند.

این مقاله توسط Jiahui Gao, Hang Xu, Han Shi, Xiaozhe Ren, Philip L. H. Yu, Xiaodan Liang, Xin Jiang, و Zhenguo Li نوشته شده است. نویسندگان این مقاله متخصصین حوزه‌های پردازش زبان طبیعی (NLP) و یادگیری ماشین هستند و در زمینه طراحی و بهینه‌سازی مدل‌های زبانی پیش‌آموزش‌شده فعالیت دارند. زمینه تحقیق این مقاله، بهینه‌سازی معماری مدل‌های زبانی ترانسفورمر (Transformer) با استفاده از تکنیک‌های جستجوی معماری عصبی (NAS) است.

مدل‌های زبانی پیش‌آموزش‌شده مبتنی بر ترانسفورمر، مانند BERT و انواع آن، اخیراً عملکرد بسیار خوبی در وظایف مختلف پردازش زبان طبیعی (NLP) نشان داده‌اند. با این حال، رویکرد متداول در ساختن ستون فقرات این مدل‌ها، صرفاً بر اساس انباشتن لایه‌های خودتوجهی طراحی‌شده به‌صورت دستی است، که باعث معرفی سوگیری القایی (inductive bias) و در نتیجه عملکرد زیربهینه می‌شود.

در این مقاله، نویسندگان تلاش می‌کنند تا به‌طور خودکار یک ستون فقرات جدید برای مدل زبانی پیش‌آموزش‌شده (PLM) را از پایه کشف کنند. آن‌ها یک فضای جستجوی منعطف را طراحی کرده‌اند که شامل (i) عملیات ریاضی اولیه در سطح درون لایه‌ای برای کشف ساختارهای توجهی جدید، و (ii) بلوک‌های کانولوشن (convolution) به عنوان مکمل توجه در سطح بین لایه‌ای برای یادگیری بهتر وابستگی محلی است.

برای افزایش کارایی یافتن معماری‌های امیدوارکننده، نویسندگان یک الگوریتم جستجوی معماری عصبی با اولویت عملیات (OP-NAS) را پیشنهاد می‌کنند. این الگوریتم هم الگوریتم جستجو و هم ارزیابی مدل‌های کاندید را بهینه می‌کند. به طور خاص، آنها استراتژی تکامل با اولویت عملیات (OP) را برای تسهیل جستجوی مدل از طریق متعادل کردن اکتشاف و بهره‌برداری پیشنهاد می‌دهند. علاوه بر این، آن‌ها یک استراتژی آموزش وزن‌دهی دو شاخه (BIWS) را برای ارزیابی سریع مدل طراحی می‌کنند.

نتایج آزمایش‌های گسترده نشان می‌دهد که معماری جستجو شده (با نام AutoBERT-Zero) به طور قابل توجهی از BERT و انواع آن با ظرفیت‌های مختلف مدل در وظایف پایین‌دستی مختلف بهتر عمل می‌کند، که توانایی انتقال و مقیاس‌پذیری معماری را ثابت می‌کند. قابل توجه است که AutoBERT-Zero-base از RoBERTa-base (با استفاده از داده‌های بسیار بیشتر) و BERT-large (با اندازه مدل بسیار بزرگتر) به ترتیب 2.4 و 1.4 امتیاز بالاتر در مجموعه داده GLUE کسب می‌کند.

روش‌شناسی تحقیق در این مقاله بر پایه جستجوی معماری عصبی (Neural Architecture Search – NAS) استوار است. نویسندگان یک فضای جستجوی گسترده و انعطاف‌پذیر برای یافتن معماری‌های بهینه برای مدل BERT تعریف کرده‌اند. این فضا شامل عملیات ریاضی اولیه در داخل لایه‌ها و بلوک‌های کانولوشن بین لایه‌ها می‌شود.

برای تسریع فرآیند جستجو، الگوریتم OP-NAS (Operation-Priority Neural Architecture Search) پیشنهاد شده است. این الگوریتم به طور همزمان هم فرآیند جستجو و هم ارزیابی مدل‌های کاندید را بهینه می‌کند. الگوریتم OP-NAS از یک استراتژی تکاملی با اولویت عملیات استفاده می‌کند تا تعادلی بین اکتشاف (exploration) و بهره‌برداری (exploitation) در فرآیند جستجو ایجاد کند.

علاوه بر این، یک استراتژی آموزش وزن‌دهی دو شاخه (Bi-branch Weight-Sharing – BIWS) برای ارزیابی سریع مدل‌ها طراحی شده است. این استراتژی امکان ارزیابی سریع و کارآمد مدل‌های مختلف را فراهم می‌کند.

به طور خلاصه، مراحل اصلی روش‌شناسی تحقیق عبارتند از:

• تعریف فضای جستجو: تعیین عملیات‌های ریاضی و بلوک‌های ساختمانی کانولوشن برای طراحی معماری‌های مختلف.
• الگوریتم جستجوی OP-NAS: استفاده از استراتژی تکاملی با اولویت عملیات برای یافتن معماری‌های بهینه.
• استراتژی آموزش BIWS: ارزیابی سریع و کارآمد مدل‌های کاندید با استفاده از وزن‌دهی دو شاخه.

یافته‌های کلیدی این تحقیق نشان می‌دهد که معماری جستجو شده (AutoBERT-Zero) عملکرد بهتری نسبت به مدل‌های BERT و انواع آن در وظایف پایین‌دستی مختلف دارد. این نشان می‌دهد که استفاده از یک فرآیند جستجوی خودکار برای طراحی معماری مدل‌های زبانی می‌تواند به نتایج بهتری نسبت به طراحی دستی منجر شود.

به‌طور خاص، AutoBERT-Zero-base توانست از RoBERTa-base (که از داده‌های آموزشی بسیار بیشتری استفاده می‌کند) و BERT-large (که اندازه مدل بسیار بزرگتری دارد) در مجموعه داده GLUE بهتر عمل کند. این نشان می‌دهد که AutoBERT-Zero دارای توانایی انتقال و مقیاس‌پذیری بالایی است.

نتایج تجربی نشان داد که AutoBERT-Zero می‌تواند با استفاده از فضای جستجوی طراحی‌شده و الگوریتم OP-NAS، معماری‌های بهینه‌تری را نسبت به مدل‌های از پیش تعیین‌شده پیدا کند. این معماری‌ها شامل ترکیبات جدیدی از عملیات ریاضی و بلوک‌های کانولوشن هستند که به یادگیری بهتر وابستگی‌های محلی و جهانی در متن کمک می‌کنند.

کاربردهای این تحقیق بسیار گسترده است. AutoBERT-Zero می‌تواند در انواع وظایف پردازش زبان طبیعی مانند دسته‌بندی متن، پاسخ به سؤال، تشخیص موجودیت‌های نام‌دار و خلاصه سازی متن مورد استفاده قرار گیرد.

دستاورد اصلی این تحقیق، نشان دادن این است که می‌توان با استفاده از یک فرآیند جستجوی خودکار، معماری‌های بهینه‌تری برای مدل‌های زبانی پیش‌آموزش‌شده پیدا کرد. این رویکرد می‌تواند منجر به توسعه مدل‌های زبانی قدرتمندتر و کارآمدتر شود که می‌توانند در طیف وسیعی از کاربردها مورد استفاده قرار گیرند.

برخی از دستاوردهای کلیدی این تحقیق عبارتند از:

• معرفی یک روش جدید برای طراحی معماری مدل‌های زبانی با استفاده از جستجوی معماری عصبی.
• توسعه الگوریتم OP-NAS برای جستجوی کارآمدتر معماری‌های بهینه.
• طراحی استراتژی آموزش BIWS برای ارزیابی سریع مدل‌ها.
• نشان دادن عملکرد بهتر AutoBERT-Zero نسبت به مدل‌های BERT و RoBERTa در وظایف پایین‌دستی.

مقاله “AutoBERT-Zero: کشف خودکار ستون فقرات BERT از پایه” گامی مهم در جهت توسعه مدل‌های زبانی پیش‌آموزش‌شده کارآمدتر و قدرتمندتر است. این تحقیق نشان می‌دهد که با استفاده از تکنیک‌های جستجوی معماری عصبی، می‌توان معماری‌های بهینه‌تری برای این مدل‌ها پیدا کرد. استفاده از الگوریتم OP-NAS و استراتژی آموزش BIWS، فرآیند جستجو و ارزیابی مدل‌ها را تسریع می‌کند و امکان کشف معماری‌های جدید و نوآورانه را فراهم می‌سازد.

عملکرد بهتر AutoBERT-Zero نسبت به مدل‌های BERT و RoBERTa، نشان‌دهنده پتانسیل بالای این رویکرد در بهبود عملکرد مدل‌های زبانی در وظایف مختلف است. این تحقیق می‌تواند الهام‌بخش محققان برای توسعه روش‌های جدیدتر و کارآمدتر در طراحی و بهینه‌سازی مدل‌های زبانی پیش‌آموزش‌شده باشد. در نهایت، این پیشرفت‌ها می‌تواند منجر به بهبود عملکرد سیستم‌های هوش مصنوعی در کاربردهای مختلف، از جمله ترجمه ماشینی، پاسخ به سؤال، و خلاصه سازی متن شود.