در سال‌های اخیر، مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) به ستون فقرات بسیاری از وظایف پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها، با توانایی بی‌نظیر خود در یادگیری نمایش‌های قدرتمند از متن روی پیکره‌های داده عظیم، عملکرد چشمگیری را در حوزه‌های مختلف به ارمغان آورده‌اند. از جمله برجسته‌ترین این مدل‌ها، BERT (Bidirectional Encoder Representations from Transformers) است که با معرفی وظیفه مدل زبان پوششی (Masked Language Model – MLM)، انقلابی در این زمینه ایجاد کرد. MLM به BERT اجازه می‌دهد تا با پیش‌بینی کلمات پوشانده‌شده (Masked) در یک جمله، معنای دوطرفه و عمیق‌تری را از متن درک کند.

با این حال، مانند هر نوآوری دیگری، همواره فضایی برای بهبود و تنوع بخشیدن به رویکردهای موجود وجود دارد. مقاله “PERT: Pre-training BERT with Permuted Language Model” به قلم Yiming Cui و همکارانش، یک گام مهم در همین راستا برداشته است. این پژوهش، یک مدل زبانی پیش‌آموزش‌دیده جدید به نام PERT (Permuted Language Model for BERT) را برای درک زبان طبیعی (Natural Language Understanding – NLU) معرفی می‌کند. اهمیت PERT در این است که با ارائه یک وظیفه پیش‌آموزش جدید و متفاوت از MLM رایج، افق‌های جدیدی را برای طراحی مدل‌های زبانی قدرتمندتر و با قابلیت‌های درک عمیق‌تر می‌گشاید. این رویکرد جدید نشان می‌دهد که می‌توان با خلاقیت در وظایف پیش‌آموزش، به نتایج بهبود یافته و فهم عمیق‌تری از ساختار زبان دست یافت و صرفاً به تغییرات جزئی در MLM اکتفا نکرد.

این مقاله توسط Yiming Cui، Ziqing Yang و Ting Liu نوشته شده است. این نویسندگان از پژوهشگران فعال در حوزه پردازش زبان طبیعی هستند که سوابق قابل توجهی در توسعه و بهبود مدل‌های زبانی پیش‌آموزش‌دیده دارند. تمرکز آن‌ها بر پیشبرد مرزهای NLU و افزایش کارایی سیستم‌های هوش مصنوعی در فهم زبان انسان است.

زمینه تحقیق این مقاله، حوزه گسترده و پویای مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) در پردازش زبان طبیعی (NLP) است. NLP رشته‌ای از هوش مصنوعی است که به تعامل بین رایانه‌ها و زبان انسان می‌پردازد. درک زبان طبیعی (NLU)، یکی از زیرمجموعه‌های اصلی NLP، هدف نهایی این تعامل است که تلاش می‌کند معنای جملات و متون را استخراج کند. در طول سال‌ها، پیشرفت‌های چشمگیری در این زمینه حاصل شده است، از مدل‌های آماری ساده گرفته تا شبکه‌های عصبی پیچیده و در نهایت مدل‌های ترانسفورمر. ظهور مدل‌هایی مانند Word2Vec، ELMo و به‌ویژه BERT، نقطه عطفی در این مسیر بوده‌اند.

BERT با معماری رمزگذار-رمزگشای (Encoder-Decoder) خود و توانایی پردازش دوطرفه متن، عملکرد بی‌سابقه‌ای در بسیاری از وظایف NLU از خود نشان داد. با این حال، محققان همواره به دنبال راهکارهایی برای بهبود بیشتر و غلبه بر محدودیت‌های احتمالی مدل‌های موجود بوده‌اند. PERT در این بستر، به عنوان یک تلاش نوآورانه برای تنوع بخشیدن به وظایف پیش‌آموزش و فراتر رفتن از الگوی غالب MLM، مطرح می‌شود و به توسعه هر چه بیشتر دانش در این زمینه کمک می‌کند. این پژوهش نشان‌دهنده علاقه رو به رشد جامعه علمی به کشف پارادایم‌های جدید برای آموزش مدل‌های زبانی جهت دستیابی به درک عمیق‌تر و قدرتمندتر از زبان است.

مقاله “PERT” یک مدل زبانی پیش‌آموزش‌دیده جدید را با هدف بهبود عملکرد درک زبان طبیعی (NLU) معرفی می‌کند. هسته اصلی نوآوری در این مقاله، مدل زبان جابجاشده (Permuted Language Model – PerLM) است که به عنوان وظیفه پیش‌آموزش برای PERT استفاده می‌شود. PERT، همانند BERT، یک مدل خودرمزگذار (auto-encoding) است که از یک معماری ترانسفورمر استفاده می‌کند، اما در نحوه آموزش خود، تفاوت‌های اساسی دارد.

خلاصه محتوای کلیدی به شرح زیر است:

• معرفی PERT: یک مدل زبانی پیش‌آموزش‌دیده جدید برای وظایف درک زبان طبیعی.
• مبتنی بر PerLM: وظیفه اصلی پیش‌آموزش PERT، مدل زبان جابجاشده (PerLM) است. در PerLM، بخشی از توکن‌های ورودی به صورت تصادفی جابجا می‌شوند.
• هدف آموزش: هدف مدل در طول آموزش، پیش‌بینی موقعیت اصلی توکن جابجاشده است، برخلاف MLM که هدف آن پیش‌بینی خود توکن پوشانده‌شده بود. این تغییر بنیادی، مدل را وادار می‌کند تا روابط مکانی بین کلمات را به طور عمیق‌تری یاد بگیرد.
• تکنیک‌های تکمیلی: برای افزایش کارایی PERT، نویسندگان همچنین از پوشش‌دهی کلمات کامل (whole word masking) و پوشش‌دهی N-گرم‌ها (N-gram masking) استفاده کرده‌اند. این تکنیک‌ها به مدل کمک می‌کنند تا با واحدهای معنایی بزرگ‌تر از یک توکن منفرد، مانند کلمات مرکب یا عبارات، بهتر کار کند.
• آزمایش‌ها و نتایج: آزمایش‌های گسترده‌ای بر روی بنچمارک‌های NLU زبان‌های چینی و انگلیسی انجام شده است. نتایج نشان می‌دهد که PERT در برخی از وظایف نسبت به مدل‌های پایه قابل مقایسه، بهبودهایی را به ارمغان می‌آورد، در حالی که در برخی دیگر لزوماً برتری چشمگیری ندارد.
• نتیجه‌گیری مهم: این نتایج مؤید این ایده است که توسعه وظایف پیش‌آموزش متنوع‌تر، به جای صرفاً تغییرات در مدل زبان پوششی (MLM)، امکان‌پذیر است و می‌تواند به بهبود عملکرد مدل‌های زبانی منجر شود.
• مطالعات کمی: برای درک بهتر PERT و کمک به طراحی PLM‌های آینده، مطالعات کمی متعددی نیز انجام شده است.
• منابع: کد و منابع مربوط به PERT در گیت‌هاب (https://github.com/ymcui/PERT) در دسترس عموم قرار گرفته است.

روش‌شناسی PERT بر پایه یک نوآوری در وظیفه پیش‌آموزش استوار است که آن را از مدل‌های پیشین مانند BERT متمایز می‌کند. در حالی که BERT بر مدل زبان پوششی (MLM) تمرکز دارد، که در آن کلمات به صورت تصادفی پوشانده شده و مدل باید کلمات اصلی را پیش‌بینی کند، PERT از یک رویکرد متفاوت به نام مدل زبان جابجاشده (Permuted Language Model – PerLM) بهره می‌برد.

۴.۱. مدل زبان جابجاشده (PerLM)

PerLM یک وظیفه پیش‌آموزش برای مدل‌های خودرمزگذار (مانند BERT) است که در آن به جای پیش‌بینی محتوای کلمات پنهان، مدل باید موقعیت اصلی کلمات جابجاشده را بازیابی کند. مراحل کار PerLM به شرح زیر است:

• جابجایی توکن‌ها: ابتدا، بخشی از توکن‌های ورودی (مثلاً ۱۵ درصد) به صورت تصادفی انتخاب می‌شوند. سپس، این توکن‌ها در داخل توالی ورودی، به طور تصادفی جابجا می‌شوند. به عنوان مثال، اگر جمله “سگ قهوه‌ای سریع می‌دود” باشد و “سریع” انتخاب شود، می‌تواند به “سگ قهوه‌ای می‌دود سریع” تغییر یابد.
• هدف آموزش: وظیفه مدل این است که برای هر توکن جابجاشده، موقعیت صحیح آن را در توالی اصلی پیش‌بینی کند. این کار مدل را وادار می‌کند تا روابط معنایی و نحوی عمیقی را بین توکن‌ها و موقعیت‌های آن‌ها در جمله درک کند. به عبارت دیگر، مدل باید بفهمد که کدام کلمه در کدام مکان منطقی‌تری قرار می‌گیرد، حتی اگر ترتیب ظاهری آن به هم خورده باشد. این رویکرد به مدل کمک می‌کند تا بر وابستگی‌های بلندمدت (long-range dependencies) و ساختار جمله بهتر مسلط شود.

۴.۲. پوشش‌دهی کلمات کامل و N-گرم‌ها

علاوه بر PerLM، نویسندگان دو تکنیک پوشش‌دهی (Masking) تکمیلی را نیز برای بهبود عملکرد PERT به کار گرفته‌اند:

• پوشش‌دهی کلمات کامل (Whole Word Masking): در بسیاری از زبان‌ها، یک کلمه ممکن است از چندین توکن فرعی (sub-word tokens) تشکیل شده باشد. برای مثال، در انگلیسی “running” ممکن است به “run” و “##ing” توکن‌بندی شود. پوشش‌دهی کلمات کامل اطمینان می‌دهد که اگر بخشی از یک کلمه انتخاب شد، تمام توکن‌های فرعی آن کلمه پوشانده یا جابجا شوند. این کار از “لو رفتن” اطلاعات از طریق توکن‌های فرعیِ مرتبط با کلمه اصلی جلوگیری کرده و مدل را مجبور می‌کند تا کلمه را به عنوان یک واحد معنایی کامل در نظر بگیرد. این روش به ویژه در زبان‌هایی مانند چینی که مرزهای کلمات به وضوح مشخص نیست، بسیار مفید است.
• پوشش‌دهی N-گرم‌ها (N-gram Masking): این تکنیک شامل پوشاندن یا جابجایی دنباله‌هایی از N توکن متوالی (N-grams) است. به عنوان مثال، یک ۲-گرم (“پردازش زبان”) می‌تواند به عنوان یک واحد پوشانده شود. این رویکرد به مدل کمک می‌کند تا عبارات و اصطلاحات چند کلمه‌ای را بهتر درک کند و نمایش‌های با کیفیت‌تری از آن‌ها یاد بگیرد. این امر به خصوص در سناریوهایی که معنای یک عبارت از جمع اجزای آن بیشتر است، بسیار کاربردی است.

۴.۳. معماری و آموزش

PERT، همانند BERT، از یک معماری ترانسفورمر (Transformer) با رمزگذار (Encoder) چند لایه استفاده می‌کند. این مدل به صورت خودرمزگذار (auto-encoding) آموزش داده می‌شود، به این معنی که تلاش می‌کند تا داده‌های ورودی را رمزگذاری و سپس بازسازی کند، اما با وظیفه PerLM. آموزش بر روی پیکره‌های داده بزرگ مقیاس، شامل متون چینی و انگلیسی، صورت می‌گیرد تا مدل بتواند الگوهای زبانی پیچیده را بیاموزد.

۴.۴. ارزیابی

برای ارزیابی عملکرد PERT، آزمایش‌های گسترده‌ای بر روی بنچمارک‌های درک زبان طبیعی (NLU) در هر دو زبان چینی و انگلیسی انجام شده است. این بنچمارک‌ها معمولاً شامل مجموعه‌ای از وظایف پایین‌دستی (downstream tasks) مانند پاسخ به سوال، خلاصه‌سازی، تحلیل احساسات، تشخیص موجودیت‌های نام‌گذاری شده و غیره هستند. نتایج PERT با مدل‌های پایه (baselines) مانند BERT و سایر PLM‌های مشابه مقایسه شده است تا اثربخشی PerLM و تکنیک‌های پوشش‌دهی تکمیلی آن سنجیده شود.

نتایج آزمایش‌های گسترده PERT بر روی بنچمارک‌های NLU زبان‌های چینی و انگلیسی، بینش‌های مهمی را فراهم می‌کند و چندین یافته کلیدی را به همراه دارد:

• بهبود در برخی از وظایف: PERT توانسته است در برخی از وظایف درک زبان طبیعی (NLU)، نسبت به مدل‌های پایه (baselines) قابل مقایسه، بهبودهایی را در عملکرد نشان دهد. این بهبودها نشان‌دهنده اثربخشی رویکرد مدل زبان جابجاشده (PerLM) در یادگیری نمایش‌های قدرتمندتر از زبان است که به مدل اجازه می‌دهد تا روابط پیچیده‌تر و ظریف‌تری را بین کلمات و ساختار جمله درک کند.
• عدم بهبود یکنواخت: با این حال، مهم است که توجه داشته باشیم که این بهبودها در همه وظایف یکنواخت نیستند. در برخی دیگر از وظایف، PERT لزوماً برتری چشمگیری نسبت به مدل‌های موجود نشان نداده است. این موضوع نشان می‌دهد که هیچ وظیفه پیش‌آموزش واحدی نمی‌تواند برای همه سناریوها و همه جنبه‌های درک زبان بهینه باشد و ماهیت چندوجهی زبان نیازمند رویکردهای متنوعی است.
• پتانسیل تنوع در وظایف پیش‌آموزش: شاید مهمترین دستاورد این تحقیق، تأیید این ایده باشد که توسعه وظایف پیش‌آموزش متنوع‌تر، به جای صرفاً تمرکز بر تغییرات و بهبودهای جزئی در مدل زبان پوششی (MLM)، می‌تواند مسیرهای جدیدی برای پیشرفت PLM‌ها بگشاید. PERT ثابت می‌کند که روش‌های جایگزین برای آموزش مدل‌های زبانی وجود دارد که می‌توانند نمایش‌های مکملی از زبان را یاد بگیرند و به بهبود کلی سیستم‌های NLU کمک کنند. این یافته، پژوهشگران را تشویق می‌کند تا به جستجوی پارادایم‌های جدید فراتر از MLM بپردازند.
• نقش مطالعات کمی: انجام مطالعات کمی متعدد برای درک بهتر مکانیسم‌ها و نقاط قوت PERT، به روشن شدن چرایی و چگونگی اثربخشی PerLM کمک کرده است. این مطالعات به محققان آینده کمک می‌کند تا با دید بهتری به طراحی مدل‌های زبانی پیش‌آموزش‌دیده در آینده بپردازند و از درس‌های آموخته‌شده PERT در توسعه مدل‌های بهینه‌تر بهره‌برداری کنند.
• اهمیت پوشش‌دهی کلمات کامل و N-گرم‌ها: اگرچه PerLM هسته نوآوری است، اما یافته‌ها به طور ضمنی تأیید می‌کنند که تکنیک‌های پوشش‌دهی کلمات کامل و N-گرم‌ها نیز در بهبود عملکرد PERT نقش داشته‌اند. این تکنیک‌ها به مدل کمک می‌کنند تا با واحدهای معنایی بزرگ‌تر از توکن‌های منفرد، کارآمدتر عمل کند و درک بهتری از عبارات و اصطلاحات چند کلمه‌ای داشته باشد.

به طور خلاصه، PERT یک گام مهم در جهت تنوع بخشیدن به استراتژی‌های پیش‌آموزش برای PLM‌ها است و نشان می‌دهد که تفکر فراتر از MLM می‌تواند به کشف رویکردهای مؤثر جدید منجر شود که در نهایت به درک عمیق‌تر و قابلیت‌های قوی‌تر در پردازش زبان طبیعی کمک می‌کند.

PERT، با معرفی مدل زبان جابجاشده (PerLM) و رویکرد نوآورانه خود در پیش‌آموزش، نه تنها دستاوردهای علمی مهمی را به همراه دارد، بلکه کاربردهای عملی بالقوه‌ای نیز در حوزه‌های مختلف NLP ارائه می‌دهد. این دستاوردها و کاربردها را می‌توان به شرح زیر برشمرد:

۶.۱. دستاوردهای علمی

• تنوع در وظایف پیش‌آموزش: اصلی‌ترین دستاورد PERT، اثبات این ایده است که می‌توان وظایف پیش‌آموزش متنوعی را فراتر از مدل زبان پوششی (MLM) توسعه داد. این موضوع دریچه‌ای جدید به روی تحقیقات آتی می‌گشاید و الهام‌بخش پژوهشگران برای کاوش در رویکردهای جدید و خلاقانه‌تر برای آموزش مدل‌های زبانی است. این دستاورد به گسترش دانش نظری ما در زمینه یادگیری نمایش‌های زبانی کمک می‌کند.
• درک عمیق‌تر ساختار زبان: با مجبور کردن مدل به پیش‌بینی موقعیت اصلی توکن‌های جابجاشده، PERT مدل را وادار می‌کند تا روابط مکانی، نحوی و معنایی پیچیده‌تری را بین کلمات در یک جمله درک کند. این امر به مدل کمک می‌کند تا نمایش‌های غنی‌تری از ساختار جملات و وابستگی‌های بین کلمات را بیاموزد که برای وظایف NLU حیاتی است.
• پایه برای مدل‌های آینده: مطالعات کمی انجام شده بر روی PERT، بینش‌های ارزشمندی را در مورد طراحی و بهینه‌سازی مدل‌های زبانی پیش‌آموزش‌دیده ارائه می‌دهد. این یافته‌ها می‌توانند به عنوان راهنما برای توسعه PLM‌های آینده عمل کنند و به محققان کمک کنند تا مدل‌هایی با کارایی بیشتر و درک عمیق‌تر از زبان بسازند.

۶.۲. کاربردهای عملی

اگرچه PERT در همه وظایف NLU بهترین عملکرد را نداشته، اما بهبودهای آن در برخی حوزه‌ها می‌تواند به کاربردهای عملی زیر منجر شود:

• بهبود سیستم‌های درک زبان طبیعی: در وظایفی که به درک روابط مکانی و ساختاری جمله نیاز دارند، مانند پاسخ به سوالات پیچیده (مثلاً سوالاتی که نیاز به درک ترتیب وقایع دارند)، تحلیل احساسات دقیق (که در آن ترتیب کلمات بر شدت احساس تأثیر می‌گذارد) و تشخیص موجودیت‌های نام‌گذاری شده (NER) که به بافت جمله حساس هستند، PERT می‌تواند عملکرد بهتری ارائه دهد.
• خلاصه‌سازی متن: مدل‌هایی که قادر به درک عمیق‌تر ساختار جمله هستند، می‌توانند خلاصه‌سازی‌های منسجم‌تر و دقیق‌تری تولید کنند، زیرا بهتر می‌توانند نکات کلیدی و روابط منطقی بین جملات را شناسایی کنند.
• ترجمه ماشینی: بهبود در درک ساختار جمله می‌تواند به سیستم‌های ترجمه ماشینی کمک کند تا جملات را با حفظ معنا و ساختار اصلی، دقیق‌تر از یک زبان به زبان دیگر ترجمه کنند.
• چت‌بات‌ها و دستیارهای مجازی: دستیارهای هوشمند برای درک درخواست‌های پیچیده کاربر و ارائه پاسخ‌های دقیق، به قابلیت‌های قوی NLU نیاز دارند. PERT می‌تواند به آن‌ها کمک کند تا با درک بهتر ترتیب و روابط کلمات، نیت کاربر را با دقت بیشتری تشخیص دهند.
• منابع در دسترس: مهمترین دستاورد عملی، ارائه کد و منابع PERT به صورت عمومی در GitHub است (https://github.com/ymcui/PERT). این کار به جامعه پژوهشی و توسعه‌دهندگان اجازه می‌دهد تا به راحتی از PERT استفاده کرده، آن را در پروژه‌های خود ادغام کنند، و یا بر پایه آن به توسعه‌های بعدی بپردازند. این موضوع به تسریع نوآوری و پیشرفت در حوزه NLP کمک شایانی می‌کند.

به طور کلی، PERT نه تنها یک مدل زبانی جدید است، بلکه یک رویکرد جدید برای تفکر در مورد آموزش مدل‌های زبانی را پیشنهاد می‌کند که می‌تواند تأثیرات گسترده‌ای بر تحقیقات و کاربردهای آتی در پردازش زبان طبیعی داشته باشد.

مقاله “PERT: Pre-training BERT with Permuted Language Model” یک مشارکت ارزشمند و نوآورانه در حوزه مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) و درک زبان طبیعی (NLU) است. این پژوهش، با معرفی PERT و مدل زبان جابجاشده (PerLM) به عنوان یک وظیفه پیش‌آموزش جدید، رویکردی تازه را برای آموزش مدل‌های زبانی ارائه می‌دهد که فراتر از الگوی غالب مدل زبان پوششی (MLM) BERT عمل می‌کند.

نکات اصلی و دستاوردهای این مقاله عبارتند از:

• نوآوری در پیش‌آموزش: PERT نشان می‌دهد که با جابجایی بخشی از توکن‌های ورودی و وادار کردن مدل به پیش‌بینی موقعیت اصلی آن‌ها، می‌توان به درک عمیق‌تری از ساختار و روابط درونی زبان دست یافت. این رویکرد به مدل کمک می‌کند تا نمایش‌های معنایی و نحوی قدرتمندتری را بیاموزد.
• اثبات قابلیت توسعه: اگرچه PERT در همه وظایف NLU به طور یکنواخت از مدل‌های پایه پیشی نمی‌گیرد، اما بهبود عملکرد آن در برخی وظایف، به وضوح پتانسیل و اثربخشی وظایف پیش‌آموزش متنوع‌تر را نشان می‌دهد. این امر، جامعه پژوهشی را به سمت کاوش رویکردهای بدیل و خلاقانه برای آموزش PLM‌ها سوق می‌دهد.
• درس‌هایی برای آینده: مطالعات کمی انجام شده در این مقاله، بینش‌های مهمی را در مورد طراحی PLM‌ها ارائه می‌دهد و می‌تواند به عنوان یک راهنما برای توسعه مدل‌های زبانی نسل بعدی عمل کند. این پژوهش تأکید می‌کند که تنوع در وظایف پیش‌آموزش می‌تواند به ساخت مدل‌هایی با قابلیت‌های گسترده‌تر و انعطاف‌پذیرتر منجر شود.

در نهایت، PERT نه تنها یک مدل جدید و با عملکرد بهبود یافته در برخی جنبه‌ها ارائه می‌دهد، بلکه مهمتر از آن، یک چارچوب فکری جدید را برای طراحی مدل‌های زبانی پیش‌آموزش‌دیده معرفی می‌کند. این مقاله یادآور می‌شود که خلاقیت در تعریف وظایف یادگیری ماشین، به ویژه در حوزه‌ای به پیچیدگی پردازش زبان طبیعی، می‌تواند به پیشرفت‌های شگرفی منجر شود و مرزهای هوش مصنوعی را به جلو ببرد. در دسترس بودن منابع آن نیز، امکان گسترش و بهره‌برداری از این دستاورد را برای محققان و توسعه‌دهندگان سراسر جهان فراهم می‌آورد.