این مقاله به بررسی تفاوت‌های عملی بین دو معماری عصبی محبوب در پردازش زبان طبیعی، یعنی LSTM (شبکه حافظه بلند-کوتاه) و ترنسفورمر، در یادگیری گرامرهای مستقل از متن کران‌دار (Bounded Context-Free Grammars) می‌پردازد. این مسئله از این جهت اهمیت دارد که گرامرهای مستقل از متن، پایه و اساس بسیاری از ساختارهای زبانی هستند و درک نحوه یادگیری این گرامرها توسط مدل‌های عصبی، می‌تواند به بهبود عملکرد آن‌ها در وظایف پردازش زبان طبیعی کمک کند.

این تحقیق توسط Hui Shi, Sicun Gao, Yuandong Tian, Xinyun Chen, Jishen Zhao انجام شده است. این محققان در زمینه یادگیری ماشین، پردازش زبان طبیعی و به ویژه درک قابلیت‌های مدل‌های عصبی در یادگیری ساختارهای زبانی پیچیده، فعالیت دارند. تمرکز اصلی آن‌ها بر یافتن تبیین‌های نظری و عملی برای عملکرد متفاوت مدل‌های عصبی در وظایف مختلف است.

چکیده مقاله به این مسئله اشاره می‌کند که اگرچه از نظر تئوری هر دو معماری LSTM و ترنسفورمر، ماشین‌های تورینگ کامل هستند و می‌توانند هر زبان مستقل از متنی را نمایش دهند، اما در عمل مشاهده می‌شود که مدل‌های ترنسفورمر از قدرت نمایش بهتری نسبت به LSTM برخوردارند. این مقاله تلاش می‌کند تا این تفاوت عملی را با بررسی الگوهای تجزیه فضای نهفته (Latent Space Decomposition) آن‌ها تبیین کند.

برای این منظور، یک روش آموزشی مبتنی بر Oracle Training Paradigm معرفی شده است. این روش، مدل‌های LSTM و ترنسفورمر را مجبور می‌کند تا نمایش‌های نهفته خود را به شکلی تجزیه کنند که با انتقال‌های ماشین پشته‌ای (Pushdown Automaton یا PDA) متناظر با زبان مستقل از متن، همخوانی داشته باشد. این تجزیه اجباری نشان می‌دهد که در شرایط ایده‌آل، محدودیت‌های عملکردی LSTM و ترنسفورمر در یادگیری گرامرهای مستقل از متن، به یکدیگر نزدیک هستند: هر دو مدل می‌توانند یک پشته را شبیه‌سازی کرده و عملیات‌های مربوط به پشته را همراه با انتقال‌های حالت انجام دهند.

با این حال، در غیاب تجزیه اجباری، مدل‌های LSTM در capturing پشته و عملیات‌های پشته‌ای با مشکل مواجه می‌شوند، در حالی که مدل‌های ترنسفورمر تا حدودی از این مشکل مصون هستند. در نهایت، این مقاله، نتایج حاصل از آزمایش روی ماشین پشته‌ای نمونه‌سازی شده را به یک وظیفه تجزیه واقعی متصل می‌کند تا نتایج به دست آمده را مجدداً تأیید کند.

روش‌شناسی تحقیق این مقاله شامل چندین مرحله کلیدی است:

• تعریف مسئله: تمرکز بر تفاوت عملکرد بین LSTM و ترنسفورمر در یادگیری گرامرهای مستقل از متن کران‌دار.
• معرفی Oracle Training Paradigm: این روش، مدل‌های عصبی را مجبور می‌کند تا نمایش‌های نهفته خود را به اجزای مشخصی تجزیه کنند که با ماشین پشته‌ای متناظر با گرامر مورد نظر، مرتبط هستند. به عبارت دیگر، مدل‌ها باید یاد بگیرند که حالت‌های پشته و عملیات‌های پشته (push و pop) را به طور explicit در نمایش‌های خود کدگذاری کنند.
• آزمایش روی ماشین پشته‌ای نمونه‌سازی شده: برای کنترل دقیق‌تر شرایط، ابتدا یک ماشین پشته‌ای ساده طراحی شده و مدل‌ها برای یادگیری نحوه عملکرد آن آموزش داده می‌شوند.
• انتقال به وظیفه تجزیه واقعی: پس از آزمایش‌های اولیه، نتایج به دست آمده روی یک وظیفه تجزیه واقعی (parsing) اعمال می‌شوند تا قابلیت تعمیم یافته‌ها بررسی شود.
• تجزیه و تحلیل فضای نهفته: با استفاده از تکنیک‌های تجسم و تحلیل داده‌ها، نحوه سازماندهی فضای نهفته مدل‌های LSTM و ترنسفورمر بررسی می‌شود تا تفاوت‌های آن‌ها در نمایش گرامرها مشخص شود.

به طور خلاصه، این تحقیق از یک رویکرد ترکیبی استفاده می‌کند که شامل آموزش مبتنی بر اوراکل، آزمایش‌های کنترل شده و تجزیه و تحلیل دقیق داده‌ها برای درک عملکرد مدل‌های عصبی در یادگیری گرامرهای مستقل از متن است.

مثال: فرض کنید گرامر ما یک گرامر ساده برای تطبیق پرانتزها باشد (مانند “((()))”). یک ماشین پشته‌ای برای این گرامر، پرانتزهای باز را روی پشته قرار می‌دهد و با دیدن یک پرانتز بسته، یک پرانتز باز را از پشته برمی‌دارد. روش Oracle Training Paradigm در این مقاله تلاش می‌کند تا مدل‌های LSTM و ترنسفورمر را آموزش دهد تا این رفتار پشته‌ای را به طور explicit در نمایش‌های خود کدگذاری کنند.

یافته‌های کلیدی این تحقیق عبارتند از:

• در شرایط ایده‌آل (با استفاده از Oracle Training): LSTM و ترنسفورمر هر دو می‌توانند یک پشته را شبیه‌سازی کرده و عملیات‌های مربوط به پشته را به طور موثر انجام دهند.
• بدون Oracle Training: LSTM در capturing عملیات‌های پشته‌ای با مشکل مواجه می‌شود، در حالی که ترنسفورمر عملکرد بهتری دارد. این نشان می‌دهد که معماری ترنسفورمر به طور ذاتی در نمایش ساختارهای پشته‌ای قوی‌تر است.
• تفاوت در فضای نهفته: ترنسفورمر فضای نهفته خود را به شکلی سازماندهی می‌کند که به طور طبیعی برای نمایش ساختارهای پشته‌ای مناسب‌تر است، در حالی که LSTM به چنین ساختاری دست نمی‌یابد، مگر اینکه به طور explicit آموزش داده شود.
• تایید نتایج روی وظیفه تجزیه واقعی: نتایج حاصل از آزمایش‌های اولیه روی ماشین پشته‌ای نمونه‌سازی شده، در یک وظیفه تجزیه واقعی نیز تایید شدند، که نشان می‌دهد این یافته‌ها قابلیت تعمیم دارند.

به عبارت دیگر، این تحقیق نشان می‌دهد که تفاوت عملکرد بین LSTM و ترنسفورمر در یادگیری گرامرهای مستقل از متن، ناشی از تفاوت در نحوه سازماندهی فضای نهفته آن‌ها و توانایی ذاتی ترنسفورمر در نمایش ساختارهای پشته‌ای است.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• درک بهتر مدل‌های عصبی: این تحقیق به ما کمک می‌کند تا درک بهتری از نحوه عملکرد مدل‌های عصبی در یادگیری ساختارهای زبانی پیچیده داشته باشیم.
• بهبود طراحی مدل‌ها: با درک نقاط ضعف و قوت مدل‌های مختلف، می‌توان مدل‌های عصبی بهتری برای پردازش زبان طبیعی طراحی کرد. به عنوان مثال، می‌توان LSTM را به شکلی طراحی کرد که بهتر بتواند ساختارهای پشته‌ای را نمایش دهد.
• توسعه روش‌های آموزشی جدید: روش Oracle Training Paradigm معرفی شده در این مقاله، می‌تواند به عنوان یک روش آموزشی جدید برای بهبود عملکرد مدل‌های عصبی در یادگیری ساختارهای زبانی مورد استفاده قرار گیرد.
• بهبود عملکرد در وظایف پردازش زبان طبیعی: با استفاده از یافته‌های این تحقیق، می‌توان عملکرد مدل‌های عصبی را در وظایف مختلف پردازش زبان طبیعی، مانند تجزیه نحوی، ترجمه ماشینی و تولید متن، بهبود بخشید.

به طور کلی، این تحقیق به پیشرفت دانش ما در زمینه یادگیری ماشین و پردازش زبان طبیعی کمک می‌کند و می‌تواند منجر به توسعه مدل‌های عصبی و روش‌های آموزشی بهتری برای وظایف مختلف شود.

در این مقاله، تفاوت‌های عملی بین LSTM و ترنسفورمر در یادگیری گرامرهای مستقل از متن کران‌دار بررسی شد. نتایج نشان داد که ترنسفورمر به طور ذاتی در نمایش ساختارهای پشته‌ای قوی‌تر است و فضای نهفته خود را به شکلی سازماندهی می‌کند که برای این منظور مناسب‌تر است. در حالی که LSTM می‌تواند با استفاده از روش Oracle Training Paradigm به عملکرد مشابهی دست یابد، اما در غیاب چنین آموزشی، در capturing عملیات‌های پشته‌ای با مشکل مواجه می‌شود. این یافته‌ها به ما کمک می‌کنند تا درک بهتری از نحوه عملکرد مدل‌های عصبی در یادگیری ساختارهای زبانی پیچیده داشته باشیم و می‌توانند منجر به توسعه مدل‌های عصبی و روش‌های آموزشی بهتری برای وظایف مختلف پردازش زبان طبیعی شوند. به عنوان پیشنهاد برای تحقیقات آتی، بررسی تاثیر این تفاوت‌ها در سایر زبان‌ها و گرامرهای پیچیده‌تر می‌تواند مفید باشد.