در سال‌های اخیر، مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models یا PLMs) به یکی از پایه‌های اصلی در پردازش زبان طبیعی (Natural Language Processing یا NLP) تبدیل شده‌اند. این مدل‌ها، با یادگیری الگوها و روابط پیچیده در داده‌های متنی عظیم، توانسته‌اند در وظایف متنوعی از جمله ترجمه ماشینی، خلاصه‌سازی متن، و پاسخ به سؤالات، عملکردی چشمگیر ارائه دهند. با این حال، درک عمیق‌تری از نحوه عملکرد این مدل‌ها و اینکه دقیقاً چه چیزهایی درباره زبان یاد می‌گیرند، همچنان به عنوان یک چالش مهم مطرح است.

مقاله حاضر، با عنوان “شناخت نقش کاراکترهای توکن ورودی در مدل‌های زبانی: تأثیر اتلاف اطلاعات بر عملکرد”، تلاش می‌کند تا جنبه‌ای کمتر بررسی‌شده از عملکرد این مدل‌ها را مورد بررسی قرار دهد: نقش و اهمیت کاراکترهای تشکیل‌دهنده توکن‌های ورودی. این مقاله به این سوال اساسی می‌پردازد که آیا تمام کاراکترهای یک توکن در فرآیند یادگیری و درک زبان توسط مدل‌های زبانی، به یک اندازه اهمیت دارند؟ و اگر بخشی از اطلاعات موجود در توکن‌ها از دست برود، چه تاثیری بر عملکرد مدل خواهد داشت؟

این تحقیق توسط احمد العجرمی، کاترینا مارگاتینا و نیکولاس آلِتراس انجام شده است. این محققان، با تخصص در حوزه پردازش زبان طبیعی و یادگیری ماشین، تلاش کرده‌اند تا با رویکردی نوآورانه، به سوالات مهمی در زمینه درک مدل‌های زبانی پاسخ دهند. زمینه تخصصی این محققان، مدل سازی زبان، درک زبان طبیعی و ارزیابی مدل‌های زبانی است.

زمینه این تحقیق در راستای تلاش‌های گسترده‌تر برای درک بهتر عملکرد مدل‌های زبانی پیش‌آموزش‌دیده قرار دارد. تحقیقات پیشین بیشتر بر شناسایی این موضوع متمرکز بوده‌اند که آیا این مدل‌ها اطلاعات معنایی و نحوی را به دست می‌آورند یا خیر و اینکه چگونه داده‌ها یا هدف پیش‌آموزشی بر عملکرد آنها تاثیر می‌گذارد. با این حال، این مقاله، با تمرکز بر نقش کاراکترهای توکن، زاویه‌ای جدید را برای بررسی این موضوع ارائه می‌دهد.

چکیده این مقاله بیان می‌کند که درک چگونگی و چه چیزی که مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) درباره زبان یاد می‌گیرند، یک چالش باز در پردازش زبان طبیعی است. در حالی که تحقیقات قبلی بر این تمرکز داشت که آیا آنها اطلاعات معنایی و نحوی را ثبت می‌کنند و اینکه چگونه داده‌ها یا هدف پیش‌آموزشی بر عملکرد آنها تأثیر می‌گذارد، تا جایی که اطلاع داریم، هیچ کار قبلی به طور خاص بررسی نکرده است که چگونه از دست دادن اطلاعات در کاراکترهای توکن ورودی بر عملکرد PLMها تأثیر می‌گذارد.

در این مطالعه، این شکاف را با پیش‌آموزش مدل‌های زبانی با استفاده از زیرمجموعه‌های کوچک از کاراکترها از توکن‌های فردی پر می‌کنیم. شگفت‌آور است که متوجه شدیم که پیش‌آموزش حتی در تنظیمات شدید، یعنی استفاده تنها از یک کاراکتر از هر توکن، حفظ عملکرد در بنچمارک‌های استاندارد NLU و وظایف کاوش در مقایسه با مدل‌های توکن کامل بالا است. به عنوان مثال، مدلی که تنها روی اولین کاراکترهای منفرد از توکن‌ها پیش‌آموزش داده شده است، تقریباً 90٪ و 77٪ از مدل توکن کامل را در وظایف SuperGLUE و GLUE به ترتیب حفظ می‌کند.

به طور خلاصه، این مقاله نشان می‌دهد که مدل‌های زبانی می‌توانند با استفاده از اطلاعات بسیار کمی از هر توکن، به عملکرد قابل قبولی دست یابند. این یافته، دیدگاه‌های جدیدی را در مورد چگونگی یادگیری زبان توسط این مدل‌ها ارائه می‌دهد و می‌تواند منجر به طراحی مدل‌های کارآمدتر و مقاوم‌تر شود.

محققان در این مقاله، از یک روش تجربی برای بررسی تاثیر اتلاف اطلاعات در کاراکترهای توکن ورودی بر عملکرد مدل‌های زبانی استفاده کرده‌اند. روش کار به این صورت بوده است:

• پیش‌آموزش مدل‌ها با زیرمجموعه‌های مختلف کاراکترها: محققان چندین مدل زبانی را با استفاده از مجموعه‌های مختلف کاراکترها از توکن‌های ورودی پیش‌آموزش داده‌اند. به عنوان مثال، یک مدل فقط با استفاده از اولین کاراکتر هر توکن، یک مدل با استفاده از آخرین کاراکتر، و یک مدل با استفاده از نمونه‌های تصادفی از کاراکترها پیش‌آموزش داده شده‌اند.
• ارزیابی عملکرد مدل‌ها در وظایف استاندارد NLP: پس از پیش‌آموزش، عملکرد این مدل‌ها در وظایف مختلف پردازش زبان طبیعی، از جمله وظایف SuperGLUE و GLUE، مورد ارزیابی قرار گرفته است. این وظایف، مجموعه‌ای از بنچمارک‌های استاندارد هستند که برای ارزیابی توانایی مدل‌ها در درک زبان و استدلال منطقی طراحی شده‌اند.
• تحلیل و مقایسه نتایج: در نهایت، نتایج حاصل از ارزیابی مدل‌ها با یکدیگر مقایسه شده‌اند تا تاثیر اتلاف اطلاعات در کاراکترهای توکن بر عملکرد مدل‌ها مشخص شود.

به عنوان مثال، یک مدل BERT را در نظر بگیرید. محققان می‌توانند نسخه ای از BERT را آموزش دهند که فقط اولین حرف از هر کلمه را می بیند. سپس این مدل را با مدل BERT اصلی که کل کلمات را می بیند، مقایسه می کنند. این به آنها نشان می دهد که چقدر اطلاعات فقط با نگاه کردن به حرف اول یک کلمه از دست می رود.

یافته‌های کلیدی این تحقیق، نتایج شگفت‌آوری را نشان می‌دهد:

• حفظ عملکرد بالا حتی با اتلاف اطلاعات شدید: مدل‌های زبانی می‌توانند حتی با استفاده از اطلاعات بسیار کمی از هر توکن (به عنوان مثال، فقط یک کاراکتر)، به عملکرد قابل قبولی دست یابند.
• اهمیت نسبی کاراکترهای مختلف: برخی از کاراکترهای موجود در توکن‌ها، نسبت به سایر کاراکترها، اهمیت بیشتری در یادگیری زبان توسط مدل‌ها دارند. به عنوان مثال، مدل‌هایی که با استفاده از اولین کاراکتر هر توکن پیش‌آموزش داده شده‌اند، عملکرد بهتری نسبت به مدل‌هایی داشته‌اند که با استفاده از آخرین کاراکتر پیش‌آموزش داده شده‌اند.
• مقاومت مدل‌ها در برابر نویز و اطلاعات ناقص: مدل‌های زبانی، به طور شگفت‌انگیزی در برابر نویز و اطلاعات ناقص مقاوم هستند و می‌توانند حتی در شرایطی که اطلاعات ورودی کامل نیست، عملکرد خوبی ارائه دهند.

به طور خاص، مدل پیش‌آموزش‌شده فقط بر روی اولین کاراکترهای توکن‌ها، حدود ۹۰٪ عملکرد مدل آموزش‌دیده بر توکن‌های کامل را در وظایف SuperGLUE و حدود ۷۷٪ عملکرد مدل آموزش‌دیده بر توکن‌های کامل را در وظایف GLUE حفظ کرده است. این یافته نشان می‌دهد که مدل‌های زبانی، اطلاعات بسیار مهمی را از اولین کاراکترهای کلمات استخراج می‌کنند.

نتایج این تحقیق، می‌تواند کاربردها و دستاوردهای متعددی داشته باشد:

• طراحی مدل‌های زبانی کارآمدتر: این یافته‌ها می‌تواند به طراحی مدل‌های زبانی کارآمدتر و سبک‌تر کمک کند. با شناسایی کاراکترهای کلیدی در توکن‌ها، می‌توان مدل‌هایی را طراحی کرد که فقط بر روی این کاراکترها تمرکز کنند و در نتیجه، از منابع محاسباتی کمتری استفاده کنند.
• بهبود مقاومت مدل‌ها در برابر نویز: درک بهتر از نحوه عملکرد مدل‌ها در شرایط اتلاف اطلاعات، می‌تواند به بهبود مقاومت مدل‌ها در برابر نویز و اطلاعات ناقص کمک کند. این امر می‌تواند منجر به طراحی مدل‌هایی شود که در شرایط واقعی و پر از نویز، عملکرد بهتری ارائه دهند.
• توسعه روش‌های جدید پیش‌آموزش: نتایج این تحقیق می‌تواند الهام‌بخش توسعه روش‌های جدید پیش‌آموزش باشد. به عنوان مثال، می‌توان روش‌هایی را طراحی کرد که در آن‌ها، مدل‌ها به طور خاص برای یادگیری اطلاعات از کاراکترهای کلیدی آموزش داده شوند.

به عنوان مثال، در دستگاه‌های تلفن همراه با منابع محاسباتی محدود، استفاده از مدل‌های زبانی که تنها به بخش کوچکی از اطلاعات هر کلمه نیاز دارند، می‌تواند بسیار مفید باشد. این امر می‌تواند امکان استفاده از قابلیت‌های پردازش زبان طبیعی پیشرفته را در دستگاه‌های تلفن همراه فراهم کند.

مقاله “شناخت نقش کاراکترهای توکن ورودی در مدل‌های زبانی: تأثیر اتلاف اطلاعات بر عملکرد”، با بررسی تاثیر اتلاف اطلاعات در کاراکترهای توکن ورودی بر عملکرد مدل‌های زبانی، به درک عمیق‌تری از نحوه عملکرد این مدل‌ها کمک می‌کند. یافته‌های این تحقیق نشان می‌دهد که مدل‌های زبانی می‌توانند با استفاده از اطلاعات بسیار کمی از هر توکن، به عملکرد قابل قبولی دست یابند و در برابر نویز و اطلاعات ناقص، از خود مقاومت نشان دهند.

این یافته‌ها، دیدگاه‌های جدیدی را در مورد چگونگی یادگیری زبان توسط مدل‌های زبانی ارائه می‌دهد و می‌تواند منجر به طراحی مدل‌های کارآمدتر، مقاوم‌تر و سازگارتر با منابع محدود شود. این مقاله، گامی مهم در جهت درک بهتر و بهینه‌سازی مدل‌های زبانی پیش‌آموزش‌دیده محسوب می‌شود.