مقاله حاضر به بررسی تاریخچه و تحولات مدل‌سازی واژگان-باز (Open-Vocabulary Modeling) و توکن‌سازی (Tokenization) در حوزه پردازش زبان طبیعی (NLP) می‌پردازد. این موضوع از اهمیت ویژه‌ای برخوردار است زیرا انتخاب واحد مناسب برای پردازش متن، تأثیر بسزایی در عملکرد و کارایی مدل‌های NLP دارد. از ابتدای پیدایش NLP، محققان با این چالش مواجه بوده‌اند که آیا باید کلمات را به عنوان واحدهای مجزا در نظر گرفت یا رویکردهای دیگری مانند استفاده از کاراکترها یا واحدهای کوچکتر (subwords) را مد نظر قرار داد.

این مقاله توسط جمعی از محققان برجسته در زمینه پردازش زبان طبیعی و یادگیری ماشین به نگارش درآمده است: Sabrina J. Mielke, Zaid Alyafeai, Elizabeth Salesky, Colin Raffel, Manan Dey, Matthias Gallé, Arun Raja, Chenglei Si, Wilson Y. Lee, Benoît Sagot, Samson Tan. تخصص این نویسندگان، ترکیبی از دانش نظری و تجربه عملی در توسعه و ارزیابی مدل‌های NLP است. آنها در حوزه‌های مختلفی از جمله مدل‌های زبانی، ترجمه ماشینی، و تولید متن فعالیت دارند. این مقاله در دسته‌بندی‌های “محاسبه و زبان” و “یادگیری ماشین” قرار می‌گیرد که نشان‌دهنده ماهیت بین‌رشته‌ای این تحقیق است.

چکیده مقاله به این سوال اساسی می‌پردازد که چه واحدهایی از متن را باید مدل‌سازی کنیم؟ متن را می‌توان در سطوح مختلفی از دانه‌بندی (granularity)، از بایت‌ها گرفته تا عبارات چند کلمه‌ای، تجزیه و تحلیل و تولید کرد. تا همین اواخر، اکثر مدل‌های پردازش زبان طبیعی بر روی کلمات عمل می‌کردند و آنها را به عنوان توکن‌های مجزا و اتمی در نظر می‌گرفتند. اما با شروع کدگذاری جفتی بایت (Byte-Pair Encoding یا BPE)، رویکردهای مبتنی بر واحدهای کوچکتر (subword-based approaches) در بسیاری از زمینه‌ها غالب شده‌اند و امکان استفاده از واژگان کوچک را فراهم می‌کنند در حالی که امکان استنتاج سریع (fast inference) را نیز فراهم می‌کنند. آیا پردازش در سطح کاراکتر یا سطح بایت، پایان راه است؟ این مقاله با نشان دادن اینکه چگونه رویکردهای ترکیبی کلمات و کاراکترها و همچنین رویکردهای مبتنی بر واحدهای کوچکتر بر اساس بخش‌بندی آموخته‌شده پیشنهاد و ارزیابی شده‌اند، چندین خط کاری از دوران قبل از شبکه‌های عصبی و دوران شبکه‌های عصبی را به هم متصل می‌کند. نویسندگان در نهایت به این نتیجه می‌رسند که هیچ راه‌حل واحدی برای همه برنامه‌ها وجود ندارد و احتمالاً وجود نخواهد داشت و تفکر جدی در مورد توکن‌سازی برای بسیاری از برنامه‌ها همچنان مهم است.

به بیان ساده‌تر، مقاله تلاش می‌کند تا تاریخچه تحول توکن‌سازی در NLP را بررسی کند و نشان دهد که چگونه از رویکردهای مبتنی بر کلمه به رویکردهای مبتنی بر واحدهای کوچکتر و کاراکترها رسیده‌ایم. هدف اصلی، ارائه یک دید جامع از مزایا و معایب هر رویکرد و تأکید بر اهمیت انتخاب روش مناسب توکن‌سازی بر اساس نوع کاربرد است.

این مقاله، یک مطالعه مروری (survey) است و به همین دلیل، روش‌شناسی آن مبتنی بر بررسی و تحلیل مقالات و پژوهش‌های پیشین در زمینه توکن‌سازی و مدل‌سازی واژگان-باز است. نویسندگان با بررسی گسترده ادبیات موضوع، سعی کرده‌اند تا یک دیدگاه جامع و تاریخی از تحولات این حوزه ارائه دهند. در این راستا، مقالات کلیدی و تأثیرگذار در هر دوره زمانی شناسایی و بررسی شده‌اند. علاوه بر این، نویسندگان با ارائه مثال‌های عملی و مقایسه‌های تحلیلی، به درک بهتر مزایا و معایب هر رویکرد کمک کرده‌اند.

روش تحقیق شامل مراحل زیر است:

• جستجوی جامع ادبیات: شناسایی مقالات مرتبط با توکن‌سازی و مدل‌سازی واژگان-باز در بازه‌های زمانی مختلف.
• دسته‌بندی رویکردها: تقسیم‌بندی روش‌های توکن‌سازی بر اساس سطح دانه‌بندی (کلمه، واحد کوچکتر، کاراکتر) و نوع الگوریتم (rules-based, statistical, neural).
• تحلیل مقایسه‌ای: مقایسه مزایا و معایب هر رویکرد بر اساس معیارهای مختلف (مانند اندازه واژگان، سرعت پردازش، دقت مدل).
• ارائه مثال‌های عملی: ارائه مثال‌هایی از کاربردهای مختلف هر رویکرد در زمینه‌های مختلف NLP.

مقاله یافته‌های کلیدی متعددی را ارائه می‌دهد که مهم‌ترین آنها عبارتند از:

• تحول از کلمه به واحدهای کوچکتر: تاکید بر این نکته که رویکردهای مبتنی بر واحدهای کوچکتر (subwords) به تدریج جایگزین رویکردهای مبتنی بر کلمه شده‌اند، زیرا این رویکردها امکان مدیریت بهتر کلمات نادر (rare words) و کلمات خارج از واژگان (out-of-vocabulary words) را فراهم می‌کنند.
• اهمیت BPE: نقش کلیدی الگوریتم Byte-Pair Encoding (BPE) در توسعه رویکردهای مبتنی بر واحدهای کوچکتر مورد تاکید قرار گرفته است. BPE یک الگوریتم ساده و کارآمد است که می‌تواند واژگان را به مجموعه‌ای از واحدهای کوچکتر تقسیم کند. برای مثال، کلمه “unbelievable” می‌تواند به واحدهای “un”, “believ”, و “able” تقسیم شود.
• عدم وجود راه‌حل واحد: مقاله بر این باور است که هیچ راه‌حل واحدی برای همه کاربردها وجود ندارد و انتخاب روش مناسب توکن‌سازی باید بر اساس نوع مسئله و داده‌ها صورت گیرد. برای مثال، در مواردی که نیاز به پردازش سریع متن وجود دارد، استفاده از رویکردهای مبتنی بر کلمه ممکن است مناسب‌تر باشد. در حالی که در مواردی که با کلمات نادر و پیچیده سروکار داریم، رویکردهای مبتنی بر واحدهای کوچکتر می‌توانند عملکرد بهتری داشته باشند.
• اهمیت تفکر در مورد توکن‌سازی: نویسندگان تاکید می‌کنند که تفکر جدی در مورد توکن‌سازی همچنان برای بسیاری از کاربردهای NLP مهم است و نباید به عنوان یک مرحله پیش‌پردازش ساده نادیده گرفته شود.

به عنوان مثال، فرض کنید می‌خواهیم یک مدل ترجمه ماشینی برای زبان فارسی و انگلیسی ایجاد کنیم. اگر از رویکرد مبتنی بر کلمه استفاده کنیم، باید یک واژگان بزرگ از تمام کلمات موجود در هر دو زبان ایجاد کنیم. این کار می‌تواند بسیار دشوار و زمان‌بر باشد، به خصوص اگر بخواهیم کلمات نادر و عبارات پیچیده را نیز پوشش دهیم. اما اگر از رویکرد مبتنی بر واحدهای کوچکتر استفاده کنیم، می‌توانیم واژگان را به مجموعه‌ای از واحدهای کوچکتر تقسیم کنیم که در هر دو زبان مشترک هستند. این کار باعث می‌شود که اندازه واژگان کاهش یابد و مدل بتواند کلمات نادر و جدید را به راحتی یاد بگیرد.

نتایج این مقاله می‌تواند در زمینه‌های مختلف NLP مورد استفاده قرار گیرد. برخی از کاربردها و دستاوردهای مهم عبارتند از:

• بهبود مدل‌های زبانی: انتخاب روش مناسب توکن‌سازی می‌تواند به بهبود عملکرد مدل‌های زبانی کمک کند و باعث شود که این مدل‌ها متن را بهتر درک و تولید کنند.
• افزایش دقت ترجمه ماشینی: استفاده از رویکردهای مبتنی بر واحدهای کوچکتر می‌تواند به افزایش دقت ترجمه ماشینی کمک کند، به خصوص در مواردی که با زبان‌های نادر و پیچیده سروکار داریم.
• بهبود خلاصه‌سازی متن: انتخاب روش مناسب توکن‌سازی می‌تواند به بهبود خلاصه‌سازی متن کمک کند و باعث شود که خلاصه‌های تولید شده، دقیق‌تر و روان‌تر باشند.
• توسعه ربات‌های گفتگو: انتخاب روش مناسب توکن‌سازی می‌تواند به توسعه ربات‌های گفتگو کمک کند و باعث شود که این ربات‌ها بتوانند با کاربران به طور طبیعی‌تر و مؤثرتر ارتباط برقرار کنند.

در مجموع، مقاله “بین کلمات و کاراکترها: تاریخچه‌ای مختصر از مدل‌سازی واژگان-باز و توکن‌سازی در NLP” یک بررسی جامع و ارزشمند از تحولات این حوزه ارائه می‌دهد. نویسندگان با بررسی دقیق مقالات و پژوهش‌های پیشین، توانسته‌اند یک دیدگاه جامع و تاریخی از مزایا و معایب رویکردهای مختلف توکن‌سازی ارائه دهند. یافته‌های این مقاله نشان می‌دهد که انتخاب روش مناسب توکن‌سازی یک گام مهم در توسعه مدل‌های NLP است و باید بر اساس نوع مسئله و داده‌ها صورت گیرد. این مقاله به محققان و توسعه‌دهندگان NLP کمک می‌کند تا با درک بهتر تحولات این حوزه، بتوانند مدل‌های کارآمدتر و دقیق‌تری را توسعه دهند. در نهایت، مقاله تاکید می‌کند که توکن‌سازی یک مسئله حل‌شده نیست و همچنان جای کار و تحقیق دارد.