در دنیای پردازش زبان طبیعی (NLP)، مدل‌های ترنسفورمر به عنوان یک نیروی محرکه اصلی در دستیابی به پیشرفت‌های چشمگیر شناخته می‌شوند. این مدل‌ها، که بر پایه مکانیسم‌های توجه (Attention Mechanisms) استوار هستند، توانسته‌اند درک و تولید متن را به سطحی بی‌سابقه ارتقا دهند. کاربردهای عملی این مدل‌ها در زمینه‌های مختلف، عمدتاً از طریق یادگیری انتقالی (Transfer Learning) میسر شده‌اند. به عبارت دیگر، یک مدل ترنسفورمر ابتدا بر روی یک مجموعه داده بزرگ و عمومی آموزش داده می‌شود و سپس، برای یک وظیفه خاص با استفاده از یک مجموعه داده کوچکتر و تخصصی‌تر، “تنظیم دقیق” (Fine-tuning) می‌گردد.

مقاله “تنظیم دقیق ترنسفورمرها: انتقال واژگان”، به بررسی یک جنبه مهم در فرایند یادگیری انتقالی می‌پردازد: تأثیر استفاده از توکن‌بندی (Tokenization) خاص پیکره (Corpus-specific) در عملکرد نهایی مدل تنظیم‌شده. توکن‌بندی، فرایند شکستن متن به واحدهای کوچکتر (توکن‌ها) است که مدل قادر به درک و پردازش آن‌ها باشد. این مقاله به این سوال پاسخ می‌دهد که آیا استفاده از یک توکن‌بندی که به طور خاص برای مجموعه داده تنظیم دقیق طراحی شده است، می‌تواند به بهبود عملکرد مدل منجر شود یا خیر.

اهمیت این تحقیق از آنجا ناشی می‌شود که در عمل، اغلب از توکن‌بندی‌های از پیش تعریف‌شده (Pre-trained) مانند WordPiece یا Byte-Pair Encoding (BPE) استفاده می‌شود. با این حال، ممکن است این توکن‌بندی‌ها بهینه برای مجموعه داده خاصی که برای تنظیم دقیق مورد استفاده قرار می‌گیرد، نباشند. در نتیجه، بررسی تأثیر توکن‌بندی سفارشی‌سازی شده می‌تواند به بهبود قابل توجه عملکرد مدل‌های ترنسفورمر در کاربردهای مختلف منجر شود.

این مقاله توسط Vladislav Mosin, Igor Samenko, Alexey Tikhonov, Borislav Kozlovskii, Ivan P. Yamshchikov نوشته شده است. زمینه تحقیقاتی این نویسندگان، پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی است. تخصص آن‌ها در زمینه مدل‌های زبانی بزرگ و یادگیری انتقالی، اعتبار و دقت این تحقیق را تضمین می‌کند.

چکیده این مقاله به این شرح است: مدل‌های ترنسفورمر مسئولیت بیشتر پیشرفت‌های اخیر در پردازش زبان طبیعی را بر عهده دارند. اکثریت کاربردهای عملی پردازش زبان طبیعی این مدل‌ها، معمولاً از طریق یادگیری انتقالی امکان‌پذیر شده‌اند. این مقاله بررسی می‌کند که آیا توکن‌بندی خاص پیکره که برای تنظیم دقیق استفاده می‌شود، عملکرد نهایی مدل را بهبود می‌بخشد یا خیر. از طریق یک سری آزمایش‌ها، نشان می‌دهیم که چنین توکن‌بندی، همراه با استراتژی اولیه (Initialization) و تنظیم دقیق برای توکن‌های واژگان، سرعت انتقال را افزایش داده و عملکرد مدل تنظیم‌شده را بهبود می‌بخشد. این جنبه تسهیل انتقال را انتقال واژگان می‌نامیم.

به طور خلاصه، این مقاله به بررسی این ایده می‌پردازد که استفاده از یک واژگان و توکن‌بندی سفارشی‌شده، به جای اتکا به واژگان از پیش آموزش‌دیده، می‌تواند عملکرد مدل‌های ترنسفورمر را در فرایند تنظیم دقیق به میزان قابل توجهی بهبود بخشد. نویسندگان با انجام آزمایش‌های متعدد، اثبات می‌کنند که این رویکرد، که آن‌ها آن را “انتقال واژگان” می‌نامند، می‌تواند سرعت یادگیری را افزایش داده و دقت مدل را در وظایف مختلف بهبود بخشد.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

1. تعریف وظایف و مجموعه‌داده‌ها: نویسندگان مجموعه‌ای از وظایف پردازش زبان طبیعی را انتخاب کردند، مانند طبقه‌بندی متن (Text Classification)، تشخیص موجودیت‌های نام‌دار (Named Entity Recognition – NER) و پاسخ به سوال (Question Answering). همچنین، مجموعه‌داده‌های مختلفی را برای هر وظیفه در نظر گرفتند.
2. ایجاد توکن‌بندی‌های خاص پیکره: برای هر مجموعه داده، یک توکن‌بندی جدید ایجاد شد. این توکن‌بندی‌ها بر اساس ویژگی‌های آماری و زبانی مجموعه داده خاص، طراحی و بهینه شدند. برای مثال، ممکن است کلمات یا عبارات پرتکرار در یک مجموعه داده خاص، به عنوان توکن‌های جداگانه در نظر گرفته شوند.
3. آموزش و تنظیم دقیق مدل‌های ترنسفورمر: مدل‌های ترنسفورمر مختلفی، از جمله BERT و RoBERTa، با استفاده از توکن‌بندی‌های از پیش آموزش‌دیده و توکن‌بندی‌های خاص پیکره، آموزش داده شده و سپس بر روی مجموعه‌داده‌های مربوطه تنظیم دقیق شدند.
4. ارزیابی عملکرد: عملکرد مدل‌ها با استفاده از معیارهای ارزیابی استاندارد برای هر وظیفه، مانند دقت (Accuracy)، F1-score و EM (Exact Match)، ارزیابی شد.
5. مقایسه نتایج: نتایج حاصل از مدل‌هایی که با استفاده از توکن‌بندی‌های مختلف آموزش داده شده بودند، با یکدیگر مقایسه شد. این مقایسه به منظور تعیین تأثیر استفاده از توکن‌بندی خاص پیکره بر عملکرد مدل انجام شد.

یکی از جنبه‌های مهم روش‌شناسی این تحقیق، توجه به استراتژی اولیه (Initialization Strategy) برای توکن‌های واژگان جدید است. نویسندگان روش‌های مختلفی را برای مقداردهی اولیه به این توکن‌ها امتحان کردند و تأثیر این روش‌ها را بر عملکرد نهایی مدل بررسی نمودند.

یافته‌های کلیدی این مقاله عبارتند از:

• بهبود عملکرد: استفاده از توکن‌بندی خاص پیکره به طور مداوم منجر به بهبود عملکرد مدل‌های ترنسفورمر در وظایف مختلف شد. این بهبود عملکرد در برخی موارد بسیار چشمگیر بود.
• افزایش سرعت یادگیری: استفاده از توکن‌بندی خاص پیکره باعث افزایش سرعت یادگیری مدل شد. به عبارت دیگر، مدل با استفاده از این توکن‌بندی سریع‌تر به دقت مطلوب رسید.
• اهمیت استراتژی اولیه: استراتژی اولیه برای توکن‌های واژگان جدید تأثیر قابل توجهی بر عملکرد مدل داشت. نویسندگان دریافتند که استفاده از یک استراتژی مناسب برای مقداردهی اولیه به این توکن‌ها، می‌تواند به بهبود قابل توجه عملکرد مدل منجر شود.
• کارایی در منابع محدود: در شرایطی که منابع محاسباتی محدود هستند، استفاده از توکن‌بندی خاص پیکره می‌تواند به عنوان یک راهکار کارآمد برای بهبود عملکرد مدل عمل کند.

به عنوان مثال، در یکی از آزمایش‌ها، نویسندگان نشان دادند که استفاده از توکن‌بندی خاص پیکره در وظیفه طبقه‌بندی متن، دقت مدل را به میزان 2 تا 5 درصد افزایش می‌دهد. این افزایش دقت، به ویژه در کاربردهایی که دقت بسیار مهم است، می‌تواند بسیار ارزشمند باشد.

نتایج این مقاله دارای کاربردهای عملی متعددی است. این نتایج می‌تواند به محققان و مهندسان در زمینه‌های زیر کمک کند:

• بهبود عملکرد مدل‌های ترنسفورمر: با استفاده از توکن‌بندی خاص پیکره، می‌توان عملکرد مدل‌های ترنسفورمر را در وظایف مختلف بهبود بخشید.
• کاهش نیاز به داده‌های آموزشی: استفاده از توکن‌بندی خاص پیکره می‌تواند به کاهش نیاز به داده‌های آموزشی کمک کند. این امر به ویژه در شرایطی که دسترسی به داده‌های آموزشی محدود است، بسیار مهم است.
• تسریع فرایند یادگیری: استفاده از توکن‌بندی خاص پیکره می‌تواند فرایند یادگیری مدل را تسریع کند. این امر می‌تواند به کاهش زمان و هزینه‌های آموزش مدل منجر شود.
• بهبود عملکرد در زبان‌های با منابع کم: این روش می‌تواند به ویژه در زبان‌هایی که منابع زبانی کمی در دسترس است، مفید باشد. ایجاد توکن‌بندی سفارشی‌سازی شده می‌تواند به مدل کمک کند تا ویژگی‌های خاص این زبان‌ها را بهتر درک کند.

به طور کلی، دستاورد اصلی این مقاله ارائه یک روش کارآمد و مؤثر برای بهبود عملکرد مدل‌های ترنسفورمر در فرایند تنظیم دقیق است. این روش، که “انتقال واژگان” نامیده می‌شود، می‌تواند به طور گسترده در کاربردهای مختلف پردازش زبان طبیعی مورد استفاده قرار گیرد.

مقاله “تنظیم دقیق ترنسفورمرها: انتقال واژگان” نشان می‌دهد که استفاده از توکن‌بندی خاص پیکره می‌تواند به طور قابل توجهی عملکرد مدل‌های ترنسفورمر را در فرایند تنظیم دقیق بهبود بخشد. این روش، که نویسندگان آن را “انتقال واژگان” می‌نامند، می‌تواند سرعت یادگیری را افزایش داده، دقت مدل را بهبود بخشیده و نیاز به داده‌های آموزشی را کاهش دهد. نتایج این تحقیق دارای کاربردهای عملی متعددی است و می‌تواند به محققان و مهندسان در زمینه‌های مختلف پردازش زبان طبیعی کمک کند.

به عنوان نتیجه‌گیری، پیشنهاد می‌شود که در پروژه‌های پردازش زبان طبیعی، همواره به تأثیر توکن‌بندی بر عملکرد مدل توجه شود و در صورت امکان، از توکن‌بندی‌های خاص پیکره استفاده گردد. همچنین، تحقیقات بیشتری در زمینه استراتژی‌های اولیه برای توکن‌های واژگان جدید مورد نیاز است تا بتوان به بهترین روش برای مقداردهی اولیه به این توکن‌ها دست یافت.