ارزشیابی پاسخ‌های تشریحی، فرایندی زمان‌بر و خسته‌کننده است که کیفیت آن به شدت تحت تأثیر ویژگی‌های فردی و ذهنی ارزیاب قرار می‌گیرد. این موضوع می‌تواند منجر به ناهمگونی و بی‌عدالتی در نمره‌دهی شود. در این راستا، استفاده از روش‌های ماشینی می‌تواند به طور موثری به معلمان و اساتید در صرفه‌جویی در زمان و اطمینان از ارزیابی‌های منصفانه و واقع‌بینانه کمک کند. با این حال، بسیاری از روش‌های موجود که از یادگیری ماشین و پردازش زبان طبیعی استفاده می‌کنند، اغلب با کمبود داده‌های آموزشی برچسب‌گذاری‌شده و همچنین عدم قابلیت تفسیرپذیری مدل مواجه هستند که آنها را برای استفاده در دنیای واقعی نامناسب می‌کند.

مقاله حاضر با عنوان “پروت‌سی: شبکه سیامی پیش‌نمونه‌ای با افزایش داده برای ارزشیابی چند نمونه‌ای پاسخ‌های تشریحی” تلاش دارد تا این چالش‌ها را با ارائه یک معماری نیمه‌نظارتی منحصربه‌فرد مبتنی بر یادگیری چند نمونه‌ای (Few-Shot Learning) برای ارزشیابی پاسخ‌های تشریحی برطرف کند. این مقاله به بررسی چگونگی استفاده از شبکه‌های سیامی و شبکه‌های پیش‌نمونه‌ای به همراه تکنیک‌های افزایش داده برای بهبود دقت و کارایی ارزشیابی پاسخ‌های تشریحی می‌پردازد.

این مقاله توسط ینیینگ لو، جینگ‌شی کیو و گورا گوپتا به رشته تحریر درآمده است. نویسندگان در حوزه محاسبات و زبان (Computation and Language) فعالیت دارند و تخصص آنها در زمینه یادگیری ماشین، پردازش زبان طبیعی و کاربردهای آن در آموزش و ارزشیابی است.

زمینه‌ی تحقیقاتی این مقاله، ارزشیابی خودکار پاسخ‌های تشریحی با استفاده از روش‌های یادگیری چند نمونه‌ای است. این حوزه به دلیل کمبود داده‌های برچسب‌گذاری‌شده و نیاز به مدل‌هایی با قابلیت تعمیم بالا، با چالش‌های متعددی روبروست. نویسندگان تلاش کرده‌اند تا با ارائه یک معماری جدید و استفاده از تکنیک‌های نوین، به این چالش‌ها پاسخ دهند.

در این مقاله، یک روش جدید برای ارزشیابی پاسخ‌های تشریحی به نام پروت‌سی (ProtSi) ارائه شده است. این روش با ترکیب شبکه‌های سیامی و پیش‌نمونه‌ای، تلاش می‌کند تا شباهت بین پاسخ دانش‌آموز و نمونه‌های پاسخ استاندارد را اندازه‌گیری کند. شبکه سیامی از لایه‌های BERT و رمزگذار (Encoder) برای استخراج ویژگی‌های معنایی از پاسخ‌ها استفاده می‌کند. شبکه پیش‌نمونه‌ای نیز با ایجاد پیش‌نمونه‌هایی از پاسخ‌های استاندارد، به مدل کمک می‌کند تا پاسخ‌های جدید را بر اساس شباهت آنها به این پیش‌نمونه‌ها ارزیابی کند.

برای جلوگیری از بیش‌برازش (Overfitting) در شرایط کمبود داده، نویسندگان از یک مدل پارافریزینگ متنوع و بدون نظارت به نام ProtAugment استفاده کرده‌اند. این مدل با تولید نسخه‌های متنوعی از پاسخ‌های موجود، به افزایش حجم داده‌های آموزشی کمک می‌کند. همچنین، با ادغام یادگیری متضاد (Contrastive Learning)، مشکل تفکیک‌پذیری متن (Discriminative Text Issue) نیز تا حدودی کاهش یافته است.

نتایج آزمایش‌ها روی مجموعه داده Kaggle Short Scoring Dataset نشان می‌دهد که شبکه پروت‌سی از نظر دقت و معیار Quadratic Weighted Kappa نسبت به مدل‌های پایه (Baseline) موجود عملکرد بهتری دارد.

روش‌شناسی این تحقیق شامل مراحل زیر است:

• پیش‌پردازش داده‌ها: ابتدا داده‌های آموزشی با استفاده از تکنیک‌های استاندارد پردازش زبان طبیعی، مانند حذف کلمات توقف (Stop Words) و ریشه‌یابی (Stemming)، آماده می‌شوند.
• استخراج ویژگی‌ها با استفاده از BERT: مدل زبانی BERT برای استخراج ویژگی‌های معنایی از پاسخ‌ها استفاده می‌شود. BERT یک مدل پیش‌آموزش‌شده است که می‌تواند روابط بین کلمات را به خوبی درک کند.
• ساخت شبکه سیامی: دو نسخه از مدل BERT (با پارامترهای یکسان) به عنوان ورودی، دو پاسخ (پاسخ دانشجو و پاسخ استاندارد) را دریافت می‌کنند و ویژگی‌های استخراج‌شده را به لایه‌های رمزگذار ارسال می‌کنند.
• شبکه پیش‌نمونه‌ای: پس از استخراج ویژگی‌ها، شبکه پیش‌نمونه‌ای با استفاده از میانگین‌گیری از ویژگی‌های پاسخ‌های یک دسته، پیش‌نمونه‌هایی را برای هر دسته ایجاد می‌کند. سپس شباهت بین ویژگی‌های پاسخ دانش‌آموز و پیش‌نمونه‌ها محاسبه می‌شود.
• افزایش داده با ProtAugment: برای جلوگیری از بیش‌برازش، مدل ProtAugment برای تولید نسخه‌های متنوعی از پاسخ‌های موجود استفاده می‌شود. این مدل از تکنیک‌های پارافریزینگ برای ایجاد تغییرات جزئی در متن استفاده می‌کند که معنای آن را حفظ می‌کند.
• یادگیری متضاد: برای بهبود تفکیک‌پذیری متن، از یادگیری متضاد استفاده می‌شود. در این روش، به مدل آموزش داده می‌شود تا پاسخ‌های مشابه را به هم نزدیک‌تر و پاسخ‌های متفاوت را از هم دورتر کند.
• ارزیابی عملکرد: عملکرد مدل با استفاده از معیارهای دقت و Quadratic Weighted Kappa روی مجموعه داده Kaggle Short Scoring Dataset ارزیابی می‌شود.

به عنوان مثال، فرض کنید یک سوال تشریحی در مورد نظریه نسبیت خاص اینشتین مطرح شده است. مدل BERT می‌تواند ویژگی‌های معنایی مرتبط با این نظریه را از پاسخ‌های مختلف استخراج کند. سپس شبکه پیش‌نمونه‌ای با مقایسه این ویژگی‌ها با پیش‌نمونه‌های پاسخ‌های استاندارد (که توسط متخصصان ایجاد شده‌اند)، می‌تواند نمره‌ای به پاسخ دانش‌آموز اختصاص دهد.

یافته‌های کلیدی این تحقیق عبارتند از:

• شبکه پروت‌سی در ارزشیابی پاسخ‌های تشریحی، عملکرد بهتری نسبت به مدل‌های پایه دارد.
• استفاده از تکنیک افزایش داده ProtAugment به طور قابل توجهی از بیش‌برازش جلوگیری می‌کند و دقت مدل را بهبود می‌بخشد.
• ادغام یادگیری متضاد باعث افزایش تفکیک‌پذیری متن و بهبود عملکرد مدل می‌شود.
• شبکه پروت‌سی می‌تواند با استفاده از تعداد محدودی از داده‌های آموزشی، به دقت قابل قبولی دست یابد.

به طور خاص، نتایج نشان می‌دهد که شبکه پروت‌سی در مقایسه با بهترین مدل‌های پایه، به طور میانگین X درصد بهبود در دقت و Y درصد بهبود در معیار Quadratic Weighted Kappa داشته است (مقادیر X و Y باید از مقاله اصلی استخراج شوند).

کاربردهای این تحقیق بسیار گسترده است و می‌تواند در زمینه‌های مختلفی مورد استفاده قرار گیرد:

• ارزشیابی خودکار تکالیف و آزمون‌ها: شبکه پروت‌سی می‌تواند برای ارزشیابی خودکار تکالیف و آزمون‌های تشریحی در سیستم‌های آموزش الکترونیکی (E-Learning) مورد استفاده قرار گیرد.
• ارائه بازخورد به دانش‌آموزان: این مدل می‌تواند بازخوردهای مفیدی را به دانش‌آموزان در مورد پاسخ‌هایشان ارائه دهد و به آنها در بهبود مهارت‌های نوشتاری و درک مطالب کمک کند.
• کاهش بار کاری معلمان: با استفاده از شبکه پروت‌سی، معلمان می‌توانند زمان بیشتری را صرف آموزش و تعامل با دانش‌آموزان کنند و بار کاری خود را کاهش دهند.
• ارزیابی مقالات علمی: می‌توان از این روش در ارزیابی خلاصه‌ها یا بخش‌های تشریحی مقالات علمی به منظور غربالگری اولیه و کمک به داوران استفاده کرد.

دستاورد اصلی این مقاله، ارائه یک روش جدید و کارآمد برای ارزشیابی پاسخ‌های تشریحی است که می‌تواند به بهبود کیفیت آموزش و کاهش هزینه‌ها کمک کند. این روش با استفاده از تکنیک‌های یادگیری چند نمونه‌ای و افزایش داده، می‌تواند با کمبود داده‌های آموزشی مقابله کند و به دقت قابل قبولی دست یابد.

مقاله “پروت‌سی: شبکه سیامی پیش‌نمونه‌ای با افزایش داده برای ارزشیابی چند نمونه‌ای پاسخ‌های تشریحی” یک گام مهم در جهت توسعه سیستم‌های خودکار ارزشیابی پاسخ‌های تشریحی است. این مقاله با ارائه یک معماری جدید و استفاده از تکنیک‌های نوین، توانسته است به چالش‌های موجود در این حوزه پاسخ دهد و عملکرد بهتری نسبت به مدل‌های پایه ارائه کند. با توجه به کاربردهای گسترده این روش، انتظار می‌رود که در آینده نزدیک شاهد استفاده گسترده‌تری از آن در سیستم‌های آموزشی و ارزشیابی باشیم.

با وجود دستاوردهای قابل توجه، لازم است توجه داشت که این تحقیق نیز محدودیت‌هایی دارد. به عنوان مثال، عملکرد مدل ممکن است تحت تأثیر کیفیت داده‌های آموزشی و انتخاب پارامترهای مدل قرار گیرد. همچنین، ممکن است این مدل در ارزشیابی پاسخ‌هایی که حاوی ایده‌های بسیار نوآورانه و غیرمعمول هستند، با مشکل مواجه شود. تحقیقات آینده می‌تواند بر روی رفع این محدودیت‌ها و بهبود عملکرد مدل در شرایط مختلف تمرکز کند.