نمره‌دهی خودکار مقالات (Automated Essay Scoring – AES) یکی از مسائل دیرینه و در عین حال بسیار مهم در حوزه پردازش زبان طبیعی (NLP) و هوش مصنوعی است. این فناوری به دنبال ایجاد سیستم‌هایی است که بتوانند مقالات و متون نوشتاری دانش‌آموزان را به صورت خودکار، دقیق و بی‌طرفانه ارزیابی کرده و به آن‌ها نمره دهند. اهمیت این موضوع از دو جنبه قابل بررسی است: اول، از نظر آموزشی و اقتصادی، چنین سیستمی می‌تواند بار کاری معلمان را به شدت کاهش دهد، بازخورد فوری به دانش‌آموزان ارائه کند و فرآیند ارزیابی در آزمون‌های بزرگ‌مقیاس را تسریع و استانداردسازی نماید. دوم، از منظر پژوهشی، نمره‌دهی مقاله یک چالش پیچیده است که مدل‌های هوش مصنوعی را در درک جنبه‌های ظریف زبان انسانی مانند انسجام متن، قدرت استدلال، خلاقیت و سبک نوشتاری به بوته آزمایش می‌گذارد.

مقاله حاضر با عنوان «تقویت داده برای نمره‌دهی خودکار مقاله با مدل‌های ترنسفورمر» که توسط کیشتیج گوپتا (Kshitij Gupta) به رشته تحریر درآمده، گامی مهم در جهت حل این چالش برداشته است. این پژوهش با تکیه بر دو فناوری پیشرفته در هوش مصنوعی، یعنی معماری ترنسفورمر و تکنیک‌های تقویت داده (Data Augmentation)، به دنبال ساخت مدلی کارآمد است که بتواند با دقت بالا مقالات متنوعی را در موضوعات مختلف ارزیابی کند. این مقاله نشان می‌دهد که چگونه می‌توان با ترکیب این دو رویکرد، بر محدودیت‌های مدل‌های قدیمی‌تر فائق آمد و به سیستمی قوی‌تر و قابل تعمیم‌تر دست یافت.

این مقاله توسط کیشتیج گوپتا، پژوهشگر حوزه هوش مصنوعی و پردازش زبان طبیعی، ارائه شده است. این تحقیق در دسته‌بندی‌های «محاسبات و زبان» و «هوش مصنوعی» قرار می‌گیرد که نشان‌دهنده ماهیت میان‌رشته‌ای آن است. زمینه تحقیق این مقاله، تکامل سیستم‌های نمره‌دهی خودکار است. در گذشته، این سیستم‌ها عمدتاً بر پایه‌ روش‌های آماری و مهندسی ویژگی (Feature Engineering) بنا می‌شدند که در آن‌ها ویژگی‌هایی مانند طول جمله، تعداد کلمات پیچیده و خطاهای گرامری به صورت دستی استخراج می‌شد.

با ظهور یادگیری عمیق، مدل‌هایی مانند شبکه‌های عصبی بازگشتی (RNNs) و حافظه طولانی کوتاه-مدت (LSTMs) توانستند با درک توالی کلمات، عملکرد بهتری از خود نشان دهند. با این حال، این مدل‌ها نیز در درک وابستگی‌های دوربرد در متن و مفاهیم پیچیده با محدودیت‌هایی مواجه بودند. ظهور معماری ترنسفورمر در سال ۲۰۱۷، انقلابی در حوزه NLP ایجاد کرد. این مقاله در ادامه همین مسیر تکاملی قرار دارد و به بررسی این موضوع می‌پردازد که آیا جدیدترین نسل مدل‌های زبانی، یعنی ترنسفورمرها، می‌توانند در ترکیب با تکنیک‌های هوشمندانه داده‌محور، مسئله نمره‌دهی خودکار را به شکل مؤثرتری حل کنند یا خیر.

چکیده این مقاله به روشنی هدف، روش و دستاورد اصلی پژوهش را بیان می‌کند. نویسنده ابتدا تأکید می‌کند که نمره‌دهی خودکار مقاله یک مسئله حل‌نشده باقی مانده که هم کاربردهای عملی گسترده‌ای دارد و هم چالش‌های پژوهشی جذابی را مطرح می‌کند. این پژوهش بر دو ستون اصلی استوار است:

• استفاده از مدل‌های ترنسفورمر: برخلاف تحقیقات پیشین که بر مدل‌های RNN و LSTM متمرکز بودند، این کار به طور خاص اثربخشی مدل‌های مبتنی بر ترنسفورمر مانند BERT و RoBERTa را می‌آزماید. این مدل‌ها به لطف مکانیزم توجه (Attention Mechanism) و پیش‌آموزش روی حجم عظیمی از داده‌های متنی، درک عمیق‌تری از زبان دارند.
• به‌کارگیری تقویت داده: یکی از مشکلات اساسی در این حوزه، کمبود داده‌های آموزشی باکیفیت (مقالات نمره‌دهی‌شده توسط انسان) است. این مقاله نشان می‌دهد که تکنیک‌های تقویت داده می‌توانند به طور مؤثری این کمبود را جبران کرده و به مدل کمک کنند تا الگوهای کلی یک نوشته خوب را بیاموزد، نه اینکه صرفاً الگوهای موجود در داده‌های محدود را حفظ کند.

هدف نهایی مقاله، ارائه یک مدل واحد و جامع است که قادر باشد مقالات مربوط به موضوعات (Prompts) گوناگون را با دقت بالا ارزیابی کند. این دستاورد بزرگی محسوب می‌شود، زیرا بسیاری از سیستم‌های قبلی نیازمند آموزش یک مدل جداگانه برای هر موضوع مقاله بودند. این پژوهش به صورت تجربی نشان می‌دهد که ترکیب ترنسفورمرها و تقویت داده به این هدف مهم دست می‌یابد.

روش‌شناسی این تحقیق از دو جزء کلیدی تشکیل شده است که در ادامه به تفصیل شرح داده می‌شوند:

الف) مدل‌های مبتنی بر ترنسفورمر (Transformer Models)

هسته اصلی این پژوهش، استفاده از مدل‌های زبانی بزرگ و پیش‌آموزش‌دیده مبتنی بر معماری ترنسفورمر است. برخلاف مدل‌های ترتیبی مانند RNN، ترنسفورمرها متن را به صورت موازی پردازش می‌کنند و با استفاده از مکانیزم «توجه»، قادرند به تمام کلمات در متن ورودی به صورت همزمان توجه کرده و ارتباط میان کلمات دور از هم را نیز به خوبی درک کنند.

• BERT (Bidirectional Encoder Representations from Transformers): این مدل با پیش‌آموزش دوطرفه، قادر است مفهوم یک کلمه را بر اساس کلمات قبل و بعد از آن درک کند. این ویژگی برای ارزیابی مقالات که درک زمینه (Context) در آن‌ها حیاتی است، بسیار ارزشمند است.
• RoBERTa (Robustly Optimized BERT Pretraining Approach): این مدل نسخه بهینه‌شده‌ای از BERT است که با داده‌های بیشتر و فرآیند پیش‌آموزش هوشمندانه‌تر، به عملکردی حتی بهتر دست یافته است.

در این تحقیق، از فرآیندی به نام یادگیری انتقال (Transfer Learning) استفاده می‌شود. به این معنا که مدل‌های از قبل آموزش‌دیده (Pre-trained) که درک عمومی از زبان را کسب کرده‌اند، بر روی مجموعه داده مشخصی از مقالات نمره‌دهی‌شده «تنظیم دقیق» (Fine-tuning) می‌شوند تا برای وظیفه تخصصی نمره‌دهی مقاله بهینه گردند.

ب) تکنیک‌های تقویت داده (Data Augmentation)

برای غلبه بر مشکل کمبود داده، این پژوهش از روش‌های تقویت داده برای افزایش حجم و تنوع مجموعه داده آموزشی استفاده می‌کند. این تکنیک‌ها با ایجاد نسخه‌های جدید و کمی متفاوت از مقالات موجود، به مدل کمک می‌کنند تا ویژگی‌های معنایی عمیق‌تری را یاد بگیرد و در برابر تغییرات جزئی در نوشتار مقاوم شود. برخی از تکنیک‌های متداول که احتمالاً در این پژوهش نیز استفاده شده‌اند عبارتند از:

• ترجمه معکوس (Back-translation): یک جمله یا پاراگراف به زبان دیگری ترجمه شده و سپس به زبان اصلی بازگردانده می‌شود. این فرآیند معمولاً ساختار جمله را تغییر می‌دهد اما معنای اصلی را حفظ می‌کند. برای مثال: «این مقاله بسیار آموزنده است» -> (ترجمه به انگلیسی) «This article is very informative» -> (بازگشت به فارسی) «این نوشتار بسیار حاوی اطلاعات است».
• جایگزینی مترادف‌ها (Synonym Replacement): برخی از کلمات در متن به صورت تصادفی با مترادف‌هایشان جایگزین می‌شوند تا تنوع واژگانی در داده‌های آموزشی افزایش یابد.
• درج، حذف و جابجایی تصادفی (Random Insertion, Deletion, Swapping): تغییرات کوچکی مانند افزودن کلمات خنثی، حذف برخی کلمات یا جابجایی ترتیب دو کلمه مجاور در جمله، بدون آنکه معنای کلی به هم بریزد.

نتایج تجربی این مقاله چندین یافته مهم و قابل توجه را به اثبات می‌رساند که مسیر آینده پژوهش در زمینه نمره‌دهی خودکار را روشن‌تر می‌کند:

• برتری مطلق مدل‌های ترنسفورمر: آزمایش‌ها به وضوح نشان دادند که مدل‌هایی مانند BERT و RoBERTa به طور معناداری از معماری‌های قدیمی‌تر نظیر RNN و LSTM در دقت نمره‌دهی پیشی می‌گیرند. این مدل‌ها به دلیل درک بهتر ساختار و معنای متن، نمراتی نزدیک‌تر به نمرات ارزیابان انسانی تولید می‌کنند.
• تأثیر مثبت و چشمگیر تقویت داده: اعمال تکنیک‌های تقویت داده، عملکرد مدل‌ها را به شکل قابل توجهی بهبود بخشید. مدل‌هایی که با داده‌های تقویت‌شده آموزش دیده‌ بودند، نه تنها دقت بالاتری داشتند، بلکه توانایی تعمیم بهتری نیز از خود نشان دادند و در مواجهه با مقالات جدید که ساختاری متفاوت داشتند، کمتر دچار خطا می‌شدند.
• موفقیت در ساخت یک مدل واحد برای چندین موضوع: شاید مهم‌ترین دستاورد این پژوهش، اثبات این فرضیه بود که می‌توان یک مدل واحد را آموزش داد تا مقالات مربوط به موضوعات مختلف را با دقت بالا ارزیابی کند. این امر نشان می‌دهد که مدل توانسته است ویژگی‌های عمومی یک «مقاله خوب» (مانند ساختار منسجم، استدلال قوی و زبان روان) را فراتر از ویژگی‌های خاص یک موضوع خاص بیاموزد.

نتایج این پژوهش پیامدهای عملی گسترده‌ای در دنیای واقعی دارد و می‌تواند تحولی در حوزه آموزش و ارزیابی ایجاد کند.

یکی از اصلی‌ترین کاربردها، ادغام این سیستم‌ها در پلتفرم‌های یادگیری آنلاین (LMS) است. دانش‌آموزان می‌توانند مقالات خود را ارسال کرده و در عرض چند ثانیه بازخوردی فوری در قالب یک نمره دریافت کنند. این حلقه بازخورد سریع به آن‌ها کمک می‌کند تا نقاط ضعف خود را شناسایی کرده و مهارت‌های نوشتاری خود را به طور مستمر بهبود بخشند.

در حوزه آزمون‌های استاندارد شده مانند تافل، آیلتس و GRE، استفاده از چنین سیستم‌هایی می‌تواند فرآیند تصحیح بخش نوشتاری را خودکار کند. این امر نه تنها به کاهش هزینه‌ها و افزایش سرعت اعلام نتایج منجر می‌شود، بلکه با حذف عامل انسانی، می‌تواند به افزایش بی‌طرفی و ثبات در نمره‌دهی کمک کند.

از منظر اقتصادی، این فناوری می‌تواند صرفه‌جویی عظیمی در زمان و منابع موسسات آموزشی و سازمان‌های برگزارکننده آزمون ایجاد کند. علاوه بر این، متدولوژی ارائه شده در این مقاله به عنوان یک الگوی قدرتمند برای سایر وظایف پردازش زبان طبیعی، مانند تحلیل احساسات، دسته‌بندی متون و تشخیص اخبار جعلی، قابل استفاده است.

مقاله «تقویت داده برای نمره‌دهی خودکار مقاله با مدل‌های ترنسفورمر» یک پژوهش جامع و تأثیرگذار است که به روشنی نشان می‌دهد چگونه می‌توان با بهره‌گیری از آخرین پیشرفت‌های هوش مصنوعی، یکی از چالش‌های قدیمی در پردازش زبان طبیعی را به شکل مؤثری مدیریت کرد. این تحقیق با ترکیب هوشمندانه قدرت مدل‌های پیش‌آموزش‌دیده ترنسفورمر و استراتژی‌های تقویت داده، یک سیستم نمره‌دهی خودکار ارائه می‌دهد که هم دقیق، هم قوی و هم قابل تعمیم به موضوعات مختلف است.

این پژوهش راه را برای نسل بعدی سیستم‌های ارزیابی آموزشی هموار می‌کند؛ سیستم‌هایی که نه تنها یک نمره نهایی ارائه می‌دهند، بلکه شاید در آینده بتوانند بازخوردهای تحلیلی و سازنده نیز تولید کنند (مثلاً: «استدلال شما در پاراگراف دوم نیاز به شواهد بیشتری دارد»). با وجود پیشرفت‌های چشمگیر، مسیر همچنان برای بهبود باز است و تحقیقات آینده می‌تواند بر روی مدل‌های کارآمدتر، تکنیک‌های تقویت داده پیچیده‌تر و افزایش قابلیت تفسیرپذیری مدل‌ها متمرکز شود. در نهایت، این کار گواهی بر پتانسیل عظیم هوش مصنوعی برای متحول کردن ابزارهای آموزشی و ارتقای کیفیت یادگیری در سراسر جهان است.