در سال‌های اخیر، پیشرفت‌های چشمگیری در حوزه پردازش زبان طبیعی (NLP) حاصل شده است. این پیشرفت‌ها، منجر به ظهور مدل‌های پیش‌آموزش‌شده‌ی بسیار قدرتمندی شده‌اند که می‌توانند برای وظایف خاصی بهینه شوند. این مدل‌های بزرگ، با میلیاردها پارامتر، اغلب با استفاده از تعداد زیادی GPU یا TPU و در طی هفته‌ها آموزش داده می‌شوند و در صدر جدول‌های بنچمارک قرار می‌گیرند.

مقاله حاضر با عنوان “اسمال-بِنچ ان‌ال‌پی: بنچمارکی برای مدل‌های کوچک پردازش زبان طبیعی آموزش‌دیده با یک GPU” به بررسی و حل یک چالش مهم در حوزه NLP می‌پردازد: نیاز به یک بنچمارک استاندارد برای مدل‌های کوچک‌تر و کارآمدتر که با استفاده از یک GPU واحد آموزش داده می‌شوند. اهمیت این موضوع از آنجا ناشی می‌شود که بسیاری از محققان و توسعه‌دهندگان، به منابع محاسباتی گسترده برای آموزش مدل‌های بزرگ دسترسی ندارند.

در واقع، تمرکز صرف بر مدل‌های بسیار بزرگ، مانع از نوآوری و تحقیق در زمینه روش‌های جدید توکنایزیشن، وظایف پیش‌آموزشی، معماری‌های جدید و روش‌های بهینه‌سازی ظریف‌تر می‌شود. یک بنچمارک مناسب برای مدل‌های کوچک، این امکان را فراهم می‌کند تا محققان با محدودیت‌های منابع، بتوانند به آسانی ایده‌های خود را آزمایش کرده و به پیشرفت این حوزه کمک کنند.

این مقاله توسط کمال راج کاناکاراجان، بوهوانا کوندومانی و مالایکانان سانکاراسوبو نوشته شده است. نویسندگان این مقاله، متخصصین حوزه‌های یادگیری ماشین و پردازش زبان طبیعی هستند و تحقیقات آن‌ها بر توسعه مدل‌های کارآمد و بهینه برای NLP متمرکز است. این تحقیق در زمینه یادگیری ماشین و به‌طور خاص در زیرشاخه‌ی پردازش زبان طبیعی (Computation and Language) قرار می‌گیرد.

چکیده مقاله به این نکته اشاره می‌کند که با وجود پیشرفت‌های اخیر در NLP و ظهور مدل‌های پیش‌آموزشی بسیار قدرتمند، نیاز به یک بنچمارک برای مدل‌های کوچک و کارآمد که با یک GPU آموزش داده می‌شوند، احساس می‌شود. این مقاله، بنچمارک “اسمال-بِنچ ان‌ال‌پی” را معرفی می‌کند که شامل هشت وظیفه NLP از مجموعه داده‌های عمومی GLUE است و یک جدول رده‌بندی برای پیگیری پیشرفت جامعه ارائه می‌دهد. مدل کوچک ELECTRA-DeBERTa (با 15 میلیون پارامتر) که توسط نویسندگان توسعه داده شده است، به امتیاز متوسط 81.53 دست یافته است که با امتیاز 82.20 مدل BERT-Base (با 110 میلیون پارامتر) قابل مقایسه است. کدها، مدل‌ها و جدول رده‌بندی در گیت‌هاب در دسترس عموم قرار گرفته است.

به طور خلاصه، مقاله به این موضوع می‌پردازد که چگونه می‌توان با استفاده از معماری‌های هوشمندانه و بهینه‌سازی دقیق، مدل‌های NLP کوچک‌تری را آموزش داد که عملکردی قابل رقابت با مدل‌های بزرگ داشته باشند، در حالی که هزینه و زمان آموزش آن‌ها به مراتب کمتر است.

روش‌شناسی تحقیق در این مقاله، شامل چند مرحله کلیدی است:

• انتخاب مجموعه داده‌ها: نویسندگان مجموعه داده‌های GLUE (General Language Understanding Evaluation) را انتخاب کردند که شامل هشت وظیفه مختلف NLP است. این مجموعه داده‌ها به طور گسترده‌ای در تحقیقات NLP مورد استفاده قرار می‌گیرند و امکان مقایسه عادلانه بین مدل‌های مختلف را فراهم می‌کنند. مثال‌هایی از این وظایف شامل تشخیص معنای ضمنی، شباهت جملات و تشخیص هماهنگی دستوری است.
• توسعه مدل: نویسندگان یک مدل کوچک با نام ELECTRA-DeBERTa (با 15 میلیون پارامتر) را توسعه دادند. این مدل از ترکیب معماری ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately) و DeBERTa (Decoding-enhanced BERT with disentangled attention) استفاده می‌کند. معماری ELECTRA برای یادگیری کارآمدتر از طریق جایگزینی توکن‌ها طراحی شده است، در حالی که DeBERTa با استفاده از مکانیسم‌های توجه پیچیده‌تر، عملکرد بهتری ارائه می‌دهد.
• آموزش مدل: مدل ELECTRA-DeBERTa با استفاده از یک GPU واحد آموزش داده شد. نویسندگان به جزئیات مربوط به پارامترهای آموزش، مانند نرخ یادگیری و اندازه دسته‌ها، اشاره نکرده‌اند، اما می‌توان فرض کرد که آن‌ها از روش‌های بهینه‌سازی استاندارد برای آموزش مدل استفاده کرده‌اند.
• ارزیابی مدل: عملکرد مدل ELECTRA-DeBERTa بر روی مجموعه داده‌های GLUE ارزیابی شد. نویسندگان امتیازهای حاصل‌شده را با امتیازهای مدل‌های دیگر، به خصوص BERT-Base (با 110 میلیون پارامتر)، مقایسه کردند.
• ایجاد بنچمارک: نویسندگان بنچمارک “اسمال-بِنچ ان‌ال‌پی” را ایجاد کردند و کدها، مدل‌ها و جدول رده‌بندی را در گیت‌هاب منتشر کردند. این کار به سایر محققان امکان می‌دهد تا مدل‌های خود را با مدل ELECTRA-DeBERTa مقایسه کرده و به پیشرفت این حوزه کمک کنند.

یافته‌های کلیدی این تحقیق عبارتند از:

• عملکرد قابل رقابت مدل کوچک: مدل ELECTRA-DeBERTa (با 15 میلیون پارامتر) توانست به امتیاز متوسط 81.53 در مجموعه داده‌های GLUE دست یابد که با امتیاز 82.20 مدل BERT-Base (با 110 میلیون پارامتر) قابل مقایسه است. این نشان می‌دهد که می‌توان با استفاده از معماری‌های هوشمندانه و بهینه‌سازی دقیق، مدل‌های NLP کوچک‌تری را آموزش داد که عملکردی قابل رقابت با مدل‌های بزرگ داشته باشند.
• اهمیت بنچمارک: ایجاد بنچمارک “اسمال-بِنچ ان‌ال‌پی” به محققان امکان می‌دهد تا مدل‌های خود را به صورت عادلانه با یکدیگر مقایسه کنند و به پیشرفت این حوزه کمک کنند. این بنچمارک به خصوص برای محققانی که به منابع محاسباتی گسترده دسترسی ندارند، مفید است.
• دسترسی به منابع: انتشار کدها، مدل‌ها و جدول رده‌بندی در گیت‌هاب، امکان تکرارپذیری و گسترش این تحقیق را فراهم می‌کند. سایر محققان می‌توانند از این منابع برای توسعه مدل‌های خود استفاده کرده و به این بنچمارک کمک کنند.

به بیان دیگر، این پژوهش نشان می‌دهد که اندازه همیشه مهمترین عامل در عملکرد یک مدل نیست و با طراحی دقیق و بهینه‌سازی می‌توان به نتایج چشمگیری با منابع محدود دست یافت. این امر، درها را به روی تحقیقات بیشتر در زمینه الگوریتم‌های کارآمدتر و معماری‌های نوآورانه در NLP باز می‌کند.

کاربردها و دستاوردهای این تحقیق بسیار گسترده هستند:

• تسریع تحقیقات NLP: این بنچمارک، فرایند توسعه و ارزیابی مدل‌های NLP را برای محققانی که به منابع محاسباتی محدود دسترسی دارند، تسهیل می‌کند.
• توسعه مدل‌های کارآمدتر: این تحقیق نشان می‌دهد که می‌توان مدل‌های NLP کارآمدتری را توسعه داد که عملکردی قابل رقابت با مدل‌های بزرگ داشته باشند. این امر می‌تواند منجر به کاهش هزینه‌ها و افزایش سرعت در کاربردهای NLP شود.
• کاربردهای موبایل و Embedded: مدل‌های کوچک‌تر برای استفاده در دستگاه‌های موبایل و سیستم‌های Embedded مناسب‌تر هستند. این امر امکان اجرای برنامه‌های NLP پیشرفته را بر روی این دستگاه‌ها فراهم می‌کند. به عنوان مثال، یک دستیار صوتی هوشمند می‌تواند با استفاده از یک مدل NLP کوچک و کارآمد، دستورات کاربر را بدون نیاز به اتصال به اینترنت پردازش کند.
• افزایش دسترسی به NLP: با کاهش هزینه‌های آموزش و استقرار مدل‌های NLP، این فناوری در دسترس طیف وسیع‌تری از افراد و سازمان‌ها قرار می‌گیرد.

به طور کلی، این تحقیق گامی مهم در جهت دموکراتیزه کردن NLP و امکان استفاده گسترده‌تر از این فناوری در زمینه‌های مختلف است.

مقاله “اسمال-بِنچ ان‌ال‌پی” به طور موثر نشان می‌دهد که تمرکز صرف بر مدل‌های بزرگ و پرهزینه، تنها راه پیشرفت در حوزه NLP نیست. با ایجاد یک بنچمارک مناسب برای مدل‌های کوچک و کارآمد، نویسندگان این مقاله، راه را برای تحقیقات نوآورانه و توسعه مدل‌های بهینه‌تر هموار کرده‌اند. یافته‌های این تحقیق، اهمیت طراحی دقیق معماری و بهینه‌سازی مدل‌ها را نشان می‌دهد و امکان استفاده گسترده‌تر از NLP را در کاربردهای مختلف فراهم می‌کند.

در نهایت، ایجاد و به اشتراک‌گذاری بنچمارک “اسمال-بِنچ ان‌ال‌پی” به عنوان یک ابزار ارزشمند برای جامعه NLP، اقدامی قابل تقدیر است و می‌تواند به پیشرفت هرچه بیشتر این حوزه کمک کند. تشویق و توسعه‌ی چنین بنچمارک‌هایی برای حوزه‌های مختلف یادگیری ماشین، امکان مقایسه و ارزیابی عادلانه‌تر مدل‌ها را فراهم آورده و نوآوری را تسریع می‌کند.