در عصر کلان‌داده‌ها، پردازش زبان طبیعی (NLP) با چالش‌های محاسباتی عظیمی روبرو است. یکی از بنیادی‌ترین عملیات در این حوزه، مقایسه شباهت میان واحدهای متنی مانند کلمات، جملات یا اسناد است. این مقایسه‌ها معمولاً در قالب یک ماتریس شباهت نمایش داده می‌شوند. برای مجموعه‌ای شامل 𝑛 متن، ساخت کامل این ماتریس نیازمند محاسبه 𝑛² شباهت است. این پیچیدگی محاسباتی درجه دوم، (Ω(n²))، به سرعت به یک گلوگاه بزرگ تبدیل می‌شود، به ویژه زمانی که حجم داده‌ها به میلیون‌ها یا میلیاردها می‌رسد.

اهمیت این مشکل با ظهور مدل‌های زبانی پیشرفته مانند ترنسفورمرها دوچندان شده است. این مدل‌ها دقت بی‌سابقه‌ای در درک معنایی متون ارائه می‌دهند، اما محاسبه شباهت با استفاده از آن‌ها فرآیندی بسیار زمان‌بر و پرهزینه است. در نتیجه، ساخت ماتریس شباهت برای مجموعه داده‌های بزرگ با استفاده از این مدل‌ها عملاً غیرممکن می‌شود. مقاله “تقریب زمان زیرخطی ماتریس‌های شباهت متنی” به قلم آرچان ری و همکارانش، راهکاری نوآورانه و کارآمد برای این چالش ارائه می‌دهد. این پژوهش الگوریتمی را معرفی می‌کند که می‌تواند ماتریس‌های شباهت را در زمان زیرخطی (sublinear)، یعنی با هزینه‌ای بسیار کمتر از 𝑛²، با دقت بالا تقریب بزند. این دستاورد، راه را برای استفاده از الگوریتم‌های مبتنی بر شباهت در مقیاس‌های بسیار بزرگ هموار می‌سازد و تأثیر عمیقی بر آینده تحلیل متون خواهد داشت.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته در حوزه یادگیری ماشین و پردازش زبان طبیعی است: آرچان ری (Archan Ray)، نیکولاس مونات (Nicholas Monath)، اندرو مک‌کالوم (Andrew McCallum) و کمرون موسکو (Cameron Musco). این محققان، که عمدتاً با دانشگاه ماساچوست امهرست (University of Massachusetts Amherst) در ارتباط هستند، سوابق درخشانی در زمینه توسعه الگوریتم‌های مقیاس‌پذیر برای یادگیری ماشین دارند.

این پژوهش در تقاطع سه حوزه کلیدی علم کامپیوتر قرار می‌گیرد:

• یادگیری ماشین (Machine Learning): مقاله از تکنیک‌های پیشرفته تقریب ماتریس با رتبه پایین، مانند روش نیستروم (Nyström) و تجزیه CUR، بهره می‌برد.
• پردازش زبان طبیعی (Computation and Language): هدف اصلی، حل یک مشکل عملی و رایج در کاربردهای NLP مانند طبقه‌بندی اسناد، یافتن جملات مشابه و هم‌ارجاعی است.
• الگوریتم‌های مقیاس‌پذیر (Scalable Algorithms): نوآوری اصلی مقاله در ارائه الگوریتمی است که پیچیدگی محاسباتی را به طور چشمگیری کاهش داده و امکان تحلیل داده‌های عظیم را فراهم می‌کند.

مقاله به بررسی الگوریتم‌هایی برای تقریب ماتریس‌های شباهت جفتی در حوزه پردازش زبان طبیعی می‌پردازد. چالش اصلی این است که محاسبه دقیق ماتریس شباهت برای 𝑛 داده، هزینه‌ای از مرتبه 𝑛² دارد که برای داده‌های بزرگ بسیار سنگین است. روش‌های تقریبی با انتخاب زیرمجموعه کوچکی از شباهت‌های دقیق و تخمین بقیه ماتریس بر اساس آن‌ها، این هزینه را کاهش می‌دهند.

بسیاری از تحقیقات پیشین بر روی تقریب ماتریس‌های معین نیمه‌مثبت (Positive Semidefinite – PSD) متمرکز بوده‌اند که در روش‌های کرنل کاربرد فراوانی دارند. با این حال، در NLP، بسیاری از معیارهای شباهت مدرن (مانند آن‌هایی که از مدل‌های ترنسفورمر استخراج می‌شوند) لزوماً ماتریس‌های PSD تولید نمی‌کنند و به آن‌ها ماتریس‌های نامعین (Indefinite) گفته می‌شود. پژوهش‌های کمتری به تقریب کارآمد این نوع ماتریس‌ها پرداخته‌اند.

نویسندگان با مشاهده اینکه بسیاری از این ماتریس‌های نامعین در عمل “نزدیک” به PSD هستند، یک تعمیم هوشمندانه از روش محبوب نیستروم برای ماتریس‌های نامعین ارائه می‌دهند. الگوریتم پیشنهادی آن‌ها می‌تواند برای هر نوع ماتریس شباهتی به کار رود و با انجام تنها O(ns) محاسبه شباهت (که s رتبه تقریب و بسیار کوچکتر از n است)، یک تقریب با رتبه s از ماتریس کامل تولید می‌کند. این الگوریتم به همراه یک نسخه ساده از تجزیه CUR، در تقریب انواع ماتریس‌های شباهت NLP عملکرد فوق‌العاده‌ای از خود نشان می‌دهد و دقت بالایی را در کارهای پایین‌دستی مانند طبقه‌بندی اسناد، تشابه جملات و هم‌ارجاعی بین اسناد حفظ می‌کند.

برای درک عمیق‌تر نوآوری مقاله، ابتدا باید با مفاهیم کلیدی آشنا شویم. ماتریس شباهت 𝐾 یک ماتریس 𝑛×𝑛 است که در آن درایه 𝐾_ij میزان شباهت بین آیتم 𝑖 و 𝑗 را نشان می‌دهد.

• ماتریس‌های PSD: این ماتریس‌ها دارای ویژگی‌های ریاضی مطلوبی هستند، از جمله اینکه تمام مقادیر ویژه آن‌ها نامنفی است. روش کلاسیک نیستروم (Nyström) برای تقریب این نوع ماتریس‌ها طراحی شده است. این روش با انتخاب تصادفی 𝑠 ستون از ماتریس و محاسبه ماتریس کوچک 𝑠×𝑠 حاصل از تقاطع این سطرها و ستون‌ها، کل ماتریس را با هزینه بسیار کم تقریب می‌زند.
• ماتریس‌های نامعین: این ماتریس‌ها مقادیر ویژه مثبت و منفی دارند و ساختار پیچیده‌تری را نمایش می‌دهند. روش‌های استاندارد مانند نیستروم کلاسیک برای آن‌ها مناسب نیستند.

نوآوری اصلی: تعمیم روش نیستروم برای ماتریس‌های نامعین

محققان دریافتند که بسیاری از ماتریس‌های نامعین در NLP، اگرچه کاملاً PSD نیستند، اما مقادیر ویژه منفی آن‌ها معمولاً کوچک است. با الهام از این مشاهده، آن‌ها روش نیستروم را به شکل زیر تعمیم دادند:

1. مانند روش کلاسیک، 𝑠 ستون از ماتریس شباهت به صورت تصادفی انتخاب و محاسبه می‌شود.
2. ماتریس کوچک 𝑊 به ابعاد 𝑠×𝑠 که در محل تقاطع این سطرها و ستون‌ها قرار دارد، ساخته می‌شود.
3. به جای استفاده مستقیم از 𝑊، یک تجزیه مقادیر ویژه (Eigendecomposition) روی آن انجام می‌شود. این کار مقادیر ویژه (هم مثبت و هم منفی) و بردارهای ویژه آن را استخراج می‌کند.
4. تقریب نهایی ماتریس کامل با استفاده از این مقادیر و بردارهای ویژه بازسازی می‌شود. این رویکرد به الگوریتم اجازه می‌دهد تا ساختار ماتریس‌های نامعین را به درستی مدل کند و تقریب دقیق‌تری ارائه دهد.

علاوه بر این، مقاله یک نسخه ساده‌شده از تجزیه CUR را نیز به عنوان یک روش پایه قدرتمند مورد ارزیابی قرار می‌دهد که ماتریس را بر اساس نمونه‌ای از سطرها و ستون‌هایش تقریب می‌زند. این رویکردها به طور مستقیم به کاهش هزینه محاسباتی از 𝑛² به O(ns) منجر می‌شوند.

ارزیابی تجربی الگوریتم‌ها بر روی مجموعه داده‌ها و وظایف واقعی NLP، موفقیت چشمگیر این رویکرد را به اثبات رساند. یافته‌های اصلی به شرح زیر است:

• دقت بالای تقریب: الگوریتم نیستروم تعمیم‌یافته توانست ماتریس‌های شباهت واقعی را با خطای بسیار پایینی تقریب بزند. این خطا به طور قابل توجهی کمتر از روش‌های پایه بود و نشان داد که این روش ساختار اصلی داده‌ها را به خوبی حفظ می‌کند.
• حفظ عملکرد در کارهای پایین‌دستی (Downstream Tasks): مهم‌ترین آزمون برای یک روش تقریبی، عملکرد آن در کاربردهای نهایی است. نتایج نشان داد که استفاده از ماتریس‌های تقریبی به جای ماتریس‌های کامل، تأثیر منفی بسیار ناچیزی بر دقت نهایی دارد.
  • طبقه‌بندی اسناد: با استفاده از الگوریتم k-نزدیکترین همسایه (k-NN) روی ماتریس شباهت تقریبی، دقت طبقه‌بندی تقریباً با زمانی که از ماتریس کامل استفاده می‌شد، برابر بود.
  • تشابه معنایی جملات: در وظایف استاندارد تشابه متنی، ماتریس‌های تقریبی توانستند به خوبی رتبه‌بندی شباهت بین جفت جملات را حفظ کنند.
  • هم‌ارجاعی بین اسناد: این وظیفه پیچیده که به تشخیص موجودیت‌های یکسان در اسناد مختلف می‌پردازد، به شدت به ماتریس شباهت دقیق وابسته است. الگوریتم‌های پیشنهادی در این وظیفه نیز عملکرد خود را با موفقیت حفظ کردند.
• افزایش چشمگیر سرعت: همانطور که انتظار می‌رفت، زمان مورد نیاز برای ساخت ماتریس شباهت به شدت کاهش یافت. فرآیندهایی که با محاسبه کامل ساعت‌ها یا حتی روزها به طول می‌انجامید، با استفاده از روش‌های تقریبی در عرض چند دقیقه انجام‌پذیر شد.

این پژوهش پیامدهای عملی گسترده‌ای برای جامعه NLP و یادگیری ماشین دارد:

• مقیاس‌پذیری الگوریتم‌های NLP: این روش‌ها به محققان و مهندسان اجازه می‌دهند تا الگوریتم‌های مبتنی بر شباهت مانند خوشه‌بندی، k-NN، و سیستم‌های توصیه‌گر را بر روی مجموعه داده‌های متنی با مقیاس بی‌سابقه اجرا کنند.
• دموکراتیزه کردن مدل‌های بزرگ: با کاهش هزینه محاسباتی، استفاده از مدل‌های زبانی پیچیده و قدرتمند (مانند BERT و GPT) برای محاسبه شباهت، برای گروه‌های تحقیقاتی و شرکت‌های کوچکتر با منابع محدود نیز امکان‌پذیر می‌شود.
• صرفه‌جویی در منابع: کاهش زمان محاسبات به معنای صرفه‌جویی مستقیم در هزینه‌های سخت‌افزاری (کاهش نیاز به GPU/CPU) و همچنین کاهش اثرات زیست‌محیطی ناشی از مصرف انرژی است.
• دستاورد نظری: مقاله یک چارچوب نظری محکم برای تعمیم روش نیستروم به ماتریس‌های نامعین ارائه می‌دهد که می‌تواند در حوزه‌های دیگر یادگیری ماشین نیز الهام‌بخش باشد.

مقاله “تقریب زمان زیرخطی ماتریس‌های شباهت متنی” یک راه‌حل زیبا و کارآمد برای یکی از مهم‌ترین چالش‌های محاسباتی در پردازش زبان طبیعی مدرن ارائه می‌دهد. با تعمیم هوشمندانه روش نیستروم برای ماتریس‌های نامعین که در NLP بسیار رایج هستند، نویسندگان موفق به توسعه الگوریتمی شده‌اند که هم از نظر تئوری مستحکم و هم در عمل بسیار مؤثر است.

این پژوهش به وضوح نشان می‌دهد که می‌توان با فدا کردن مقدار ناچیزی از دقت، به سرعت محاسباتی فوق‌العاده‌ای دست یافت و بدین ترتیب، مرزهای تحلیل متن در مقیاس بزرگ را جابجا کرد. این دستاورد نه تنها ابزارهای قدرتمندتری را در اختیار فعالان این حوزه قرار می‌دهد، بلکه درهای جدیدی را به روی تحقیقات و کاربردهای نوآورانه در آینده می‌گشاید.