در دنیای پردازش زبان طبیعی (NLP)، تبدیل متن به بازنمایی‌های عددی که برای ماشین‌ها قابل فهم باشد، یک گام بنیادین و حیاتی است. این بازنمایی‌ها، که به آن‌ها «جاسازی» (Embeddings) نیز گفته می‌شود، اساس بسیاری از وظایف مهم مانند طبقه‌بندی متن، خلاصه‌سازی خودکار، ترجمه ماشینی و تحلیل احساسات را تشکیل می‌دهند. مدل‌های سنتی مانند Bag-of-Words یا TF-IDF، با وجود سادگی، قادر به درک روابط پیچیده و وابستگی‌های معنایی بین کلمات و اسناد نیستند. در سال‌های اخیر، استفاده از ساختارهای گرافی برای مدل‌سازی متن به دلیل توانایی بی‌نظیرشان در به تصویر کشیدن این روابط، توجه زیادی را به خود جلب کرده است.

مقاله «بهبود بازنمایی‌های متنی مبتنی بر گراف با N-گرم‌های سطح کاراکتر و کلمه» که توسط ونژه لی و نیکولاس آلتراس ارائه شده است، دقیقاً به همین حوزه می‌پردازد. اهمیت این مقاله در ارائه یک رویکرد نوآورانه برای ساخت گراف‌های متنی است که محدودیت‌های مدل‌های پیشین را برطرف می‌کند. این پژوهش نشان می‌دهد که با ترکیب اطلاعات از سطوح مختلف زبان‌شناختی (سند، کلمه و کاراکتر) در یک ساختار گراف یکپارچه، می‌توان به بازنمایی‌های متنی بسیار غنی‌تر و کارآمدتری دست یافت. این دستاورد نه تنها عملکرد مدل‌ها را در وظایf موجود بهبود می‌بخشد، بلکه راه را برای حل چالش‌های پیچیده‌تر در حوزه NLP هموار می‌سازد.

این مقاله حاصل همکاری ونژه لی (Wenzhe Li) و نیکولاس آلتراس (Nikolaos Aletras)، دو پژوهشگر برجسته از دانشگاه شفیلد در انگلستان است. دانشگاه شفیلد یکی از مراکز پیشرو در تحقیقات پردازش زبان طبیعی در جهان به شمار می‌رود و کارهای ارزشمندی در این حوزه ارائه کرده است. دکتر آلتراس به ویژه در زمینه یادگیری بازنمایی (Representation Learning) برای متن و کاربرد شبکه‌های عصبی گرافی (GNNs) در NLP شناخته شده است. این مقاله در ادامه مسیر تحقیقاتی آن‌ها برای توسعه مدل‌های قدرتمندتر و دقیق‌تر برای درک زبان انسانی قرار دارد و بر پایه دانش عمیق آن‌ها از یادگیری ماشین و زبان‌شناسی محاسباتی بنا شده است.

هدف اصلی این مقاله، ارائه یک روش جدید برای بازنمایی متن مبتنی بر گراف است. نویسندگان استدلال می‌کنند که مدل‌های موجود اغلب یا فقط روی روابط بین کلمات تمرکز می‌کنند یا روابط بین اسناد، و از اطلاعات ارزشمند سطح زیرکلمه (sub-word) مانند ساختار مورفولوژیکی کلمات غافل می‌مانند. برای غلبه بر این محدودیت، آن‌ها یک ساختار جدید به نام گراف متنی ناهمگون کلمه-کاراکتر (Heterogeneous Word-Character Text Graph) را پیشنهاد می‌کنند.

این گراف نوآورانه، سه نوع موجودیت را به عنوان گره (Node) در خود جای می‌دهد: گره‌های سند، گره‌های N-گرم کلمه‌ای و گره‌های N-گرم کاراکتری. یال‌ها (Edges) نیز روابط بین این گره‌ها را مشخص می‌کنند. علاوه بر این ساختار گراف جدید، مقاله دو مدل شبکه عصبی گرافی جدید به نام‌های WCTextGCN و WCTextGAT را معرفی می‌کند که به طور خاص برای یادگیری از این گراف ناهمگون طراحی شده‌اند. نتایج آزمایش‌های گسترده بر روی وظایف طبقه‌بندی متن و خلاصه‌سازی خودکار نشان می‌دهد که مدل‌های پیشنهادی به طور مداوم از مدل‌های پایه و حتی مدل‌های پیشرفته مبتنی بر گراف پیشی می‌گیرند و کارایی برتر خود را اثبات می‌کنند.

روش‌شناسی این تحقیق بر دو ستون اصلی استوار است: ساختار گراف جدید و مدل‌های عصبی متناسب با آن. در ادامه، هر یک از این موارد به تفصیل شرح داده می‌شوند.

۱. گراف متنی ناهمگون کلمه-کاراکتر (WC-Text Graph)

بر خلاف گراف‌های متنی سنتی که معمولاً فقط از کلمات و اسناد به عنوان گره استفاده می‌کنند، این مدل یک گراف ناهمگون (Heterogeneous) می‌سازد که شامل سه نوع گره است:

• گره‌های سند (Document Nodes): هر سند در مجموعه داده (Corpus) به عنوان یک گره مجزا در نظر گرفته می‌شود. این گره‌ها به عنوان نماینده کل محتوای یک متن عمل می‌کنند.
• گره‌های N-گرم کلمه‌ای (Word N-gram Nodes): کلمات یا توالی‌های کوتاه کلمات (مانند bi-grams) که در اسناد ظاهر می‌شوند، به عنوان گره در گراف قرار می‌گیرند. این گره‌ها اطلاعات معنایی و بافتی را در سطح کلمه ثبت می‌کنند.
• گره‌های N-گرم کاراکتری (Character N-gram Nodes): کلمات به توالی‌های کوتاهی از کاراکترها (مثلاً tri-grams) شکسته می‌شوند و این توالی‌ها به عنوان گره در گراف مدل‌سازی می‌شوند. برای مثال، کلمه «کتاب» می‌تواند به N-گرم‌های کاراکتری «کتا» و «تاب» تجزیه شود. این گره‌ها اطلاعات ساختاری و مورفولوژیکی کلمات را در اختیار مدل قرار می‌دهند.

ارتباط بین این گره‌ها (یال‌ها) نیز به دقت تعریف شده است:

• یال بین گره سند و گره کلمه: اگر کلمه‌ای در یک سند وجود داشته باشد. وزن این یال می‌تواند بر اساس معیارهایی مانند TF-IDF محاسبه شود تا اهمیت کلمه در سند را نشان دهد.
• یال بین گره کلمه و گره N-گرم کاراکتری: اگر یک N-گرم کاراکتری بخشی از یک کلمه باشد. این یال‌ها به مدل اجازه می‌دهند تا ارتباط بین کلمات مشابه از نظر ساختاری (مانند «دانش» و «دانشمند») را درک کند.

این ساختار چندلایه، به مدل اجازه می‌دهد تا همزمان از اطلاعات معنایی (از طریق کلمات) و اطلاعات ساختاری (از طریق کاراکترها) بهره‌برداری کند، که این امر به ویژه برای مدیریت کلمات خارج از واژگان (OOV) و درک بهتر ساختار کلمات جدید یا نادر بسیار مؤثر است.

۲. مدل‌های عصبی WCTextGCN و WCTextGAT

پس از ساخت گراف، به مدلی نیاز است تا بتواند از این ساختار پیچیده یاد بگیرد. نویسندگان دو مدل مبتنی بر شبکه‌های عصبی گرافی را پیشنهاد می‌کنند:

• WCTextGCN (Word-Character Text Graph Convolutional Network): این مدل از شبکه‌های کانولوشنی گرافی (GCN) برای انتشار اطلاعات در سراسر گراف استفاده می‌کند. در هر لایه از GCN، هر گره اطلاعات همسایگان خود را جمع‌آوری کرده و بازنمایی خود را به‌روز می‌کند. این فرآیند باعث می‌شود که بازنمایی نهایی هر گره، تحت تأثیر ساختار کلی گراف و همسایگی‌های دور و نزدیک آن قرار گیرد.
• WCTextGAT (Word-Character Text Graph Attention Network): این مدل نسخه‌ای پیشرفته‌تر است که از مکانیزم توجه (Attention) بهره می‌برد. در شبکه‌های توجه گرافی (GAT)، مدل به صورت پویا یاد می‌گیرد که به کدام یک از همسایگان یک گره باید اهمیت بیشتری بدهد. این قابلیت به مدل اجازه می‌دهد تا به صورت هوشمندانه بر روی روابط مهم‌تر در گراف تمرکز کرده و از اطلاعات نامرتبط صرف‌نظر کند، که معمولاً منجر به عملکرد بهتری می‌شود.

این دو مدل با پردازش گراف ناهمگون پیشنهادی، بازنمایی‌های غنی و دقیقی برای اسناد تولید می‌کنند که سپس می‌توان از آن‌ها برای وظایف نهایی مانند طبقه‌بندی یا خلاصه‌سازی استفاده کرد.

نویسندگان برای ارزیابی کارایی رویکرد خود، آزمایش‌های جامعی را بر روی چندین مجموعه داده استاندارد در دو وظیفه اصلی NLP انجام دادند:

1. طبقه‌بندی متن (Text Classification): در این وظیفه، هدف تخصیص یک برچسب از پیش تعریف‌شده (مانند موضوع خبر یا احساسات متن) به یک سند است. مدل‌های WCTextGCN و WCTextGAT با مدل‌های قدرتمندی مانند CNN، LSTM و مدل‌های مبتنی بر ترنسفورمر (Transformer) مانند BERT و همچنین سایر روش‌های مبتنی بر گراف مقایسه شدند.
2. خلاصه‌سازی خودکار متن (Automatic Text Summarization): در این وظیفه، هدف تولید یک خلاصه کوتاه و معنادار از یک سند طولانی است.

نتایج به دست آمده به وضوح برتری روش پیشنهادی را نشان داد:

• عملکرد برتر: در تمام مجموعه داده‌های مورد آزمایش، هر دو مدل WCTextGCN و WCTextGAT به طور مداوم از مدل‌های پایه و حتی مدل‌های پیشرفته مبتنی بر گراف بهتر عمل کردند. این نتایج نشان‌دهنده قدرت ساختار گراف ناهمگون در ثبت اطلاعات مفید متنی است.
• اهمیت اطلاعات کاراکتری: آزمایش‌های Ablation Study (که در آن بخش‌هایی از مدل حذف می‌شود تا تأثیر آن بررسی شود) نشان داد که افزودن گره‌های N-گرم کاراکتری نقش بسزایی در بهبود عملکرد داشته است. این موضوع تأیید می‌کند که ترکیب اطلاعات سطح کلمه و زیرکلمه یک استراتژی مؤثر است.
• مدیریت کلمات نادر و OOV: مدل‌های پیشنهادی در مواجهه با متونی که حاوی کلمات نادر یا خارج از واژگان (Out-of-Vocabulary) هستند، عملکرد بسیار قوی‌تری از خود نشان دادند. این به لطف گره‌های کاراکتری است که به مدل اجازه می‌دهند معنای یک کلمه جدید را بر اساس اجزای سازنده‌اش حدس بزنند.

این پژوهش دستاوردهای نظری و عملی مهمی را به همراه دارد. رویکرد ارائه شده می‌تواند در طیف گسترده‌ای از کاربردهای پردازش زبان طبیعی مورد استفاده قرار گیرد:

• طبقه‌بندی دقیق‌تر اسناد: برای کاربردهایی مانند فیلتر کردن ایمیل‌های اسپم، تحلیل احساسات نظرات کاربران، دسته‌بندی مقالات خبری و تشخیص اخبار جعلی، مدل‌های دقیق‌تر به معنای تصمیم‌گیری‌های بهتر و خدمات هوشمندتر است.
• خلاصه‌سازی هوشمندانه‌تر: توانایی تولید خلاصه‌های باکیفیت برای اسناد طولانی، مقالات علمی یا گزارش‌های مالی، به کاربران در صرفه‌جویی زمان و درک سریع مطالب کمک شایانی می‌کند.
• بهبود سیستم‌های پرسش و پاسخ: با درک عمیق‌تر از روابط معنایی و ساختاری در متن، این مدل‌ها می‌توانند به ساخت سیستم‌های پرسش و پاسخ دقیق‌تر کمک کنند.
• افزایش مقاومت در برابر نویز: به دلیل استفاده از اطلاعات سطح کاراکتر، این رویکرد در برابر خطاهای تایپی یا تغییرات جزئی در کلمات مقاومت بیشتری دارد که در پردازش متون تولید شده توسط کاربران (مانند شبکه‌های اجتماعی) بسیار ارزشمند است.

مهم‌ترین دستاورد این مقاله، ارائه یک پارادایم جدید برای ساخت گراف‌های متنی است که از حالت صرفاً مبتنی بر کلمه فراتر رفته و یک دیدگاه چندوجهی و سلسله‌مراتبی از زبان را مدل می‌کند.

مقاله «بهبود بازنمایی‌های متنی مبتنی بر گراف با N-گرم‌های سطح کاراکتر و کلمه» یک گام مهم رو به جلو در زمینه یادگیری بازنمایی متن است. با معرفی گراف متنی ناهمگون کلمه-کاراکتر و مدل‌های عصبی WCTextGCN و WCTextGAT، نویسندگان راهکاری قدرتمند برای بهره‌برداری همزمان از اطلاعات معنایی، ساختاری و مورفولوژیکی موجود در متن ارائه می‌دهند. نتایج تجربی قوی نشان می‌دهد که این رویکرد نه تنها از نظر تئوری جذاب است، بلکه در عمل نیز به بهبود قابل توجهی در عملکرد وظایف کلیدی NLP منجر می‌شود.

این تحقیق بار دیگر اهمیت ساختارهای گرافی را به عنوان ابزاری انعطاف‌پذیر و قدرتمند برای مدل‌سازی داده‌های پیچیده و رابطه‌مند مانند زبان طبیعی به اثبات می‌رساند و مسیرهای جدیدی را برای پژوهش‌های آینده در جهت ساخت مدل‌های زبانی هوشمندتر و کارآمدتر باز می‌کند.