ترجمه فارسی مقاله رمزگذار خودکار گراف سطح گره: پیش آموزش یکپارچه برای یادگیری نمودار متنی

چکیده

Textual graphs are ubiquitous in real-world applications, featuring rich text information with complex relationships, which enables advanced research across various fields. Textual graph representation learning aims to generate low-dimensional feature embeddings from textual graphs that can improve the performance of downstream tasks. A high-quality feature embedding should effectively capture both the structural and the textual information in a textual graph. However, most textual graph dataset benchmarks rely on word2vec techniques to generate feature embeddings, which inherently limits their capabilities. Recent works on textual graph representation learning can be categorized into two folds: supervised and unsupervised methods. Supervised methods finetune a language model on labeled nodes, which have limited capabilities when labeled data is scarce. Unsupervised methods, on the other hand, extract feature embeddings by developing complex training pipelines. To address these limitations, we propose a novel unified unsupervised learning autoencoder framework, named Node Level Graph AutoEncoder (NodeGAE). We employ language models as the backbone of the autoencoder, with pretraining on text reconstruction. Additionally, we add an auxiliary loss term to make the feature embeddings aware of the local graph structure. Our method maintains simplicity in the training process and demonstrates generalizability across diverse textual graphs and downstream tasks. We evaluate our method on two core graph representation learning downstream tasks: node classification and link prediction. Comprehensive experiments demonstrate that our approach substantially enhances the performance of diverse graph neural networks (GNNs) across multiple textual graph datasets.

چکیده به فارسی (ترجمه ماشینی)

نمودارهای متنی در برنامه های دنیای واقعی بسیار گسترده است ، که شامل اطلاعات متن غنی با روابط پیچیده است ، که امکان تحقیقات پیشرفته را در زمینه های مختلف فراهم می کند.یادگیری نمودار متنی با هدف تولید تعبیه ویژگی های کم بعدی از نمودارهای متنی که می تواند عملکرد کارهای پایین دست را بهبود بخشد.یک ویژگی با کیفیت بالا باید به طور مؤثر اطلاعات ساختاری و متنی را در یک نمودار متنی ضبط کند.با این حال ، بیشتر معیارهای مجموعه داده های نمودار متنی برای تولید تعبیه های ویژگی ، به تکنیک های Word2VEC متکی هستند ، که ذاتاً قابلیت های آنها را محدود می کند.آثار اخیر در مورد یادگیری نمودار متنی را می توان به دو برابر طبقه بندی کرد: روش های نظارت شده و بدون نظارت.روشهای تحت نظارت یک مدل زبان در گره های دارای برچسب ، که در صورت برچسب زدن داده های محدودی از قابلیت های محدودی برخوردار هستند ، کمیاب هستند.از طرف دیگر روشهای بدون نظارت ، با توسعه خطوط لوله آموزشی پیچیده ، ویژگی های تعبیه شده را استخراج می کنند.برای پرداختن به این محدودیت ها ، ما یک چارچوب یادگیری AutoEncoder Undupped Unduped Unduciated AutoEncoder ، به نام Node Level Graph Autoencoder (Nodegae) را پیشنهاد می کنیم.ما از مدل های زبان به عنوان ستون فقرات AutoEncoder استفاده می کنیم ، با پیش بینی در بازسازی متن.علاوه بر این ، ما یک اصطلاح از دست دادن کمکی را اضافه می کنیم تا ویژگی تعبیه شده از ساختار نمودار محلی آگاه شود.روش ما سادگی را در فرایند آموزش حفظ می کند و تعمیم پذیری را در نمودارهای متنوع متنی و کارهای پایین دست نشان می دهد.ما روش خود را در دو بخش اصلی نمودار یادگیری یادگیری در پایین دست ارزیابی می کنیم: طبقه بندی گره و پیش بینی پیوند.آزمایش های جامع نشان می دهد که رویکرد ما به طور قابل توجهی عملکرد شبکه های عصبی گرافیکی متنوع (GNN) را در چندین مجموعه داده نمودار متنی افزایش می دهد.