ترجمه فارسی مقاله نهفتگی‌های بوت‌استرپ گره‌ها و همسایه‌ها برای یادگیری خودنظارتی گراف

چکیده

Contrastive learning is a significant paradigm in graph self-supervised learning. However, it requires negative samples to prevent model collapse and learn discriminative representations. These negative samples inevitably lead to heavy computation, memory overhead and class collision, compromising the representation learning. Recent studies present that methods obviating negative samples can attain competitive performance and scalability enhancements, exemplified by bootstrapped graph latents (BGRL). However, BGRL neglects the inherent graph homophily, which provides valuable insights into underlying positive pairs. Our motivation arises from the observation that subtly introducing a few ground-truth positive pairs significantly improves BGRL. Although we can’t obtain ground-truth positive pairs without labels under the self-supervised setting, edges in the graph can reflect noisy positive pairs, i.e., neighboring nodes often share the same label. Therefore, we propose to expand the positive pair set with node-neighbor pairs. Subsequently, we introduce a cross-attention module to predict the supportiveness score of a neighbor with respect to the anchor node. This score quantifies the positive support from each neighboring node, and is encoded into the training objective. Consequently, our method mitigates class collision from negative and noisy positive samples, concurrently enhancing intra-class compactness. Extensive experiments are conducted on five benchmark datasets and three downstream task node classification, node clustering, and node similarity search. The results demonstrate that our method generates node representations with enhanced intra-class compactness and achieves state-of-the-art performance.

چکیده به فارسی (ترجمه ماشینی)

یادگیری متضاد یک الگوی مهم در یادگیری خودكاری نمودار است.با این حال ، برای جلوگیری از فروپاشی مدل و یادگیری بازنمایی های تبعیض آمیز ، به نمونه های منفی نیاز دارد.این نمونه های منفی به ناچار منجر به محاسبات سنگین ، سرپرستی حافظه و برخورد کلاس می شوند و یادگیری بازنمایی را به خطر می اندازند.مطالعات اخیر حاکی از آن است که روشهای جلوگیری از نمونه های منفی می توانند عملکرد رقابتی و پیشرفت های مقیاس پذیری را بدست آورند ، که توسط Latents Graph Bootstrapped (BGRL) نمونه برداری شده است.با این حال ، BGRL از نمودار ذاتی هموفیلی غفلت می کند ، که بینش ارزشمندی در مورد جفت های مثبت اساسی ارائه می دهد.انگیزه ما از این مشاهده ناشی می شود که به طور ظریف معرفی چند جفت مثبت با حقیقت زمین به طور قابل توجهی BGRL را بهبود می بخشد.اگرچه ما نمی توانیم جفت های مثبت و حقیقت را بدون برچسب تحت تنظیم خود خودآزموده بدست آوریم ، لبه های موجود در نمودار می توانند جفت مثبت پر سر و صدا را منعکس کنند ، یعنی گره های همسایه اغلب همان برچسب را دارند.بنابراین ، ما پیشنهاد می کنیم مجموعه جفت مثبت را با جفت گره های همسایه گسترش دهیم.پس از آن ، ما یک ماژول توجه متقابل را معرفی می کنیم تا نمره پشتیبانی یک همسایه را با توجه به گره لنگر پیش بینی کنیم.این نمره پشتیبانی مثبت از هر گره همسایه را تعیین می کند و در هدف آموزش رمزگذاری می شود.در نتیجه ، روش ما برخورد کلاس را از نمونه های مثبت منفی و پر سر و صدا کاهش می دهد و همزمان باعث افزایش فشردگی داخل کلاس می شود.آزمایش های گسترده در پنج مجموعه داده معیار و سه طبقه بندی گره کار پایین دست ، خوشه بندی گره و جستجوی شباهت گره انجام می شود.نتایج نشان می دهد که روش ما بازنمودهای گره را با فشرده سازی درون کلاس افزایش می دهد و به عملکرد پیشرفته می رسد.