ترجمه فارسی مقاله DIVE: عدم توافق زیرگراف برای تعمیم خارج از توزیع گراف

چکیده

This paper addresses the challenge of out-of-distribution (OOD) generalization in graph machine learning, a field rapidly advancing yet grappling with the discrepancy between source and target data distributions. Traditional graph learning algorithms, based on the assumption of uniform distribution between training and test data, falter in real-world scenarios where this assumption fails, resulting in suboptimal performance. A principal factor contributing to this suboptimal performance is the inherent simplicity bias of neural networks trained through Stochastic Gradient Descent (SGD), which prefer simpler features over more complex yet equally or more predictive ones. This bias leads to a reliance on spurious correlations, adversely affecting OOD performance in various tasks such as image recognition, natural language understanding, and graph classification. Current methodologies, including subgraph-mixup and information bottleneck approaches, have achieved partial success but struggle to overcome simplicity bias, often reinforcing spurious correlations. To tackle this, we propose DIVE, training a collection of models to focus on all label-predictive subgraphs by encouraging the models to foster divergence on the subgraph mask, which circumvents the limitation of a model solely focusing on the subgraph corresponding to simple structural patterns. Specifically, we employs a regularizer to punish overlap in extracted subgraphs across models, thereby encouraging different models to concentrate on distinct structural patterns. Model selection for robust OOD performance is achieved through validation accuracy. Tested across four datasets from GOOD benchmark and one dataset from DrugOOD benchmark, our approach demonstrates significant improvement over existing methods, effectively addressing the simplicity bias and enhancing generalization in graph machine learning.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله به چالش تعمیم خارج از توزیع (OOD) در یادگیری ماشین نمودار می پردازد ، زمینه ای که به سرعت در حال پیشرفت است اما با اختلاف بین توزیع داده های منبع و هدف در حال پیشرفت است.الگوریتم های یادگیری نمودار سنتی ، بر اساس فرض توزیع یکنواخت بین داده های آموزش و آزمون ، در سناریوهای دنیای واقعی که در آن این فرض شکست می خورد ، متلاشی می شود و منجر به عملکرد زیر حد می شود.یک عامل اصلی که به این عملکرد زیر حد متوسط ​​کمک می کند ، تعصب ذاتی شبکه های عصبی است که از طریق تبار شیب تصادفی (SGD) آموزش داده می شود ، که ویژگی های ساده تر را نسبت به موارد پیچیده تر و در عین حال پیش بینی کننده تر ترجیح می دهند.این تعصب منجر به اتکا به همبستگی های فریبنده ، تأثیر منفی بر عملکرد OOD در کارهای مختلف مانند تشخیص تصویر ، درک زبان طبیعی و طبقه بندی نمودار می شود.روشهای فعلی ، از جمله رویکردهای زیر گرافیکی و رویکردهای تنگنا اطلاعات ، به موفقیت جزئی دست یافته اند اما برای غلبه بر تعصب سادگی تلاش می کنند ، و اغلب باعث تقویت همبستگی های فریبنده می شوند.برای مقابله با این امر ، ما پیشنهاد می کنیم که مجموعه ای از مدل ها را برای تمرکز بر روی همه زیرگراف های پیش بینی برچسب با تشویق مدل ها برای تقویت واگرایی در ماسک زیرگراف ، که محدودیت یک مدل را صرفاً روی زیرگراف مربوط به الگوهای ساختاری ساده متمرکز می کند ، تمرکز کنیم.بشربه طور خاص ، ما از یک تنظیم کننده برای مجازات همپوشانی در زیرگرافهای استخراج شده در مدلها استفاده می کنیم ، در نتیجه مدل های مختلف را ترغیب می کنیم تا روی الگوهای ساختاری مجزا متمرکز شوند.انتخاب مدل برای عملکرد قوی OOD از طریق دقت اعتبار سنجی حاصل می شود.رویکرد ما در چهار مجموعه داده از معیار خوب و یک مجموعه داده از معیار Drugood آزمایش شده است ، رویکرد ما پیشرفت قابل توجهی نسبت به روشهای موجود نشان می دهد ، به طور موثری به تعصب سادگی و افزایش تعمیم در یادگیری ماشین نمودار می پردازد.