ترجمه فارسی مقاله فراتر از هموارسازی بیش از حد: کشف چالش‌های آموزش‌پذیری در شبکه‌های عصبی گراف عمیق

چکیده

The drastic performance degradation of Graph Neural Networks (GNNs) as the depth of the graph propagation layers exceeds 8-10 is widely attributed to a phenomenon of Over-smoothing. Although recent research suggests that Over-smoothing may not be the dominant reason for such a performance degradation, they have not provided rigorous analysis from a theoretical view, which warrants further investigation. In this paper, we systematically analyze the real dominant problem in deep GNNs and identify the issues that these GNNs towards addressing Over-smoothing essentially work on via empirical experiments and theoretical gradient analysis. We theoretically prove that the difficult training problem of deep MLPs is actually the main challenge, and various existing methods that supposedly tackle Over-smoothing actually improve the trainability of MLPs, which is the main reason for their performance gains. Our further investigation into trainability issues reveals that properly constrained smaller upper bounds of gradient flow notably enhance the trainability of GNNs. Experimental results on diverse datasets demonstrate consistency between our theoretical findings and empirical evidence. Our analysis provides new insights in constructing deep graph models.

چکیده به فارسی (ترجمه ماشینی)

تخریب عملکرد شدید شبکه های عصبی نمودار (GNN) به عنوان عمق لایه های انتشار نمودار از 8-10 فراتر می رود ، به طور گسترده ای به پدیده ای از صاف کردن نسبت داده می شود.اگرچه تحقیقات اخیر حاکی از آن است که صاف کردن بیش از حد ممکن است دلیل اصلی چنین تخریب عملکرد نباشد ، اما آنها از یک دیدگاه نظری ، تجزیه و تحلیل دقیق ارائه نداده اند ، که این امر تحقیقات بیشتر را نشان می دهد.در این مقاله ، ما به طور سیستماتیک مسئله غالب واقعی را در GNN های عمیق مورد تجزیه و تحلیل قرار می دهیم و موضوعاتی را که این GNN ها در جهت پرداختن به بیش از حد صاف در اساساً بر روی آزمایش های تجربی و تجزیه و تحلیل شیب نظری کار می کنند ، شناسایی می کنیم.ما از لحاظ تئوریکی ثابت می کنیم که مشکل آموزش دشوار MLP های عمیق در واقع چالش اصلی است و روش های مختلف موجود که ظاهراً مقابله با صاف کردن بیش از حد را برطرف می کند ، در واقع قابلیت آموزش MLP ها را بهبود می بخشد ، که دلیل اصلی دستیابی به عملکرد آنها است.تحقیقات بیشتر ما در مورد مسائل مربوط به قابلیت آموزش نشان می دهد که مرزهای فوقانی کوچکتر از جریان شیب به طور مناسب به طور قابل توجهی قابلیت آموزش GNN ها را افزایش می دهد.نتایج تجربی در مجموعه داده های متنوع ، سازگاری بین یافته های نظری ما و شواهد تجربی را نشان می دهد.تجزیه و تحلیل ما بینش جدیدی در ساخت مدل های نمودار عمیق ارائه می دهد.