ترجمه فارسی مقاله CDFGNN: طراحی سیستماتیک آموزش شبکه عصبی گراف توزیع‌شده کامل مبتنی بر حافظه پنهان با کاهش ارتباط

چکیده

Graph neural network training is mainly categorized into mini-batch and full-batch training methods. The mini-batch training method samples subgraphs from the original graph in each iteration. This sampling operation introduces extra computation overhead and reduces the training accuracy. Meanwhile, the full-batch training method calculates the features and corresponding gradients of all vertices in each iteration, and therefore has higher convergence accuracy. However, in the distributed cluster, frequent remote accesses of vertex features and gradients lead to huge communication overhead, thus restricting the overall training efficiency. In this paper, we introduce the cached-based distributed full-batch graph neural network training framework (CDFGNN). We propose the adaptive cache mechanism to reduce the remote vertex access by caching the historical features and gradients of neighbor vertices. Besides, we further optimize the communication overhead by quantifying the messages and designing the graph partition algorithm for the hierarchical communication architecture. Experiments show that the adaptive cache mechanism reduces remote vertex accesses by 63.14% on average. Combined with communication quantization and hierarchical GP algorithm, CDFGNN outperforms the state-of-the-art distributed full-batch training frameworks by 30.39% in our experiments. Our results indicate that CDFGNN has great potential in accelerating distributed full-batch GNN training tasks.

چکیده به فارسی (ترجمه ماشینی)

آموزش شبکه عصبی نمودار عمدتاً به روشهای آموزش مینی دسته ای و تمام دسته طبقه بندی می شود.روش آموزش مینی دسته ای از زیرگرافها از نمودار اصلی در هر تکرار نمونه می گیرد.این عملیات نمونه برداری سربار محاسبات اضافی را معرفی می کند و دقت آموزش را کاهش می دهد.در همین حال ، روش آموزش کامل دسته ای ویژگی ها و شیب های مربوطه از تمام راس ها را در هر تکرار محاسبه می کند ، و بنابراین از دقت همگرایی بالاتری برخوردار است.با این حال ، در خوشه توزیع شده ، دسترسی مکرر از راه دور از ویژگی های راس و شیب منجر به ارتباطی عظیم سربار می شود ، بنابراین باعث محدود کردن کارآیی کلی آموزش می شود.در این مقاله ، ما چارچوب آموزش شبکه عصبی توزیع شده مبتنی بر ذخیره شده مبتنی بر ذخیره شده (CDFGNN) را معرفی می کنیم.ما مکانیسم حافظه نهان تطبیقی ​​را برای کاهش دسترسی به راس از راه دور با ذخیره ویژگی های تاریخی و شیب های رئوس های همسایه پیشنهاد می کنیم.علاوه بر این ، ما با کمیت پیام ها و طراحی الگوریتم پارتیشن نمودار برای معماری ارتباطات سلسله مراتبی ، سربار ارتباطات را بیشتر بهینه می کنیم.آزمایشات نشان می دهد که مکانیسم حافظه نهان تطبیقی ​​به طور متوسط ​​دسترسی به راس از راه دور را 63.14 ٪ کاهش می دهد.همراه با کمیت ارتباطات و الگوریتم GP سلسله مراتبی ، CDFGNN در آزمایشات ما از چارچوب های آموزش کامل و برتر توزیع شده با 30.39 ٪ بهتر عمل می کند.نتایج ما نشان می دهد که CDFGNN از پتانسیل بسیار خوبی در تسریع در انجام کارهای آموزشی GNN کامل گروهی توزیع شده برخوردار است.