ترجمه فارسی مقاله روش پارتیشن بندی Leiden-Fusion برای آموزش توزیع شده موثر در جاسازی گراف

چکیده

In the area of large-scale training of graph embeddings, effective training frameworks and partitioning methods are critical for handling large networks. However, they face two major challenges: 1) existing synchronized distributed frameworks require continuous communication to access information from other machines, and 2) the inability of current partitioning methods to ensure that subgraphs remain connected components without isolated nodes, which is essential for effective training of GNNs since training relies on information aggregation from neighboring nodes. To address these issues, we introduce a novel partitioning method, named Leiden-Fusion, designed for large-scale training of graphs with minimal communication. Our method extends the Leiden community detection algorithm with a greedy algorithm that merges the smallest communities with highly connected neighboring communities. Our method guarantees that, for an initially connected graph, each partition is a densely connected subgraph with no isolated nodes. After obtaining the partitions, we train a GNN for each partition independently, and finally integrate all embeddings for node classification tasks, which significantly reduces the need for network communication and enhances the efficiency of distributed graph training. We demonstrate the effectiveness of our method through extensive evaluations on several benchmark datasets, achieving high efficiency while preserving the quality of the graph embeddings for node classification tasks.

چکیده به فارسی (ترجمه ماشینی)

در زمینه آموزش در مقیاس بزرگ تعبیه شده از گراف ، چارچوب های آموزشی مؤثر و روش های پارتیشن بندی برای دستیابی به شبکه های بزرگ بسیار مهم است.با این حال ، آنها با دو چالش اساسی روبرو هستند: 1) چارچوب های توزیع شده هماهنگ موجود برای دسترسی به اطلاعات از سایر دستگاه ها نیاز به ارتباط مداوم دارند ، و 2) عدم توانایی روش های پارتیشن بندی فعلی برای اطمینان از اینکه زیرگرافها بدون گره های جدا شده باقی می مانند ، که برای آموزش مؤثر ضروری استGNN از زمان آموزش به جمع آوری اطلاعات از گره های همسایه متکی است.برای پرداختن به این موضوعات ، ما یک روش جدید پارتیشن بندی به نام Leiden-Fusion را معرفی می کنیم که برای آموزش در مقیاس بزرگ نمودارها با حداقل ارتباط طراحی شده است.روش ما الگوریتم تشخیص جامعه Leiden را با یک الگوریتم حریص که کوچکترین جوامع را با جوامع همسایه بسیار متصل ادغام می کند ، گسترش می دهد.روش ما تضمین می کند که ، برای یک نمودار در ابتدا متصل ، هر پارتیشن یک زیرگراف متراکم متصل و بدون گره جدا شده است.پس از به دست آوردن پارتیشن ها ، ما یک GNN را برای هر پارتیشن به طور مستقل آموزش می دهیم و در نهایت کلیه تعبیه ها را برای کارهای طبقه بندی گره ادغام می کنیم ، که به طور قابل توجهی نیاز به ارتباطات شبکه را کاهش می دهد و باعث افزایش کارآیی آموزش گرافیک توزیع می شود.ما اثربخشی روش خود را از طریق ارزیابی های گسترده در چندین مجموعه داده معیار نشان می دهیم و ضمن حفظ کیفیت تعبیه نمودار برای کارهای طبقه بندی گره ، به راندمان بالا می رسیم.