ترجمه فارسی مقاله مسئله‌ی به دام افتادن در یادگیری غیرمتمرکز گام تصادفی

چکیده

This paper explores decentralized learning in a graph-based setting, where data is distributed across nodes. We investigate a decentralized SGD algorithm that utilizes a random walk to update a global model based on local data. Our focus is on designing the transition probability matrix to speed up convergence. While importance sampling can enhance centralized learning, its decentralized counterpart, using the Metropolis-Hastings (MH) algorithm, can lead to the entrapment problem, where the random walk becomes stuck at certain nodes, slowing convergence. To address this, we propose the Metropolis-Hastings with Lévy Jumps (MHLJ) algorithm, which incorporates random perturbations (jumps) to overcome entrapment. We theoretically establish the convergence rate and error gap of MHLJ and validate our findings through numerical experiments.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله به بررسی یادگیری غیرمتمرکز در یک تنظیم مبتنی بر نمودار می پردازیم ، جایی که داده ها در گره ها توزیع می شوند.ما یک الگوریتم SGD غیر متمرکز را بررسی می کنیم که از یک پیاده روی تصادفی برای به روزرسانی یک مدل جهانی بر اساس داده های محلی استفاده می کند.تمرکز ما بر طراحی ماتریس احتمال انتقال برای سرعت بخشیدن به همگرایی است.در حالی که نمونه برداری از اهمیت می تواند یادگیری متمرکز را تقویت کند ، همتای غیر متمرکز آن ، با استفاده از الگوریتم متروپولیس-هاستینگ (MH) ، می تواند منجر به مشکل گرفتاری شود ، جایی که پیاده روی تصادفی در گره های خاص گیر می کند و همگرایی را کند می کند.برای پرداختن به این موضوع ، ما متروپولیس را با الگوریتم Lévy Jumps (MHLJ) پیشنهاد می کنیم ، که شامل آشفتگی های تصادفی (پرش) برای غلبه بر گرفتاری است.ما از لحاظ تئوریکی میزان همگرایی و شکاف خطای MHLJ را تعیین می کنیم و یافته های خود را از طریق آزمایش های عددی اعتبار می دهیم.