ترجمه فارسی مقاله الگوریتم بهینه سازی توزیع شده با میزان همگرایی فوق العاده خطی

چکیده

This paper considers distributed optimization problems, where each agent cooperatively minimizes the sum of local objective functions through the communication with its neighbors. The widely adopted distributed gradient method in solving this problem suffers from slow convergence rates, which motivates us to incorporate the second-order information of the objective functions. However, the challenge arises from the unique structure of the inverse of the Hessian matrix, which prevents the direct distributed implementation of the second-order method. We overcome this challenge by proposing a novel optimization framework. The key idea is to transform the distributed optimization problem into an optimal control problem. Using Pontryagin’s maximum principle and the associated forward-backward difference equations (FBDEs), we derive a new distributed optimization algorithm that incorporates the second-order information without requiring the computation of the inverse of the Hessian matrix. Furthermore, the superlinear convergence of the proposed algorithm is proved under some mild assumptions. Finally, we also propose a variant of the algorithm to balance the number of iterations and communication.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله مشکلات بهینه سازی توزیع شده در نظر گرفته شده است ، جایی که هر یک از نمایندگان با همکاری با همسایگان خود ، مجموع عملکردهای هدف محلی را به حداقل می رساند.روش شیب توزیع شده گسترده در حل این مشکل از نرخ همگرایی آهسته رنج می برد ، که ما را به ایجاد اطلاعات مرتبه دوم از توابع عینی سوق می دهد.با این حال ، این چالش از ساختار منحصر به فرد معکوس ماتریس هسیایی ناشی می شود ، که از اجرای مستقیم توزیع روش مرتبه دوم جلوگیری می کند.ما با ارائه یک چارچوب بهینه سازی جدید بر این چالش غلبه می کنیم.ایده اصلی تبدیل مشکل بهینه سازی توزیع شده به یک مشکل کنترل بهینه است.با استفاده از حداکثر اصل Pontryagin و معادلات تفاوت به جلو به جلو (FBDES) ، ما یک الگوریتم بهینه سازی توزیع شده جدید را استخراج می کنیم که اطلاعات مرتبه دوم را بدون نیاز به محاسبه معکوس ماتریس هسی شامل می شود.علاوه بر این ، همگرایی فوقانی الگوریتم پیشنهادی تحت برخی فرضیات خفیف اثبات شده است.سرانجام ، ما همچنین یک نوع از الگوریتم را برای تعادل تعداد تکرارها و ارتباطات پیشنهاد می کنیم.