ترجمه فارسی مقاله آیا LLM ها می‌توانند همگرایی نزول گرادیان تصادفی را پیش‌بینی کنند؟

چکیده

Large-language models are notoriously famous for their impressive performance across a wide range of tasks. One surprising example of such impressive performance is a recently identified capacity of LLMs to understand the governing principles of dynamical systems satisfying the Markovian property. In this paper, we seek to explore this direction further by studying the dynamics of stochastic gradient descent in convex and non-convex optimization. By leveraging the theoretical link between the SGD and Markov chains, we show a remarkable zero-shot performance of LLMs in predicting the local minima to which SGD converges for previously unseen starting points. On a more general level, we inquire about the possibility of using LLMs to perform zero-shot randomized trials for larger deep learning models used in practice.

چکیده به فارسی (ترجمه ماشینی)

مدلهای بزرگ به دلیل عملکرد چشمگیر خود در طیف گسترده ای از کارها بسیار مشهور هستند.یک نمونه شگفت آور از چنین عملکرد چشمگیر ، ظرفیت اخیراً مشخص شده LLMS برای درک اصول حاکم بر سیستم های دینامیکی است که دارایی مارکوویان را برآورده می کند.در این مقاله ، ما به دنبال این هستیم که با مطالعه پویایی نزول شیب تصادفی در بهینه سازی محدب و غیر کنفکس ، این جهت را بیشتر مورد بررسی قرار دهیم.با استفاده از پیوند نظری بین زنجیرهای SGD و مارکوف ، ما عملکرد قابل توجهی از صفر از LLMS را در پیش بینی حداقل محلی که SGD برای نقاط شروع قبلاً غیب به آن همگرا می شود ، نشان می دهیم.در یک سطح عمومی تر ، ما در مورد امکان استفاده از LLMS برای انجام آزمایشات تصادفی شات صفر برای مدلهای یادگیری عمیق بزرگتر مورد استفاده در عمل سؤال می کنیم.