ترجمه فارسی مقاله NGD نسبت به SGD به راه‌حل‌های منحط کمتری همگرا می‌شود

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی NGD converges to less degenerate solutions than SGD
عنوان مقاله به فارسی NGD نسبت به SGD به راه‌حل‌های منحط کمتری همگرا می‌شود
نویسندگان Moosa Saghir, N. R. Raghavendra, Zihe Liu, Evan Ryan Gunter
فرمت مقاله انگلیسی PDF
تعداد صفحات 8
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Machine Learning,یادگیری ماشین , یادگیری ماشین ,
توضیحات Submitted 12 September, 2024; v1 submitted 7 September, 2024; originally announced September 2024. , Comments: 8 pages, 23 figures
توضیحات به فارسی ارسال شده 12 سپتامبر 2024 ؛V1 ارسال شده در 7 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد ، نظرات: 8 صفحه ، 23 شکل
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

The number of free parameters, or dimension, of a model is a straightforward way to measure its complexity: a model with more parameters can encode more information. However, this is not an accurate measure of complexity: models capable of memorizing their training data often generalize well despite their high dimension. Effective dimension aims to more directly capture the complexity of a model by counting only the number of parameters required to represent the functionality of the model. Singular learning theory (SLT) proposes the learning coefficient $ λ$ as a more accurate measure of effective dimension. By describing the rate of increase of the volume of the region of parameter space around a local minimum with respect to loss, $ λ$ incorporates information from higher-order terms. We compare $ λ$ of models trained using natural gradient descent (NGD) and stochastic gradient descent (SGD), and find that those trained with NGD consistently have a higher effective dimension for both of our methods: the Hessian trace $ \text{Tr}(\mathbf{H}) $, and the estimate of the local learning coefficient (LLC) $ \hatλ(w^*) $.

چکیده به فارسی (ترجمه ماشینی)

تعداد پارامترهای رایگان یا ابعاد یک مدل یک روش ساده برای اندازه گیری پیچیدگی آن است: یک مدل با پارامترهای بیشتر می تواند اطلاعات بیشتری را رمزگذاری کند.با این حال ، این یک اندازه گیری دقیق از پیچیدگی نیست: مدلهایی که قادر به به یاد آوردن داده های آموزش خود هستند ، با وجود بعد بالای آنها ، اغلب به خوبی تعمیم می یابد.ابعاد مؤثر هدف این است که با شمارش تنها تعداد پارامترهای مورد نیاز برای نشان دادن عملکرد مدل ، پیچیدگی یک مدل را به طور مستقیم ضبط کند.نظریه یادگیری مفرد (SLT) ضریب یادگیری $ λ $ را به عنوان یک اندازه گیری دقیق تر از ابعاد مؤثر پیشنهاد می کند.با توصیف میزان افزایش حجم منطقه فضای پارامتر در حدود حداقل محلی با توجه به ضرر ، $ λ $ اطلاعاتی را از شرایط مرتبه بالاتر در بر می گیرد.ما $ λ $ مدل های آموزش داده شده با استفاده از شیب طبیعی (NGD) و نزول شیب تصادفی (SGD) را مقایسه می کنیم و می یابیم که کسانی که با NGD آموزش دیده اند به طور مداوم از هر دو روش ما یک بعد مؤثر بالاتر دارند: ردیابی Hessian $ \ text {tr tr tr} (\ Mathbf {H}) $ ، و برآورد ضریب یادگیری محلی (LLC) $ \ hatλ (w^*) $.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.