ترجمه فارسی مقاله خوشه بندی و تراز: درک پویایی آموزش در افزودن ماژولار

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Clustering and Alignment: Understanding the Training Dynamics in Modular Addition
عنوان مقاله به فارسی خوشه بندی و تراز: درک پویایی آموزش در افزودن ماژولار
نویسندگان Tiberiu Musat
فرمت مقاله انگلیسی PDF
تعداد صفحات 22
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,یادگیری ماشین ,
توضیحات Submitted 18 August, 2024; originally announced August 2024.
توضیحات به فارسی ارائه شده در 18 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Recent studies have revealed that neural networks learn interpretable algorithms for many simple problems. However, little is known about how these algorithms emerge during training. In this article, we study the training dynamics of a simplified transformer with 2-dimensional embeddings on the problem of modular addition. We observe that embedding vectors tend to organize into two types of structures: grids and circles. We study these structures and explain their emergence as a result of two simple tendencies exhibited by pairs of embeddings: clustering and alignment. We propose explicit formulae for these tendencies as interaction forces between different pairs of embeddings. To show that our formulae can fully account for the emergence of these structures, we construct an equivalent particle simulation where we find that identical structures emerge. We use our insights to discuss the role of weight decay and reveal a new mechanism that links regularization and training dynamics. We also release an interactive demo to support our findings: https://modular-addition.vercel.app/.

چکیده به فارسی (ترجمه ماشینی)

مطالعات اخیر نشان داده است که شبکه های عصبی الگوریتم های قابل تفسیر را برای بسیاری از مشکلات ساده یاد می گیرند.با این حال ، در مورد چگونگی ظهور این الگوریتم ها در طول آموزش ، اطلاعات کمی وجود دارد.در این مقاله ، ما دینامیک آموزش یک ترانسفورماتور ساده با تعبیه 2 بعدی در مورد مشکل علاوه بر ماژولار را مطالعه می کنیم.ما مشاهده می کنیم که بردارهای تعبیه شده تمایل به سازماندهی در دو نوع ساختار دارند: شبکه ها و دایره ها.ما این ساختارها را مطالعه می کنیم و ظهور آنها را در نتیجه دو گرایش ساده به نمایش گذاشته شده توسط جفت تعبیه ها توضیح می دهیم: خوشه بندی و تراز.ما فرمول های صریح را برای این گرایش ها به عنوان نیروهای تعامل بین جفت های مختلف تعبیه پیشنهاد می کنیم.برای نشان دادن اینکه فرمول های ما می توانند به طور کامل برای ظهور این ساختارها به حساب بیایند ، ما یک شبیه سازی ذرات معادل را ایجاد می کنیم که در آن می بینیم که ساختارهای یکسان پدیدار می شوند.ما از بینش های خود برای بحث در مورد نقش پوسیدگی وزن استفاده می کنیم و مکانیسم جدیدی را نشان می دهیم که پیوند منظم و دینامیک را پیوند می دهد.ما همچنین یک نسخه ی نمایشی تعاملی را برای پشتیبانی از یافته های خود منتشر می کنیم: https://modular-addition.vercel.app/.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.