Submitted 22 August, 2024; originally announced August 2024. , Comments: 40 pages, 3 figures, ICML 2024 Workshop on Theoretical Foundations of Foundation Models
توضیحات به فارسی
ارسال شده در 22 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد ، نظرات: 40 صفحه ، 3 شکل ، کارگاه آموزشی ICML 2024 در مورد مبانی نظری مدل های بنیاد
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
In-context learning (ICL) of large language models has proven to be a surprisingly effective method of learning a new task from only a few demonstrative examples. In this paper, we study the efficacy of ICL from the viewpoint of statistical learning theory. We develop approximation and generalization error bounds for a transformer composed of a deep neural network and one linear attention layer, pretrained on nonparametric regression tasks sampled from general function spaces including the Besov space and piecewise $γ$-smooth class. We show that sufficiently trained transformers can achieve -- and even improve upon -- the minimax optimal estimation risk in context by encoding the most relevant basis representations during pretraining. Our analysis extends to high-dimensional or sequential data and distinguishes the \emph{pretraining} and \emph{in-context} generalization gaps. Furthermore, we establish information-theoretic lower bounds for meta-learners w.r.t. both the number of tasks and in-context examples. These findings shed light on the roles of task diversity and representation learning for ICL.
چکیده به فارسی (ترجمه ماشینی)
یادگیری درون متن (ICL) از مدل های بزرگ زبان ثابت شده است که یک روش شگفت آور مؤثر برای یادگیری یک کار جدید از تنها چند نمونه نمایشی است.در این مقاله ، ما اثربخشی ICL را از دیدگاه تئوری یادگیری آماری بررسی می کنیم.ما برای یک ترانسفورماتور متشکل از یک شبکه عصبی عمیق و یک لایه توجه خطی ، مرزهای خطای تقریب و تعمیم ایجاد می کنیم ، که بر روی وظایف رگرسیون غیر پارامتری نمونه برداری شده از فضاهای عملکرد عمومی از جمله فضای BESOV و کلاس $ γ $ $-smooth انجام شده است.ما نشان می دهیم که ترانسفورماتورهای به اندازه کافی آموزش دیده می توانند با رمزگذاری مناسب ترین بازنمایی های پایه در حین پیشگویی ، ریسک تخمین بهینه حداقل در متن را بدست آورند.تجزیه و تحلیل ما به داده های با ابعاد بالا یا پی در پی گسترش می یابد و شکاف های عمومی سازی \ emf {pretraining} و \ emph {در متن را متمایز می کند.علاوه بر این ، ما مرزهای پایین تر-نظری اطلاعات را برای متا-مدلهای W.R.T. ایجاد می کنیم.هم تعداد کارها و هم نمونه های درون متن.این یافته ها نقش های تنوع کار و یادگیری بازنمایی برای ICL را روشن می کند.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
