Machine Learning,Computation and Language,Information Theory,Optimization and Control,Machine Learning,یادگیری ماشین , محاسبه و زبان , نظریه اطلاعات , بهینه سازی و کنترل , یادگیری ماشین ,
توضیحات
Submitted 19 August, 2024; originally announced August 2024.
توضیحات به فارسی
ارسال شده در 19 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
In-context learning (ICL) refers to a remarkable capability of pretrained large language models, which can learn a new task given a few examples during inference. However, theoretical understanding of ICL is largely under-explored, particularly whether transformers can be trained to generalize to unseen examples in a prompt, which will require the model to acquire contextual knowledge of the prompt for generalization. This paper investigates the training dynamics of transformers by gradient descent through the lens of non-linear regression tasks. The contextual generalization here can be attained via learning the template function for each task in-context, where all template functions lie in a linear space with $m$ basis functions. We analyze the training dynamics of one-layer multi-head transformers to in-contextly predict unlabeled inputs given partially labeled prompts, where the labels contain Gaussian noise and the number of examples in each prompt are not sufficient to determine the template. Under mild assumptions, we show that the training loss for a one-layer multi-head transformer converges linearly to a global minimum. Moreover, the transformer effectively learns to perform ridge regression over the basis functions. To our knowledge, this study is the first provable demonstration that transformers can learn contextual (i.e., template) information to generalize to both unseen examples and tasks when prompts contain only a small number of query-answer pairs.
چکیده به فارسی (ترجمه ماشینی)
یادگیری درون متن (ICL) به توانایی قابل توجهی از مدلهای بزرگ زبان بزرگ اشاره دارد ، که می تواند با توجه به چند نمونه در هنگام استنتاج ، یک کار جدید را بیاموزد.با این حال ، درک نظری از ICL تا حد زیادی تحت تأثیر قرار نمی گیرد ، به ویژه اینکه آیا ترانسفورماتورها می توانند برای تعمیم در نمونه های غیب در یک فوریت آموزش ببینند ، که به این مدل نیاز دارد تا دانش متنی را از فوری برای تعمیم بدست آورد.در این مقاله پویایی آموزش ترانسفورماتورها با نزول شیب از طریق لنز کارهای رگرسیون غیر خطی بررسی شده است.تعمیم زمینه ای در اینجا می تواند از طریق یادگیری عملکرد الگوی برای هر کار در متن ، جایی که تمام توابع الگو در یک فضای خطی با عملکردهای پایه $ $ قرار دارند ، بدست آید.ما دینامیک آموزش ترانسفورماتورهای چند لایه یک لایه را برای پیش بینی ورودی های بدون برچسب که به صورت جزئی برچسب داده شده پیش بینی می شود ، تجزیه و تحلیل می کنیم ، جایی که برچسب ها حاوی سر و صدای گاوسی هستند و تعداد نمونه ها در هر سریع برای تعیین الگوی کافی نیست.تحت فرضیات خفیف ، ما نشان می دهیم که از دست دادن آموزش برای یک ترانسفورماتور چند لایه یک لایه به صورت خطی به حداقل جهانی تبدیل می شود.علاوه بر این ، ترانسفورماتور به طور موثری یاد می گیرد که رگرسیون خط الراس را بر عملکردهای پایه انجام دهد.به دانش ما ، این مطالعه اولین نمایش قابل اثبات است که ترانسفورماتورها می توانند اطلاعات متنی (یعنی الگو) را بیاموزند تا در هر دو نمونه و وظایف غیب را تعمیم دهند ، در صورتی که فقط تعداد کمی از جفت های پاسخ به پرس و جو را نشان می دهد.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
