ترجمه فارسی مقاله یک مطالعه کنترل شده در زمینه بسط و تعمیم بافت طولانی در LLM

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی A Controlled Study on Long Context Extension and Generalization in LLMs
عنوان مقاله به فارسی یک مطالعه کنترل شده در زمینه بسط و تعمیم بافت طولانی در LLM
نویسندگان Yi Lu, Jing Nathan Yan, Songlin Yang, Justin T. Chiu, Siyu Ren, Fei Yuan, Wenting Zhao, Zhiyong Wu, Alexander M. Rush
فرمت مقاله انگلیسی PDF
تعداد صفحات 21
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Machine Learning,محاسبه و زبان , یادگیری ماشین ,
توضیحات Submitted 18 September, 2024; originally announced September 2024.
توضیحات به فارسی ارائه شده در 18 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Broad textual understanding and in-context learning require language models that utilize full document contexts. Due to the implementation challenges associated with directly training long-context models, many methods have been proposed for extending models to handle long contexts. However, owing to differences in data and model classes, it has been challenging to compare these approaches, leading to uncertainty as to how to evaluate long-context performance and whether it differs from standard evaluation. We implement a controlled protocol for extension methods with a standardized evaluation, utilizing consistent base models and extension data. Our study yields several insights into long-context behavior. First, we reaffirm the critical role of perplexity as a general-purpose performance indicator even in longer-context tasks. Second, we find that current approximate attention methods systematically underperform across long-context tasks. Finally, we confirm that exact fine-tuning based methods are generally effective within the range of their extension, whereas extrapolation remains challenging. All codebases, models, and checkpoints will be made available open-source, promoting transparency and facilitating further research in this critical area of AI development.

چکیده به فارسی (ترجمه ماشینی)

درک گسترده متنی و یادگیری درون متن نیاز به مدل های زبانی دارد که از متن های کامل اسناد استفاده می کنند.با توجه به چالش های پیاده سازی مرتبط با آموزش مستقیم مدل های متن طولانی ، روش های بسیاری برای گسترش مدل ها برای رسیدگی به زمینه های طولانی ارائه شده است.با این حال ، با توجه به تفاوت در کلاس های داده و مدل ، مقایسه این رویکردها چالش برانگیز بوده است ، و منجر به عدم اطمینان در مورد چگونگی ارزیابی عملکرد طولانی مدت و اینکه آیا این با ارزیابی استاندارد متفاوت است.ما یک پروتکل کنترل شده را برای روشهای پسوند با یک ارزیابی استاندارد ، با استفاده از مدل های پایه سازگار و داده های پسوند اجرا می کنیم.مطالعه ما بینش های مختلفی از رفتار طولانی مدت ارائه می دهد.اول ، ما مجدداً نقش اساسی دفع را به عنوان یک شاخص عملکرد عمومی حتی در کارهای طولانی تر تأیید می کنیم.دوم ، ما می دانیم که روشهای توجه تقریبی فعلی به طور سیستماتیک در وظایف طولانی مدت تحت تأثیر قرار می گیرند.سرانجام ، ما تأیید می کنیم که روشهای مبتنی بر تنظیم دقیق به طور کلی در محدوده پسوند آنها مؤثر هستند ، در حالی که برون یابی همچنان چالش برانگیز است.کلیه پایه های کد ، مدل ها و پاسگاه ها منبع باز در دسترس قرار می گیرند و شفافیت را ترویج می کنند و تحقیقات بیشتر را در این زمینه مهم توسعه هوش مصنوعی تسهیل می کنند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.