ترجمه فارسی مقاله بهبود داده‌های پیش‌آموزشی با استفاده از همبستگی‌های گیجی

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Improving Pretraining Data Using Perplexity Correlations
عنوان مقاله به فارسی بهبود داده‌های پیش‌آموزشی با استفاده از همبستگی‌های گیجی
نویسندگان Tristan Thrush, Christopher Potts, Tatsunori Hashimoto
فرمت مقاله انگلیسی PDF
تعداد صفحات 31
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Machine Learning,Machine Learning,محاسبه و زبان , یادگیری ماشین , یادگیری ماشین ,
توضیحات Submitted 9 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده در 9 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Quality pretraining data is often seen as the key to high-performance language models. However, progress in understanding pretraining data has been slow due to the costly pretraining runs required for data selection experiments. We present a framework that avoids these costs and selects high-quality pretraining data without any LLM training of our own. Our work is based on a simple observation: LLM losses on many pretraining texts are correlated with downstream benchmark performance, and selecting high-correlation documents is an effective pretraining data selection method. We build a new statistical framework for data selection centered around estimates of perplexity-benchmark correlations and perform data selection using a sample of 90 LLMs taken from the Open LLM Leaderboard on texts from tens of thousands of web domains. In controlled pretraining experiments at the 160M parameter scale on 8 benchmarks, our approach outperforms DSIR on every benchmark, while matching the best data selector found in DataComp-LM, a hand-engineered bigram classifier.

چکیده به فارسی (ترجمه ماشینی)

داده های پیشگویی کیفیت اغلب به عنوان کلید مدلهای زبان با کارایی بالا دیده می شوند.با این حال ، پیشرفت در درک داده های پیش تنظیم به دلیل اجرای هزینه های گران قیمت مورد نیاز برای آزمایش انتخاب داده ها کند بوده است.ما چارچوبی را ارائه می دهیم که از این هزینه ها جلوگیری می کند و داده های پیشگویی با کیفیت بالا را بدون هیچ گونه آموزش LLM از خود انتخاب می کند.کار ما مبتنی بر یک مشاهده ساده است: ضررهای LLM در بسیاری از متون پیش تنظیم با عملکرد معیار پایین دست در ارتباط است و انتخاب اسناد همبستگی بالا یک روش انتخاب داده های پیش فرض مؤثر است.ما یک چارچوب آماری جدید برای انتخاب داده ها با محوریت برآورد همبستگی های تجاوز به شدت ایجاد می کنیم و انتخاب داده ها را با استفاده از نمونه ای از 90 LLM گرفته شده از تابلوی LLM باز روی متون از ده ها هزار دامنه وب انجام می دهیم.در آزمایش های پیش بینی کنترل شده در مقیاس پارامتر 160 متر در 8 معیار ، رویکرد ما از DSIR در هر معیار بهتر عمل می کند ، در حالی که مطابق با بهترین انتخاب داده موجود در DataComp-LM ، طبقه بندی کننده Bigram با مهندسی دستی است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.