ترجمه فارسی مقاله چگونه پیش‌آموزش کد بر عملکرد تکلیف مدل زبان تأثیر می‌گذارد؟

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی How Does Code Pretraining Affect Language Model Task Performance?
عنوان مقاله به فارسی چگونه پیش‌آموزش کد بر عملکرد تکلیف مدل زبان تأثیر می‌گذارد؟
نویسندگان Jackson Petty, Sjoerd van Steenkiste, Tal Linzen
فرمت مقاله انگلیسی PDF
تعداد صفحات 20
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Machine Learning,محاسبه و زبان , یادگیری ماشین ,
توضیحات Submitted 6 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده در 6 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Large language models are increasingly trained on corpora containing both natural language and non-linguistic data like source code. Aside from aiding programming-related tasks, anecdotal evidence suggests that including code in pretraining corpora may improve performance on other, unrelated tasks, yet to date no work has been able to establish a causal connection by controlling between language and code data. Here we do just this. We pretrain language models on datasets which interleave natural language and code in two different settings: additive, in which the total volume of data seen during pretraining is held constant; and competitive, in which the volume of language data is held constant. We study how the pretraining mixture affects performance on (a) a diverse collection of tasks included in the BigBench benchmark, and (b) compositionality, measured by generalization accuracy on semantic parsing and syntactic transformations. We find that pretraining on higher proportions of code improves performance on compositional tasks involving structured output (like semantic parsing), and mathematics. Conversely, increase code mixture can harm performance on other tasks, including on tasks that requires sensitivity to linguistic structure such as syntax or morphology, and tasks measuring real-world knowledge.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان به طور فزاینده ای در مورد شرکت های حاوی زبان طبیعی و داده های غیر زبانی مانند کد منبع آموزش می یابند.گذشته از کمک به وظایف مربوط به برنامه نویسی ، شواهد حکایتی نشان می دهد که شامل کد در شرکت های مقدماتی ممکن است عملکرد سایر کارهای نامربوط را بهبود بخشد ، اما تا به امروز هیچ کاری نتوانسته است با کنترل بین داده های زبان و کد ارتباط علّی برقرار کند.در اینجا ما فقط این کار را انجام می دهیم.ما مدل های زبان را بر روی مجموعه داده هایی که زبان و کد طبیعی را در دو تنظیمات مختلف قرار می دهند ، پیش بینی می کنیم: افزودنی ، که در آن حجم کل داده های دیده شده در طول پیش تنظیم ثابت است.و رقابتی ، که در آن حجم داده های زبان ثابت نگه داشته می شود.ما مطالعه می کنیم که چگونه مخلوط پیش از عملکرد بر عملکرد (الف) مجموعه متنوعی از وظایف موجود در معیار Bigbench ، و (ب) ترکیب ، با دقت تعمیم در تجزیه معنایی و تحولات نحوی تأثیر می گذارد.ما می دانیم که پیش بینی در نسبت های بالاتر کد باعث بهبود عملکرد در کارهای ترکیبی شامل خروجی ساختاری (مانند تجزیه معنایی) و ریاضیات می شود.در مقابل ، افزایش مخلوط کد می تواند به عملکرد سایر کارها آسیب برساند ، از جمله در مورد کارهایی که به ساختار زبانی مانند نحو یا مورفولوژی و وظایف اندازه گیری دانش در دنیای واقعی نیاز دارند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.