ترجمه فارسی مقاله انطباق زبان در یک بودجه محاسباتی آکادمیک محدود: تعویض توکنایزر کار می کند و bfloat16 خالص کافی است

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Language Adaptation on a Tight Academic Compute Budget: Tokenizer Swapping Works and Pure bfloat16 Is Enough
عنوان مقاله به فارسی انطباق زبان در یک بودجه محاسباتی آکادمیک محدود: تعویض توکنایزر کار می کند و bfloat16 خالص کافی است
نویسندگان Konstantin Dobler, Gerard de Melo
فرمت مقاله انگلیسی PDF
تعداد صفحات 23
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Machine Learning,محاسبه و زبان , یادگیری ماشین ,
توضیحات Submitted 28 August, 2024; originally announced August 2024. , Comments: WANT@ICML 2024
توضیحات به فارسی ارسال شده 28 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد. ، نظرات: می خواهید@ICML 2024
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

We investigate continued pretraining of LLMs for language adaptation on a tight academic budget: a setting in which only a few GPUs can be used in parallel, for a heavily constrained duration. We focus on adapting Mistral-7B to German or Arabic and evaluate several techniques to improve efficiency and effectiveness in this setting. Our German models adapted on this tight compute budget underperform compared to the base Mistral-7B, while our Arabic models outperform several baselines, showing that for sufficiently well-represented languages, continued pretraining for specialization is not always helpful. Our main findings focus on training precision and tokenizer swapping. Our results show that pure bfloat16 training is a viable alternative to mixed-precision training, while being much faster when only using a few GPUs. Swapping the tokenizer for a specialized one yields more efficient tokenization and is competitive with the original tokenizer, which already contains some German tokens, but did not significantly increase performance for German. Code and model weights are available at on GitHub.

چکیده به فارسی (ترجمه ماشینی)

ما ادامه پیش بینی LLMS برای سازگاری زبان در بودجه دانشگاهی تنگ را بررسی می کنیم: تنظیماتی که در آن فقط چند GPU به طور موازی قابل استفاده است ، برای مدت زمان محدود.ما بر تطبیق MISTRAL-7B با آلمانی یا عربی تمرکز می کنیم و چندین تکنیک را برای بهبود کارآیی و اثربخشی در این تنظیم ارزیابی می کنیم.مدلهای آلمانی ما در این بودجه محاسبات محکم در مقایسه با پایه MISTRAL-7B تطبیق یافته اند ، در حالی که مدل های عربی ما از چندین خط پایه بهتر عمل می کنند ، نشان می دهد که برای زبانهای به اندازه کافی با نمایندگی ، ادامه تحصیل برای تخصص همیشه مفید نیست.یافته های اصلی ما بر روی دقت آموزش و تعویض توکینر تمرکز دارد.نتایج ما نشان می دهد که آموزش خالص BFLOAT16 یک جایگزین مناسب برای آموزش دقیق با دقت است ، در حالی که فقط در هنگام استفاده از چند GPU بسیار سریعتر است.مبادله توکن ساز برای یک تخصصی ، نشان دهنده کارآمدتر است و با توکینیزر اصلی رقابت می کند ، که در حال حاضر حاوی برخی از نشانه های آلمانی است ، اما عملکرد آلمانی را به میزان قابل توجهی افزایش نمی دهد.وزن کد و مدل در GitHub موجود است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.