ترجمه فارسی مقاله نگاهی تازه به جاسازی‌های قدیمی: بهبود آموزش رتریور متراکم با شبکه‌های اصلاح‌کننده

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks
عنوان مقاله به فارسی نگاهی تازه به جاسازی‌های قدیمی: بهبود آموزش رتریور متراکم با شبکه‌های اصلاح‌کننده
نویسندگان Nicholas Monath, Will Grathwohl, Michael Boratko, Rob Fergus, Andrew McCallum, Manzil Zaheer
فرمت مقاله انگلیسی PDF
تعداد صفحات 16
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,یادگیری ماشین ,
توضیحات Submitted 3 September, 2024; originally announced September 2024. , Comments: ICML 2024
توضیحات به فارسی ارسال شده در 3 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد. ، نظرات: ICML 2024
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

In dense retrieval, deep encoders provide embeddings for both inputs and targets, and the softmax function is used to parameterize a distribution over a large number of candidate targets (e.g., textual passages for information retrieval). Significant challenges arise in training such encoders in the increasingly prevalent scenario of (1) a large number of targets, (2) a computationally expensive target encoder model, (3) cached target embeddings that are out-of-date due to ongoing training of target encoder parameters. This paper presents a simple and highly scalable response to these challenges by training a small parametric corrector network that adjusts stale cached target embeddings, enabling an accurate softmax approximation and thereby sampling of up-to-date high scoring "hard negatives." We theoretically investigate the generalization properties of our proposed target corrector, relating the complexity of the network, staleness of cached representations, and the amount of training data. We present experimental results on large benchmark dense retrieval datasets as well as on QA with retrieval augmented language models. Our approach matches state-of-the-art results even when no target embedding updates are made during training beyond an initial cache from the unsupervised pre-trained model, providing a 4-80x reduction in re-embedding computational cost.

چکیده به فارسی (ترجمه ماشینی)

در بازیابی متراکم ، رمزگذارهای عمیق تعبیه هایی را برای ورودی ها و اهداف فراهم می کنند ، و از عملکرد SoftMax برای پارامتر کردن توزیع در تعداد زیادی از اهداف نامزد استفاده می شود (به عنوان مثال ، گذرگاه های متنی برای بازیابی اطلاعات).چالش های مهمی در آموزش چنین رمزگذارها در سناریوی فزاینده رواج (1) تعداد زیادی از اهداف ، (2) یک مدل رمزگذار هدف محاسباتی گران قیمت ، (3) تعبیه شده هدف ذخیره شده که به دلیل آموزش مداوم در حال انجام است ، بوجود می آید.پارامترهای رمزگذار هدف.در این مقاله با آموزش یک شبکه اصلاح کننده پارامتری کوچک که تعبیه های هدف ذخیره شده بی نظیر را تنظیم می کند ، یک پاسخ ساده و بسیار مقیاس پذیر به این چالش ها ارائه می دهد ، امکان تقریب دقیق SoftMax را فراهم می کند و از این طریق نمونه گیری از به روز کردن به روز "منفی سخت".ما از لحاظ تئوریکی خصوصیات عمومی سازی اصلاح کننده هدف پیشنهادی خود را بررسی می کنیم ، در رابطه با پیچیدگی شبکه ، استحکام بازنمودهای ذخیره شده و میزان داده های آموزشی.ما نتایج تجربی را در مجموعه داده های بازیابی متراکم و همچنین در QA با مدل های زبان تقویت شده بازیابی ارائه می دهیم.رویکرد ما با نتایج پیشرفته ای مطابقت دارد حتی اگر هیچ به روزرسانی تعبیه شده هدف در طول آموزش فراتر از حافظه نهان اولیه از مدل از پیش آموزش نشده بدون نظارت انجام نشود ، و باعث کاهش 4-80x در هزینه محاسباتی مجدد شود.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.