ترجمه فارسی مقاله در مورد ضرورت دانش جهان برای کاهش برچسب های مفقود شده در طبقه بندی شدید

چکیده

Extreme Classification (XC) aims to map a query to the most relevant documents from a very large document set. XC algorithms used in real-world applications learn this mapping from datasets curated from implicit feedback, such as user clicks. However, these datasets inevitably suffer from missing labels. In this work, we observe that systematic missing labels lead to missing knowledge, which is critical for accurately modelling relevance between queries and documents. We formally show that this absence of knowledge cannot be recovered using existing methods such as propensity weighting and data imputation strategies that solely rely on the training dataset. While LLMs provide an attractive solution to augment the missing knowledge, leveraging them in applications with low latency requirements and large document sets is challenging. To incorporate missing knowledge at scale, we propose SKIM (Scalable Knowledge Infusion for Missing Labels), an algorithm that leverages a combination of small LM and abundant unstructured meta-data to effectively mitigate the missing label problem. We show the efficacy of our method on large-scale public datasets through exhaustive unbiased evaluation ranging from human annotations to simulations inspired from industrial settings. SKIM outperforms existing methods on Recall@100 by more than 10 absolute points. Additionally, SKIM scales to proprietary query-ad retrieval datasets containing 10 million documents, outperforming contemporary methods by 12% in offline evaluation and increased ad click-yield by 1.23% in an online A/B test conducted on a popular search engine. We release our code, prompts, trained XC models and finetuned SLMs at: https://github.com/bicycleman15/skim

چکیده به فارسی (ترجمه ماشینی)

طبقه بندی شدید (XC) با هدف نقشه برداری از یک پرس و جو به مهمترین اسناد از یک مجموعه سند بسیار بزرگ.الگوریتم های XC مورد استفاده در برنامه های دنیای واقعی این نقشه برداری را از مجموعه داده های سرپرستی از بازخورد ضمنی ، مانند کلیک کاربر ، می آموزند.با این حال ، این مجموعه داده ها به ناچار از برچسب های گمشده رنج می برند.در این کار ، ما مشاهده می کنیم که برچسب های مفقود شده سیستماتیک منجر به دانش از دست رفته می شوند ، که برای مدل سازی دقیق ارتباط بین نمایش داده ها و اسناد بسیار مهم است.ما به طور رسمی نشان می دهیم که این عدم وجود دانش با استفاده از روشهای موجود مانند وزن گیری گرایش و استراتژی های تغییر داده ها که فقط به مجموعه داده های آموزش متکی هستند ، قابل بازیابی نیستند.در حالی که LLMS یک راه حل جذاب برای تقویت دانش مفقود شده ارائه می دهد ، استفاده از آنها در برنامه هایی با نیازهای تأخیر کم و مجموعه های بزرگ اسناد چالش برانگیز است.برای ترکیب دانش از دست رفته در مقیاس ، ما SKIM (تزریق دانش مقیاس پذیر برای برچسب های گمشده) را پیشنهاد می کنیم ، الگوریتمی که ترکیبی از LM کوچک و متا داده های بدون ساختار فراوان را برای کاهش موثر مشکل برچسب گمشده استفاده می کند.ما اثربخشی روش خود را در مجموعه داده های عمومی در مقیاس بزرگ از طریق ارزیابی جامع بی طرفانه اعم از حاشیه نویسی های انسانی گرفته تا شبیه سازی های الهام گرفته از تنظیمات صنعتی نشان می دهیم.SKIM از روشهای موجود در@100 با بیش از 10 نقطه مطلق فراتر می رود.علاوه بر این ، مقیاس های SKIM به مجموعه داده های بازیابی Query-AD که حاوی 10 میلیون سند است ، از روشهای معاصر 12 ٪ در ارزیابی آفلاین و افزایش بازده کلیک آگهی 1.23 ٪ در یک تست آنلاین A/B که بر روی یک موتور جستجوی محبوب انجام شده است.ما کد ، درخواست ها ، مدل های XC را آموزش داده و SLM های FinetUned را در: https://github.com/bicycleman15/skim آزاد می کنیم