ترجمه فارسی مقاله بازیابی مولد با نمایه‌سازی چند مرحله‌ای

چکیده

Existing generative retrieval (GR) approaches rely on training-based indexing, i.e., fine-tuning a model to memorise the associations between a query and the document identifier (docid) of a relevant document. Training-based indexing has three limitations: high training overhead, under-utilization of the pre-trained knowledge of large language models (LLMs), and challenges in adapting to a dynamic document corpus. To address the above issues, we propose a novel few-shot indexing-based GR framework (Few-Shot GR). It has a novel few-shot indexing process, where we prompt an LLM to generate docids for all documents in a corpus, ultimately creating a docid bank for the entire corpus. During retrieval, we feed a query to the same LLM and constrain it to generate a docid within the docid bank created during indexing, and then map the generated docid back to its corresponding document. Few-Shot GR relies solely on prompting an LLM without requiring any training, making it more efficient. Moreover, we devise few-shot indexing with one-to-many mapping to further enhance Few-Shot GR. Experiments show that Few-Shot GR achieves superior performance to state-of-the-art GR methods that require heavy training.

چکیده به فارسی (ترجمه ماشینی)

رویکردهای بازیابی تولیدی موجود (GR) به نمایه سازی مبتنی بر آموزش متکی هستند ، یعنی تنظیم دقیق یک مدل برای به یاد آوردن ارتباط بین یک پرس و جو و شناسه سند (DOCID) یک سند مربوطه.نمایه سازی مبتنی بر آموزش دارای سه محدودیت است: سربار آموزش بالا ، زیر استفاده از دانش از پیش آموزش دیده از مدلهای بزرگ زبان (LLM) و چالش های سازگاری با یک سند سند پویا.برای پرداختن به موضوعات فوق ، ما یک چارچوب GR مبتنی بر فهرست بندی چند شات (چند شات GR) را پیشنهاد می کنیم.این یک فرآیند فهرست بندی چند شات جدید دارد ، جایی که ما یک LLM را برای تولید اسناد برای همه اسناد در یک جسد و در نهایت ایجاد یک بانک Docid برای کل جسد می کنیم.در حین بازیابی ، ما یک پرس و جو را به همان LLM تغذیه می کنیم و آن را محدود می کنیم تا یک DOCID را در بانک DocID ایجاد شده در هنگام فهرست بندی ایجاد کنیم و سپس DocID تولید شده را به سند مربوطه خود برگردانیم.چند شات GR فقط به ایجاد LLM بدون نیاز به آموزش متکی است و آن را کارآمدتر می کند.علاوه بر این ، ما نمایه سازی چند شات را با نقشه برداری یک به یک به چندین مورد ابداع می کنیم تا بیشتر GR چند شات را تقویت کنیم.آزمایشات نشان می دهد که چند شات GR به روشهای پیشرفته GR که نیاز به آموزش سنگین دارند ، عملکرد برتر را به دست می آورد.