ترجمه فارسی مقاله برنده شدن در جام KDD آمازون در سال 24

چکیده

This paper describes the winning solution of all 5 tasks for the Amazon KDD Cup 2024 Multi Task Online Shopping Challenge for LLMs. The challenge was to build a useful assistant, answering questions in the domain of online shopping. The competition contained 57 diverse tasks, covering 5 different task types (e.g. multiple choice) and across 4 different tracks (e.g. multi-lingual). Our solution is a single model per track. We fine-tune Qwen2-72B-Instruct on our own training dataset. As the competition released only 96 example questions, we developed our own training dataset by processing multiple public datasets or using Large Language Models for data augmentation and synthetic data generation. We apply wise-ft to account for distribution shifts and ensemble multiple LoRA adapters in one model. We employed Logits Processors to constrain the model output on relevant tokens for the tasks. AWQ 4-bit Quantization and vLLM are used during inference to predict the test dataset in the time constraints of 20 to 140 minutes depending on the track. Our solution achieved the first place in each individual track and is the first place overall of Amazons KDD Cup 2024.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله راه حل برنده هر 5 کار برای Amazon KDD Cup 2024 Multi Task Online Challenge برای LLMS شرح داده شده است.چالش ساختن یک دستیار مفید و پاسخ دادن به سؤالات در حوزه خرید آنلاین بود.این رقابت شامل 57 کار متنوع بود که شامل 5 نوع کار مختلف (به عنوان مثال انتخاب چندگانه) و در 4 آهنگ مختلف (به عنوان مثال چند زبانه) بود.راه حل ما یک مدل واحد در هر آهنگ است.ما QWEN2-72B را در مجموعه داده های آموزش خود تنظیم می کنیم.از آنجا که این رقابت فقط 96 سؤال مثال را منتشر کرد ، ما مجموعه داده های آموزش خودمان را با پردازش چندین مجموعه داده عمومی یا استفاده از مدل های بزرگ زبان برای تقویت داده ها و تولید داده های مصنوعی توسعه دادیم.ما از WISE-FT استفاده می کنیم تا تغییرات توزیع و آداپتورهای چند لورا را در یک مدل حساب کنیم.ما از پردازنده های ورود به سیستم برای محدود کردن خروجی مدل در نشانه های مربوطه برای کارها استفاده کردیم.اندازه گیری 4 بیتی AWQ و VLLM در هنگام استنباط برای پیش بینی مجموعه داده های آزمون در محدودیت زمانی 20 تا 140 دقیقه بسته به مسیر استفاده می شود.راه حل ما در هر مسیر جداگانه مقام اول را کسب کرد و اولین مقام در کل Amazons KDD Cup 2024 است.