ترجمه فارسی مقاله Baby Bear: به دنبال یک مقیاس رتبه بندی درست درست برای حاشیه نویسی های مقیاس پذیر

چکیده

Our goal is a mechanism for efficiently assigning scalar ratings to each of a large set of elements. For example, “what percent positive or negative is this product review?” When sample sizes are small, prior work has advocated for methods such as Best Worst Scaling (BWS) as being more robust than direct ordinal annotation (“Likert scales”). Here we first introduce IBWS, which iteratively collects annotations through Best-Worst Scaling, resulting in robustly ranked crowd-sourced data. While effective, IBWS is too expensive for large-scale tasks. Using the results of IBWS as a best-desired outcome, we evaluate various direct assessment methods to determine what is both cost-efficient and best correlating to a large scale BWS annotation strategy. Finally, we illustrate in the domains of dialogue and sentiment how these annotations can support robust learning-to-rank models.

چکیده به فارسی (ترجمه ماشینی)

هدف ما مکانیسمی برای اختصاص کارآمد رتبه بندی های مقیاس به هر یک از مجموعه های بزرگی از عناصر است.به عنوان مثال ، “این بررسی محصول مثبت یا منفی چیست؟”هنگامی که اندازه نمونه کوچک است ، کار قبلی از روش هایی مانند بهترین بدترین مقیاس (BWS) حمایت کرده است که قوی تر از حاشیه نویسی منظم (“مقیاس های لیکرت”) است.در اینجا ما ابتدا IBWS را معرفی می کنیم ، که به طور تکراری حاشیه نویسی را از طریق مقیاس گذاری با بهترین حالت جمع آوری می کند ، و در نتیجه داده های حاوی جمعیت با رتبه محکم قرار می گیرد.در حالی که مؤثر است ، IBWS برای کارهای در مقیاس بزرگ بسیار گران است.با استفاده از نتایج IBWS به عنوان یک نتیجه بهترین نتیجه ، ما روشهای مختلف ارزیابی مستقیم را ارزیابی می کنیم تا تعیین کنیم چه چیزی مقرون به صرفه است و بهترین ارتباط با یک استراتژی حاشیه نویسی BWS در مقیاس بزرگ.سرانجام ، ما در حوزه های گفتگو و احساسات نشان می دهیم که چگونه این حاشیه نویسی ها می توانند از مدل های یادگیری قوی برای رتبه بندی پشتیبانی کنند.