ترجمه فارسی مقاله حاشیه‌نویس در حلقه: مطالعه موردی مشارکت عمیق ارزیاب برای ایجاد یک مجموعه داده معیار پل‌زننده

چکیده

With the growing prevalence of large language models, it is increasingly common to annotate datasets for machine learning using pools of crowd raters. However, these raters often work in isolation as individual crowdworkers. In this work, we regard annotation not merely as inexpensive, scalable labor, but rather as a nuanced interpretative effort to discern the meaning of what is being said in a text. We describe a novel, collaborative, and iterative annotator-in-the-loop methodology for annotation, resulting in a ‘Bridging Benchmark Dataset’ of comments relevant to bridging divides, annotated from 11,973 textual posts in the Civil Comments dataset. The methodology differs from popular anonymous crowd-rating annotation processes due to its use of an in-depth, iterative engagement with seven US-based raters to (1) collaboratively refine the definitions of the to-be-annotated concepts and then (2) iteratively annotate complex social concepts, with check-in meetings and discussions. This approach addresses some shortcomings of current anonymous crowd-based annotation work, and we present empirical evidence of the performance of our annotation process in the form of inter-rater reliability. Our findings indicate that collaborative engagement with annotators can enhance annotation methods, as opposed to relying solely on isolated work conducted remotely. We provide an overview of the input texts, attributes, and annotation process, along with the empirical results and the resulting benchmark dataset, categorized according to the following attributes: Alienation, Compassion, Reasoning, Curiosity, Moral Outrage, and Respect.

چکیده به فارسی (ترجمه ماشینی)

با شیوع رو به رشد مدلهای بزرگ زبان ، به طور فزاینده ای برای حاشیه نویسی مجموعه داده ها برای یادگیری ماشین با استفاده از استخرهای جمع کننده جمعیت متداول است.با این حال ، این رأی دهندگان غالباً به عنوان افراد جمعیتی در انزوا کار می کنند.در این کار ، ما حاشیه نویسی را نه فقط به عنوان کار ارزان ، مقیاس پذیر ، بلکه به عنوان یک تلاش تفسیری ظریف برای تشخیص معنای آنچه در یک متن گفته می شود ، می دانیم.ما یک روش جدید ، مشارکتی و تکراری حاشیه نویسی در حلقه را برای حاشیه نویسی توصیف می کنیم ، و در نتیجه “مجموعه داده های معیار پل” از نظرات مربوط به تقسیم پل ها ، حاشیه نویسی از 11.973 پست متنی در مجموعه داده های مدنی.این روش به دلیل استفاده از یک تعامل عمیق و تکراری با هفت رأی دهنده مستقر در ایالات متحده به (1) مشارکتی ، تعاریف مفاهیم مربوط به آنوته شده و سپس (2) ، با فرآیندهای حاشیه نویسی محبوب ناشناس جمعیت متفاوت است.با جلسات و بحث و گفتگوها ، مفاهیم پیچیده اجتماعی را به طور تکراری حاشیه نویسی کنید.این رویکرد به برخی از کاستی های کار حاشیه نویسی مبتنی بر جمعیت ناشناس فعلی می پردازد ، و ما شواهد تجربی از عملکرد فرایند حاشیه نویسی خود را در قالب قابلیت اطمینان بین متقابل ارائه می دهیم.یافته های ما نشان می دهد که تعامل مشارکتی با حاشیه نویسان می تواند روشهای حاشیه نویسی را تقویت کند ، بر خلاف تکیه تنها به کار منزوی انجام شده از راه دور.ما یک مرور کلی از متون ورودی ، ویژگی ها و فرآیند حاشیه نویسی به همراه نتایج تجربی و مجموعه داده معیار حاصل ، طبقه بندی شده با توجه به ویژگی های زیر ارائه می دهیم: بیگانگی ، دلسوزی ، استدلال ، کنجکاوی ، خشم اخلاقی و احترام.