ترجمه فارسی مقاله مدل در حلقه (MILO): تسریع حاشیه نویسی داده های چند حالته هوش مصنوعی با LLMS

چکیده

The growing demand for AI training data has transformed data annotation into a global industry, but traditional approaches relying on human annotators are often time-consuming, labor-intensive, and prone to inconsistent quality. We propose the Model-in-the-Loop (MILO) framework, which integrates AI/ML models into the annotation process. Our research introduces a collaborative paradigm that leverages the strengths of both professional human annotators and large language models (LLMs). By employing LLMs as pre-annotation and real-time assistants, and judges on annotator responses, MILO enables effective interaction patterns between human annotators and LLMs. Three empirical studies on multimodal data annotation demonstrate MILO’s efficacy in reducing handling time, improving data quality, and enhancing annotator experiences. We also introduce quality rubrics for flexible evaluation and fine-grained feedback on open-ended annotations. The MILO framework has implications for accelerating AI/ML development, reducing reliance on human annotation alone, and promoting better alignment between human and machine values.

چکیده به فارسی (ترجمه ماشینی)

تقاضای فزاینده برای داده های آموزش AI ، حاشیه نویسی داده ها را به یک صنعت جهانی تبدیل کرده است ، اما رویکردهای سنتی با تکیه بر حاشیه نویسان انسانی غالباً وقت گیر ، فشرده کار و مستعد کیفیت متناقض هستند.ما چارچوب مدل در حلقه (MILO) را پیشنهاد می کنیم ، که مدل های AI/ML را در فرآیند حاشیه نویسی ادغام می کند.تحقیقات ما یک الگوی مشترک را معرفی می کند که از نقاط قوت حاشیه نویسی حرفه ای انسانی و مدل های بزرگ زبان (LLM) استفاده می کند.MILO با استفاده از LLM ها به عنوان دستیاران پیش از حاشیه و در زمان واقعی و داوران پاسخ های حاشیه نویسی ، الگوهای تعامل مؤثر بین حاشیه نویسی های انسانی و LLM ها را امکان پذیر می کند.سه مطالعه تجربی در حاشیه نویسی داده های چندمودالی نشان دهنده اثربخشی میلو در کاهش زمان رسیدگی ، بهبود کیفیت داده ها و تقویت تجربیات حاشیه نویسی است.ما همچنین برای ارزیابی انعطاف پذیر و بازخورد ریز و درشت در حاشیه های باز ، مقالات با کیفیت را معرفی می کنیم.چارچوب MILO پیامدهایی برای تسریع در توسعه AI/ML ، کاهش اعتماد به نفس به تنهایی و ترویج تراز بهتر بین مقادیر انسانی و دستگاه دارد.