ترجمه فارسی مقاله تجزیه و تحلیل داده های رتبه بندی ICML 2023: آیا نظرات نویسندگان درباره مقالات خود می تواند به بررسی همتایان در یادگیری ماشین کمک کند؟
عنوان مقاله به انگلیسی
Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning?
عنوان مقاله به فارسی
تجزیه و تحلیل داده های رتبه بندی ICML 2023: آیا نظرات نویسندگان درباره مقالات خود می تواند به بررسی همتایان در یادگیری ماشین کمک کند؟
نویسندگان
Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie J. Su
Applications,Digital Libraries,Computer Science and Game Theory,Machine Learning,Machine Learning,برنامه ها , کتابخانه های دیجیتال , علوم کامپیوتر و نظریه بازی , یادگیری ماشین , یادگیری ماشین
توضیحات
Submitted 23 August, 2024; originally announced August 2024. , Comments: See more details about the experiment at https://openrank.cc/
توضیحات به فارسی
ارسال شده 23 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد. ، نظرات: جزئیات بیشتر در مورد آزمایش را در https://openrank.cc/ مشاهده کنید
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
We conducted an experiment during the review process of the 2023 International Conference on Machine Learning (ICML) that requested authors with multiple submissions to rank their own papers based on perceived quality. We received 1,342 rankings, each from a distinct author, pertaining to 2,592 submissions. In this paper, we present an empirical analysis of how author-provided rankings could be leveraged to improve peer review processes at machine learning conferences. We focus on the Isotonic Mechanism, which calibrates raw review scores using author-provided rankings. Our analysis demonstrates that the ranking-calibrated scores outperform raw scores in estimating the ground truth ``expected review scores'' in both squared and absolute error metrics. Moreover, we propose several cautious, low-risk approaches to using the Isotonic Mechanism and author-provided rankings in peer review processes, including assisting senior area chairs' oversight of area chairs' recommendations, supporting the selection of paper awards, and guiding the recruitment of emergency reviewers. We conclude the paper by addressing the study's limitations and proposing future research directions.
چکیده به فارسی (ترجمه ماشینی)
ما یک آزمایش را در طی فرایند بررسی کنفرانس بین المللی 2023 یادگیری ماشین (ICML) انجام دادیم که از نویسندگان با ارسال های متعدد درخواست کرد تا مقالات خود را بر اساس کیفیت درک شده رتبه بندی کنند.ما 1،342 رتبه بندی دریافت کردیم که هر کدام از یک نویسنده مجزا ، مربوط به 2.592 ارسالی است.در این مقاله ، ما یک تجزیه و تحلیل تجربی از چگونگی استفاده از رتبه بندی های ارائه شده توسط نویسنده برای بهبود فرآیندهای بررسی همسالان در کنفرانس های یادگیری ماشین ارائه می دهیم.ما روی مکانیسم ایزوتونیک تمرکز می کنیم ، که نمرات بررسی خام را با استفاده از رتبه بندی های ارائه شده توسط نویسنده کالیبره می کند.تجزیه و تحلیل ما نشان می دهد که نمرات رده بندی کالیبره شده از نمرات خام در برآورد حقیقت زمین "نمرات بررسی مورد انتظار" در هر دو معیارهای خطای مربع و مطلق.علاوه بر این ، ما چندین رویکرد محتاطانه و کم خطر را برای استفاده از مکانیسم ایزوتونیک و رتبه بندی های نویسنده ارائه شده در فرآیندهای بررسی همسالان ، از جمله کمک به نظارت بر صندلی های منطقه ارشد از توصیه های صندلی های منطقه ، حمایت از انتخاب جوایز کاغذی و هدایت استخدام پیشنهاد می کنیم.از داوران اضطراری.ما مقاله را با پرداختن به محدودیت های مطالعه و پیشنهاد مسیرهای تحقیق آینده نتیجه می گیریم.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
