ترجمه فارسی مقاله AExGym: معیارها و محیط‌هایی برای آزمایش‌های تطبیقی

چکیده

Innovations across science and industry are evaluated using randomized trials (a.k.a. A/B tests). While simple and robust, such static designs are inefficient or infeasible for testing many hypotheses. Adaptive designs can greatly improve statistical power in theory, but they have seen limited adoption due to their fragility in practice. We present a benchmark for adaptive experimentation based on real-world datasets, highlighting prominent practical challenges to operationalizing adaptivity: non-stationarity, batched/delayed feedback, multiple outcomes and objectives, and external validity. Our benchmark aims to spur methodological development that puts practical performance (e.g., robustness) as a central concern, rather than mathematical guarantees on contrived instances. We release an open source library, AExGym, which is designed with modularity and extensibility in mind to allow experimentation practitioners to develop custom environments and algorithms.

چکیده به فارسی (ترجمه ماشینی)

نوآوری ها در سراسر علم و صنعت با استفاده از کارآزمایی های تصادفی (آزمون a/b) ارزیابی می شوند.در حالی که ساده و قوی است ، چنین طرح های استاتیک برای آزمایش بسیاری از فرضیه ها ناکارآمد یا غیرقابل نفوذ هستند.طرح های تطبیقی ​​می توانند در تئوری قدرت آماری را تا حد زیادی بهبود بخشند ، اما آنها به دلیل شکنندگی در عمل ، شاهد اتخاذ محدود هستند.ما یک معیار برای آزمایش تطبیقی ​​مبتنی بر مجموعه داده های دنیای واقعی ارائه می دهیم ، و برجسته کردن چالش های برجسته عملی برای عملیاتی کردن سازگاری: عدم استقرار ، بازخورد مقطع/تأخیر ، نتایج و اهداف متعدد و اعتبار خارجی.معیار ما هدف از توسعه روش شناختی است که عملکرد عملی (به عنوان مثال ، استحکام) را به عنوان یک نگرانی اصلی به جای ضمانت های ریاضی در موارد متضاد قرار می دهد.ما یک کتابخانه منبع باز ، AEXGYM را منتشر می کنیم ، که با مدولار بودن و قابلیت گسترش در ذهن طراحی شده است تا پزشکان آزمایش بتوانند محیط های سفارشی و الگوریتم ها را توسعه دهند.