ترجمه فارسی مقاله تنظیم مدت زمان آزمایش‌های آنلاین A/B

چکیده

In designing an online A/B experiment, it is crucial to select a sample size and duration that ensure the resulting confidence interval (CI) for the treatment effect is the right width to detect an effect of meaningful magnitude with sufficient statistical power without wasting resources. While the relationship between sample size and CI width is well understood, the effect of experiment duration on CI width remains less clear. This paper provides an analytical formula for the width of a CI based on a ratio treatment effect estimator as a function of both sample size (N) and duration (T). The formula is derived from a mixed effects model with two variance components. One component, referred to as the temporal variance, persists over time for experiments where the same users are kept in the same experiment arm across different days. The remaining error variance component, by contrast, decays to zero as T gets large. The formula we derive introduces a key parameter that we call the user-specific temporal correlation (UTC), which quantifies the relative sizes of the two variance components and can be estimated from historical experiments. Higher UTC indicates a slower decay in CI width over time. On the other hand, when the UTC is 0 — as for experiments where users shuffle in and out of the experiment across days — the CI width decays at the standard parametric 1/T rate. We also study how access to pre-period data for the users in the experiment affects the CI width decay. We show our formula closely explains CI widths on real A/B experiments at YouTube.

چکیده به فارسی (ترجمه ماشینی)

در طراحی یک آزمایش آنلاین A/B ، انتخاب اندازه و مدت زمان نمونه ای که اطمینان از فاصله اطمینان حاصل (CI) برای اثر درمانی را تضمین می کند ، عرض مناسبی برای تشخیص اثر از بزرگی معنادار با قدرت آماری کافی بدون هدر دادن منابع بسیار مهم است.بشردر حالی که رابطه بین اندازه نمونه و عرض CI به خوبی درک شده است ، تأثیر مدت زمان آزمایش بر عرض CI کمتر مشخص است.در این مقاله یک فرمول تحلیلی برای عرض یک CI بر اساس یک برآوردگر اثر درمانی نسبت به عنوان تابعی از اندازه نمونه (N) و مدت زمان (T) ارائه شده است.این فرمول از یک مدل اثرات مختلط با دو مؤلفه واریانس گرفته شده است.یکی از مؤلفه ها ، که به آن واریانس زمانی گفته می شود ، با گذشت زمان برای آزمایشاتی که همان کاربران در روزهای مختلف در همان بازوی آزمایش نگهداری می شوند ، ادامه می یابد.در مقابل ، مؤلفه واریانس خطای باقیمانده ، با بزرگ شدن T به صفر می رسد.فرمولی که ما به دست می آوریم یک پارامتر کلیدی را معرفی می کند که ما آن را همبستگی زمانی خاص کاربر (UTC) می نامیم ، که اندازه های نسبی دو مؤلفه واریانس را تعیین می کند و می توان از آزمایش های تاریخی تخمین زد.UTC بالاتر نشانگر پوسیدگی کندتر در عرض CI با گذشت زمان است.از طرف دیگر ، هنگامی که UTC 0 باشد – در مورد آزمایشاتی که کاربران در طول روزها از آزمایش و خارج از آزمایش خارج می شوند – عرض CI با نرخ پارامتری استاندارد 1/t پوسیده می شود.ما همچنین بررسی می کنیم که چگونه دسترسی به داده های قبل از دوره برای کاربران در آزمایش بر پوسیدگی عرض CI تأثیر می گذارد.ما نشان می دهیم فرمول ما از نزدیک عرض CI را در آزمایش های واقعی A/B در YouTube توضیح می دهد.