ترجمه فارسی مقاله کمیت عدم اطمینان تطبیقی ​​برای AI تولیدی

چکیده

This work is concerned with conformal prediction in contemporary applications (including generative AI) where a black-box model has been trained on data that are not accessible to the user. Mirroring split-conformal inference, we design a wrapper around a black-box algorithm which calibrates conformity scores. This calibration is local and proceeds in two stages by first adaptively partitioning the predictor space into groups and then calibrating sectionally group by group. Adaptive partitioning (self-grouping) is achieved by fitting a robust regression tree to the conformity scores on the calibration set. This new tree variant is designed in such a way that adding a single new observation does not change the tree fit with overwhelmingly large probability. This add-one-in robustness property allows us to conclude a finite sample group-conditional coverage guarantee, a refinement of the marginal guarantee. In addition, unlike traditional split-conformal inference, adaptive splitting and within-group calibration yields adaptive bands which can stretch and shrink locally. We demonstrate benefits of local tightening on several simulated as well as real examples using non-parametric regression. Finally, we consider two contemporary classification applications for obtaining uncertainty quantification around GPT-4o predictions. We conformalize skin disease diagnoses based on self-reported symptoms as well as predicted states of U.S. legislators based on summaries of their ideology. We demonstrate substantial local tightening of the uncertainty sets while attaining similar marginal coverage.

چکیده به فارسی (ترجمه ماشینی)

این کار مربوط به پیش بینی کنفورماسیونی در برنامه های معاصر (از جمله AI مولد) است که در آن یک مدل جعبه سیاه روی داده هایی که در دسترس کاربر نیستند آموزش دیده است.آینه کاری استنتاج تقسیم بندی تقسیم ، ما یک بسته بندی را در اطراف یک الگوریتم جعبه سیاه طراحی می کنیم که نمرات انطباق را کالیبره می کند.این کالیبراسیون محلی است و در دو مرحله با تقسیم بندی به صورت تطبیقی ​​فضای پیش بینی کننده به گروه ها و سپس کالیبراسیون گروه به صورت گروهی به صورت گروهی ادامه می یابد.پارتیشن بندی تطبیقی ​​(خود گروهی) با قرار دادن یک درخت رگرسیون قوی به نمرات انطباق در مجموعه کالیبراسیون حاصل می شود.این نوع درخت جدید به گونه ای طراحی شده است که اضافه کردن یک مشاهده جدید ، تناسب درخت را با احتمال بسیار زیاد تغییر نمی دهد.این خاصیت استحکام یکپارچه به ما امکان می دهد تا یک نمونه محدود ضمانت پوشش گروهی را به دست آوریم ، پالایش ضمانت حاشیه ای.علاوه بر این ، بر خلاف استنباط سنتی تقسیم بندی ، تقسیم تطبیقی ​​و کالیبراسیون درون گروهی ، نوارهای تطبیقی ​​را به دست می آورد که می توانند به صورت محلی کشش و کوچک شوند.ما مزایای سفت شدن محلی را در چندین نمونه شبیه سازی شده و همچنین واقعی با استفاده از رگرسیون غیر پارامتری نشان می دهیم.سرانجام ، ما دو برنامه طبقه بندی معاصر را برای به دست آوردن کمیت عدم اطمینان در اطراف پیش بینی های GPT-4O در نظر می گیریم.ما تشخیص بیماری های پوستی را بر اساس علائم خود گزارش شده و همچنین کشورهای پیش بینی شده قانونگذاران ایالات متحده بر اساس خلاصه ای از ایدئولوژی آنها مطابقت می دهیم.ما ضمن دستیابی به پوشش حاشیه ای مشابه ، محکم سازی محلی قابل توجهی از مجموعه های عدم اطمینان را نشان می دهیم.