ترجمه فارسی مقاله آیا یک اوراکل بیزی می‌تواند از آسیب یک عامل جلوگیری کند؟

چکیده

Is there a way to design powerful AI systems based on machine learning methods that would satisfy probabilistic safety guarantees? With the long-term goal of obtaining a probabilistic guarantee that would apply in every context, we consider estimating a context-dependent bound on the probability of violating a given safety specification. Such a risk evaluation would need to be performed at run-time to provide a guardrail against dangerous actions of an AI. Noting that different plausible hypotheses about the world could produce very different outcomes, and because we do not know which one is right, we derive bounds on the safety violation probability predicted under the true but unknown hypothesis. Such bounds could be used to reject potentially dangerous actions. Our main results involve searching for cautious but plausible hypotheses, obtained by a maximization that involves Bayesian posteriors over hypotheses. We consider two forms of this result, in the iid case and in the non-iid case, and conclude with open problems towards turning such theoretical results into practical AI guardrails.

چکیده به فارسی (ترجمه ماشینی)

آیا راهی برای طراحی سیستم های قدرتمند هوش مصنوعی بر اساس روشهای یادگیری ماشین وجود دارد که تضمین های ایمنی احتمالی را برآورده می کند؟با هدف بلند مدت از به دست آوردن ضمانت احتمالی که در هر زمینه اعمال می شود ، ما تخمین می زنیم که وابسته به متن در مورد احتمال نقض مشخصات ایمنی معین باشد.چنین ارزیابی ریسک لازم است در زمان اجرا انجام شود تا یک نگهبان در برابر اقدامات خطرناک یک هوش مصنوعی فراهم شود.با توجه به اینکه فرضیه های قابل قبول مختلف در مورد جهان می تواند نتایج بسیار متفاوتی ایجاد کند ، و از آنجا که ما نمی دانیم کدام یک درست است ، ما محدودیت هایی را برای احتمال نقض ایمنی پیش بینی می کنیم که تحت فرضیه واقعی اما ناشناخته پیش بینی شده است.از چنین مرزهایی می توان برای رد اقدامات بالقوه خطرناک استفاده کرد.نتایج اصلی ما شامل جستجوی فرضیه های محتاطانه اما قابل قبول است که توسط حداکثر رساندن که شامل خلفی های بیزی بر فرضیه ها می شود ، بدست می آید.ما دو شکل از این نتیجه را در مورد IID و در مورد غیر IID در نظر می گیریم و با مشکلات باز در جهت تبدیل چنین نتایج نظری به نگهبان های عملی AI نتیجه می گیریم.