ترجمه فارسی مقاله دستیابی به سخت ترین آرامش سیگموئیدها برای تأیید رسمی

چکیده

In the field of formal verification, Neural Networks (NNs) are typically reformulated into equivalent mathematical programs which are optimized over. To overcome the inherent non-convexity of these reformulations, convex relaxations of nonlinear activation functions are typically utilized. Common relaxations (i.e., static linear cuts) of “S-shaped” activation functions, however, can be overly loose, slowing down the overall verification process. In this paper, we derive tuneable hyperplanes which upper and lower bound the sigmoid activation function. When tuned in the dual space, these affine bounds smoothly rotate around the nonlinear manifold of the sigmoid activation function. This approach, termed $α$-sig, allows us to tractably incorporate the tightest possible, element-wise convex relaxation of the sigmoid activation function into a formal verification framework. We embed these relaxations inside of large verification tasks and compare their performance to LiRPA and $α$-CROWN, a state-of-the-art verification duo.

چکیده به فارسی (ترجمه ماشینی)

در زمینه تأیید رسمی ، شبکه های عصبی (NNS) به طور معمول در برنامه های ریاضی معادل که بهینه سازی می شوند ، اصلاح می شوند.برای غلبه بر غیر متمایز بودن این اصلاحات ، آرامش محدب عملکردهای فعال سازی غیرخطی به طور معمول مورد استفاده قرار می گیرد.آرامش های مشترک (به عنوان مثال ، برش های خطی استاتیک) از توابع فعال سازی “شکل S” ، با این حال ، می توانند بیش از حد سست باشند و روند تأیید کلی را کند می کنند.در این مقاله ، ما هیپرپلنهای قابل تنظیم را که بالا و پایین عملکرد فعال سازی سیگموئید را محدود می کند ، استخراج می کنیم.هنگامی که در فضای دوگانه تنظیم می شود ، این مرزهای وابسته به آرامی در اطراف منیفولد غیرخطی عملکرد فعال سازی سیگموئید می چرخند.این رویکرد ، با نام $ α $-sig ، به ما امکان می دهد تا محکم ترین آرامش محدب محدب محدب از عملکرد فعال سازی سیگموئید را در یک چارچوب تأیید رسمی قرار دهیم.ما این آرامش ها را در کارهای تأیید بزرگ جاسازی کردیم و عملکرد آنها را با LIRPA و $ α $-Crown ، یک دوتایی برتر از هنر مقایسه کردیم.