ترجمه فارسی مقاله تست قوی جعبه سیاه شبکه های عصبی عمیق با استفاده از پوشش هم دامنه

چکیده

Rigorous testing of machine learning models is necessary for trustworthy deployments. We present a novel black-box approach for generating test-suites for robust testing of deep neural networks (DNNs). Most existing methods create test inputs based on maximizing some “coverage” criterion/metric such as a fraction of neurons activated by the test inputs. Such approaches, however, can only analyze each neuron’s behavior or each layer’s output in isolation and are unable to capture their collective effect on the DNN’s output, resulting in test suites that often do not capture the various failure modes of the DNN adequately. These approaches also require white-box access, i.e., access to the DNN’s internals (node activations). We present a novel black-box coverage criterion called Co-Domain Coverage (CDC), which is defined as a function of the model’s output and thus takes into account its end-to-end behavior. Subsequently, we develop a new fuzz testing procedure named CoDoFuzz, which uses CDC to guide the fuzzing process to generate a test suite for a DNN. We extensively compare the test suite generated by CoDoFuzz with those generated using several state-of-the-art coverage-based fuzz testing methods for the DNNs trained on six publicly available datasets. Experimental results establish the efficiency and efficacy of CoDoFuzz in generating the largest number of misclassified inputs and the inputs for which the model lacks confidence in its decision.

چکیده به فارسی (ترجمه ماشینی)

آزمایش دقیق مدل های یادگیری ماشین برای استقرار قابل اعتماد ضروری است.ما یک رویکرد جدید جعبه سیاه برای تولید لباس های آزمون برای آزمایش قوی شبکه های عصبی عمیق (DNN) ارائه می دهیم.بیشتر روشهای موجود ورودی های آزمایش را بر اساس به حداکثر رساندن برخی معیارهای “پوشش”/متریک مانند کسری از نورون های فعال شده توسط ورودی های آزمایش ایجاد می کنند.با این حال ، چنین رویکردهایی فقط می توانند رفتار هر نورون یا خروجی هر لایه را در انزوا تجزیه و تحلیل کنند و قادر به ضبط اثر جمعی خود بر روی خروجی DNN نیستند ، و در نتیجه سوئیت های آزمایشی که اغلب حالت های مختلف خرابی DNN را به اندازه کافی ضبط نمی کنند.این رویکردها همچنین به دسترسی به جعبه سفید ، یعنی دسترسی به داخلی DNN (فعال سازی گره) نیاز دارند.ما یک معیار پوشش جدید جعبه سیاه به نام Co-Domain Coverage (CDC) ارائه می دهیم ، که به عنوان تابعی از خروجی مدل تعریف می شود و بنابراین رفتار نهایی به انتهای آن را در نظر می گیرد.پس از آن ، ما یک روش آزمایش جدید فازی به نام Codofuzz ​​ایجاد می کنیم ، که از CDC برای هدایت فرآیند فازی برای تولید یک مجموعه تست برای DNN استفاده می کند.ما به طور گسترده مجموعه تست تولید شده توسط Codofuzz ​​را با آنهایی که با استفاده از چندین روش تست فازی مبتنی بر پوشش پیشرفته برای DNN ها آموزش داده شده در شش مجموعه داده در دسترس عمومی مقایسه می کنیم ، مقایسه می کنیم.نتایج تجربی ، کارآیی و اثربخشی کدوفاز را در تولید بیشترین تعداد ورودی های نادرست طبقه بندی شده و ورودی هایی که مدل برای آن اعتماد به نفس در تصمیم خود ندارد ، تعیین می کند.