ترجمه فارسی مقاله NeuSemSlice: به سوی نگهداری مؤثر مدل DNN از طریق برش معنایی در سطح نورون

چکیده

Deep Neural networks (DNNs), extensively applied across diverse disciplines, are characterized by their integrated and monolithic architectures, setting them apart from conventional software systems. This architectural difference introduces particular challenges to maintenance tasks, such as model restructuring (e.g., model compression), re-adaptation (e.g., fitting new samples), and incremental development (e.g., continual knowledge accumulation). Prior research addresses these challenges by identifying task-critical neuron layers, and dividing neural networks into semantically-similar sequential modules. However, such layer-level approaches fail to precisely identify and manipulate neuron-level semantic components, restricting their applicability to finer-grained model maintenance tasks. In this work, we implement NeuSemSlice, a novel framework that introduces the semantic slicing technique to effectively identify critical neuron-level semantic components in DNN models for semantic-aware model maintenance tasks. Specifically, semantic slicing identifies, categorizes and merges critical neurons across different categories and layers according to their semantic similarity, enabling their flexibility and effectiveness in the subsequent tasks. For semantic-aware model maintenance tasks, we provide a series of novel strategies based on semantic slicing to enhance NeuSemSlice. They include semantic components (i.e., critical neurons) preservation for model restructuring, critical neuron tuning for model re-adaptation, and non-critical neuron training for model incremental development. A thorough evaluation has demonstrated that NeuSemSlice significantly outperforms baselines in all three tasks.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی عمیق (DNNS) ، که به طور گسترده در رشته های متنوع اعمال می شوند ، با معماری های یکپارچه و یکپارچه آنها مشخص می شوند و آنها را از سیستم های نرم افزاری معمولی جدا می کنند.این تفاوت معماری چالش های خاصی را برای کارهای نگهداری ، مانند بازسازی مدل (به عنوان مثال ، فشرده سازی مدل) ، سازگاری مجدد (به عنوان مثال ، متناسب با نمونه های جدید) و توسعه افزایشی (به عنوان مثال ، تجمع دانش مداوم) ارائه می دهد.تحقیقات قبلی با شناسایی لایه های نورون مهم وظیفه و تقسیم شبکه های عصبی به ماژول های متوالی معنایی شبیه به این چالش ها ، به این چالش ها می پردازد.با این حال ، چنین رویکردهای سطح لایه ای در شناسایی دقیق و دستکاری اجزای معنایی در سطح نورون ، محدود کردن کاربرد آنها در کارهای نگهداری مدل ریز دانه.در این کار ، ما Neusemslice را اجرا می کنیم ، یک چارچوب جدید که تکنیک برش معنایی را برای شناسایی مؤثر اجزای معنایی در سطح عصبی در مدلهای DNN برای کارهای نگهداری مدل آگاه معنایی معرفی می کند.به طور خاص ، برش معنایی نورونهای مهم را در دسته ها و لایه های مختلف با توجه به شباهت معنایی آنها مشخص می کند ، طبقه بندی می کند و ادغام می کند و باعث انعطاف پذیری و اثربخشی آنها در کارهای بعدی می شود.برای کارهای نگهداری مدل آگاه معنایی ، ما مجموعه ای از استراتژی های جدید را بر اساس برش معنایی برای تقویت Neusemslice ارائه می دهیم.آنها شامل مؤلفه های معنایی (به عنوان مثال ، نورونهای بحرانی) برای بازسازی مدل ، تنظیم انتقادی نورون برای سازگاری مجدد مدل و آموزش نورون غیر بحرانی برای توسعه افزایشی مدل هستند.یک ارزیابی کامل نشان داده است که Neusemslice به طور قابل توجهی از خطوط پایه در هر سه کار بهتر است.