مقاله اتصال یادگیری ماشین کلاسیک و کوانتومی: انتقال دانش از شبکه های عصبی کلاسیک به کوانتومی با استفاده از استخراج دانش

چکیده

Very recently, studies have shown that quantum neural networks surpass classical neural networks in tasks like image classification when a similar number of learnable parameters are used. However, the development and optimization of quantum models are currently hindered by issues such as qubit instability and limited qubit availability, leading to error-prone systems with weak performance. In contrast, classical models can exhibit high-performance owing to substantial resource availability. As a result, more studies have been focusing on hybrid classical-quantum integration. A line of research particularly focuses on transfer learning through classical-quantum integration or quantum-quantum approaches. Unlike previous studies, this paper introduces a new method to transfer knowledge from classical to quantum neural networks using knowledge distillation, effectively bridging the gap between classical machine learning and emergent quantum computing techniques. We adapt classical convolutional neural network (CNN) architectures like LeNet and AlexNet to serve as teacher networks, facilitating the training of student quantum models by sending supervisory signals during backpropagation through KL-divergence. The approach yields significant performance improvements for the quantum models by solely depending on classical CNNs, with quantum models achieving an average accuracy improvement of 0.80% on the MNIST dataset and 5.40% on the more complex Fashion MNIST dataset. Applying this technique eliminates the cumbersome training of huge quantum models for transfer learning in resource-constrained settings and enables re-using existing pre-trained classical models to improve performance.Thus, this study paves the way for future research in quantum machine learning (QML) by positioning knowledge distillation as a core technique for advancing QML applications.

چکیده به فارسی (ترجمه ماشینی)

اخیراً ، مطالعات نشان داده اند که شبکه های عصبی کوانتومی در هنگام استفاده از تعداد مشابهی از پارامترهای قابل یادگیری ، از شبکه های عصبی کلاسیک در کارهایی مانند طبقه بندی تصویر پیشی می گیرند.با این حال ، توسعه و بهینه سازی مدل های کوانتومی در حال حاضر توسط موضوعاتی مانند بی ثباتی quit و در دسترس بودن محدود در دسترس است و منجر به سیستم های مستعد خطا با عملکرد ضعیف می شود.در مقابل ، مدل های کلاسیک به دلیل در دسترس بودن منابع قابل توجه می توانند با کارایی بالا نشان دهند.در نتیجه ، مطالعات بیشتر بر ادغام ترکیبی کلاسیک و کوانهای ترکیبی متمرکز شده است.یک خط تحقیق به ویژه بر یادگیری انتقال از طریق ادغام کلاسیک-کوانه یا رویکردهای کوانتومی-کواانتوم متمرکز است.بر خلاف مطالعات قبلی ، این مقاله روش جدیدی را برای انتقال دانش از شبکه های عصبی کلاسیک به کوانتومی با استفاده از تقطیر دانش ارائه می دهد ، و به طور مؤثر شکاف بین یادگیری ماشین کلاسیک و تکنیک های محاسبات کوانتومی نوظهور را ایجاد می کند.ما معماری های شبکه عصبی کلاسیک Convolutional (CNN) مانند LENET و ALEXNET را برای خدمت به عنوان شبکه معلمان سازگار می کنیم و با ارسال سیگنال های نظارتی در حین بازگشت مجدد از طریق KL-Divergence ، آموزش مدل های کوانتومی دانشجویی را تسهیل می کنیم.این رویکرد صرفاً بسته به CNN های کلاسیک ، عملکردهای قابل توجهی را برای مدل های کوانتومی به همراه دارد ، با مدل های کوانتومی که به طور متوسط به بهبود دقت 0.80 ٪ در مجموعه داده MNIST و 5.40 ٪ در مجموعه داده های پیچیده تر MNIST دست می یابند.با استفاده از این تکنیک ، آموزش دست و پا گیر مدل های کوانتومی عظیم برای یادگیری انتقال در تنظیمات محدود شده منابع را از بین می برد و از مدل های کلاسیک از پیش آموزش موجود برای بهبود عملکرد استفاده می کند. این مطالعه راه را برای تحقیقات آینده در یادگیری ماشین کوانتومی هموار می کند (QML) با قرار دادن تقطیر دانش به عنوان یک روش اصلی برای پیشبرد برنامه های QML.