مقاله ارتباطات معنایی مبتنی بر استخراج دانش برای چندین کاربر

چکیده

Deep learning (DL) has shown great potential in revolutionizing the traditional communications system. Many applications in communications have adopted DL techniques due to their powerful representation ability. However, the learning-based methods can be dependent on the training dataset and perform worse on unseen interference due to limited model generalizability and complexity. In this paper, we consider the semantic communication (SemCom) system with multiple users, where there is a limited number of training samples and unexpected interference. To improve the model generalization ability and reduce the model size, we propose a knowledge distillation (KD) based system where Transformer based encoder-decoder is implemented as the semantic encoder-decoder and fully connected neural networks are implemented as the channel encoder-decoder. Specifically, four types of knowledge transfer and model compression are analyzed. Important system and model parameters are considered, including the level of noise and interference, the number of interfering users and the size of the encoder and decoder. Numerical results demonstrate that KD significantly improves the robustness and the generalization ability when applied to unexpected interference, and it reduces the performance loss when compressing the model size.

چکیده به فارسی (ترجمه ماشینی)

Deep Learning (DL) پتانسیل بزرگی را در انقلابی در سیستم ارتباطات سنتی نشان داده است.بسیاری از برنامه های کاربردی در ارتباطات به دلیل توانایی نمایش قدرتمند آنها ، تکنیک های DL را اتخاذ کرده اند.با این حال ، روشهای مبتنی بر یادگیری می توانند به مجموعه داده های آموزش وابسته باشند و به دلیل تعمیم پذیری مدل محدود و پیچیدگی ، از تداخل غیب بدتر عمل کنند.در این مقاله ، ما سیستم ارتباط معنایی (SEMCOM) را با چندین کاربر در نظر می گیریم ، جایی که تعداد محدودی از نمونه های آموزش و تداخل غیر منتظره وجود دارد.برای بهبود توانایی کلی سازی مدل و کاهش اندازه مدل ، ما یک سیستم مبتنی بر دانش (KD) را پیشنهاد می کنیم که در آن رمزگذار رمزگذار مبتنی بر ترانسفورماتور به عنوان رمزگذار رمزگذار معنایی و شبکه های عصبی کاملاً متصل به عنوان رمزگذار کانال اجرا می شود.به طور خاص ، چهار نوع انتقال دانش و فشرده سازی مدل مورد تجزیه و تحلیل قرار می گیرد.پارامترهای مهم سیستم و مدل در نظر گرفته شده است ، از جمله سطح نویز و تداخل ، تعداد کاربران تداخل و اندازه رمزگذار و رمزگشایی.نتایج عددی نشان می دهد که KD به طور قابل توجهی استحکام و توانایی تعمیم را در هنگام تداخل غیر منتظره بهبود می بخشد و هنگام فشرده سازی اندازه مدل باعث کاهش عملکرد می شود.