ترجمه فارسی مقاله جاسازی گراف دانش فدرال با ابعاد پایین از طریق تقطیر دانش

چکیده

Federated Knowledge Graph Embedding (FKGE) aims to facilitate collaborative learning of entity and relation embeddings from distributed Knowledge Graphs (KGs) across multiple clients, while preserving data privacy. Training FKGE models with higher dimensions is typically favored due to their potential for achieving superior performance. However, high-dimensional embeddings present significant challenges in terms of storage resource and inference speed. Unlike traditional KG embedding methods, FKGE involves multiple client-server communication rounds, where communication efficiency is critical. Existing embedding compression methods for traditional KGs may not be directly applicable to FKGE as they often require multiple model trainings which potentially incur substantial communication costs. In this paper, we propose a light-weight component based on Knowledge Distillation (KD) which is titled FedKD and tailored specifically for FKGE methods. During client-side local training, FedKD facilitates the low-dimensional student model to mimic the score distribution of triples from the high-dimensional teacher model using KL divergence loss. Unlike traditional KD way, FedKD adaptively learns a temperature to scale the score of positive triples and separately adjusts the scores of corresponding negative triples using a predefined temperature, thereby mitigating teacher over-confidence issue. Furthermore, we dynamically adjust the weight of KD loss to optimize the training process. Extensive experiments on three datasets support the effectiveness of FedKD.

چکیده به فارسی (ترجمه ماشینی)

تعبیه نمودار دانش فدرال (FKGE) با هدف تسهیل یادگیری مشارکتی از موجودیت و تعبیه های رابطه از نمودارهای دانش توزیع شده (KGS) در چندین مشتری ، ضمن حفظ حریم خصوصی داده ها.آموزش مدل های FKGE با ابعاد بالاتر به دلیل پتانسیل آنها برای دستیابی به عملکرد برتر ، معمولاً مورد علاقه قرار می گیرد.با این حال ، تعبیه های با ابعاد بالا از نظر منابع ذخیره سازی و سرعت استنتاج چالش های قابل توجهی را نشان می دهند.بر خلاف روشهای تعبیه شده KG سنتی ، FKGE شامل چندین دوره ارتباطی مشتری-سرور است ، جایی که راندمان ارتباطات بسیار مهم است.روش های فشرده سازی موجود برای KG های سنتی ممکن است به طور مستقیم برای FKGE کاربردی نباشد زیرا اغلب به آموزش های مدل چندگانه نیاز دارند که به طور بالقوه هزینه های ارتباطی قابل توجهی را متحمل می شوند.در این مقاله ، ما یک مؤلفه وزن سبک را بر اساس تقطیر دانش (KD) پیشنهاد می کنیم که با عنوان FEDKD با عنوان و به طور خاص برای روش های FKGE متناسب است.در حین آموزش محلی در سمت مشتری ، فدکد مدل دانشجویی کم بعدی را تسهیل می کند تا از توزیع نمره سه گانه از مدل معلم با ابعاد بالا با استفاده از از دست دادن واگرایی KL تقلید کند.بر خلاف راه سنتی KD ، FedKD به طور تطبیقی ​​دما را برای مقیاس نمره سه گانه مثبت می آموزد و به طور جداگانه نمرات سه گانه منفی مربوطه را با استفاده از دمای از پیش تعریف شده تنظیم می کند ، در نتیجه مسئله اعتماد به نفس معلم را کاهش می دهد.علاوه بر این ، ما به طور پویا وزن کاهش KD را برای بهینه سازی فرایند آموزش تنظیم می کنیم.آزمایش های گسترده در سه مجموعه داده از اثربخشی FEDKD پشتیبانی می کند.