ترجمه فارسی مقاله معیارها و روش‌های ارزیابی برای مدل‌های مولد در لایه فیزیکی بی‌سیم

چکیده

Generative models are typically evaluated by direct inspection of their generated samples, e.g., by visual inspection in the case of images. Further evaluation metrics like the Fréchet inception distance or maximum mean discrepancy are intricate to interpret and lack physical motivation. These observations make evaluating generative models in the wireless PHY layer non-trivial. This work establishes a framework consisting of evaluation metrics and methods for generative models applied to the wireless PHY layer. The proposed metrics and methods are motivated by wireless applications, facilitating interpretation and understandability for the wireless community. In particular, we propose a spectral efficiency analysis for validating the generated channel norms and a codebook fingerprinting method to validate the generated channel directions. Moreover, we propose an application cross-check to evaluate the generative model’s samples for training machine learning-based models in relevant downstream tasks. Our analysis is based on real-world measurement data and includes the Gaussian mixture model, variational autoencoder, diffusion model, and generative adversarial network as generative models. Our results under a fair comparison in terms of model architecture indicate that solely relying on metrics like the maximum mean discrepancy produces insufficient evaluation outcomes. In contrast, the proposed metrics and methods exhibit consistent and explainable behavior.

چکیده به فارسی (ترجمه ماشینی)

مدل های تولیدی به طور معمول با بازرسی مستقیم نمونه های تولید شده آنها ، به عنوان مثال ، با بازرسی بصری در مورد تصاویر ارزیابی می شوند.معیارهای ارزیابی بیشتر مانند فاصله فرکست در فاصله یا حداکثر اختلاف برای تفسیر و نداشتن انگیزه جسمی پیچیده است.این مشاهدات ارزیابی مدل های تولیدی در لایه PHY بی سیم غیر مهم است.این کار چارچوبی متشکل از معیارهای ارزیابی و روشهای مدل های تولیدی اعمال شده برای لایه PHY بی سیم را ایجاد می کند.معیارها و روشهای پیشنهادی توسط برنامه های بی سیم ایجاد می شود و تفسیر و درک آن را برای جامعه بی سیم تسهیل می کند.به طور خاص ، ما یک تجزیه و تحلیل راندمان طیفی برای اعتبارسنجی هنجارهای کانال تولید شده و یک روش اثر انگشت کد کد برای اعتبارسنجی جهت های کانال تولید شده پیشنهاد می کنیم.علاوه بر این ، ما یک چک کاربردی را برای ارزیابی نمونه های مدل تولیدی برای آموزش مدل های مبتنی بر یادگیری ماشین در کارهای پایین دست پیشنهاد می کنیم.تجزیه و تحلیل ما بر اساس داده های اندازه گیری در دنیای واقعی استوار است و شامل مدل مخلوط گاوسی ، اتوآنکودر متغیر ، مدل انتشار و شبکه مخالف مولد به عنوان مدل های تولیدی است.نتایج ما تحت یک مقایسه عادلانه از نظر معماری مدل نشان می دهد که صرفاً با تکیه بر معیارهایی مانند حداکثر میانگین اختلاف ، نتایج ارزیابی کافی را ایجاد نمی کند.در مقابل ، معیارها و روشهای پیشنهادی رفتار مداوم و قابل توضیح را نشان می دهند.