ترجمه فارسی مقاله یادگیری توزیعی برای رگرسیون مولکولی

چکیده

Using “soft” targets to improve model performance has been shown to be effective in classification settings, but the usage of soft targets for regression is a much less studied topic in machine learning. The existing literature on the usage of soft targets for regression fails to properly assess the method’s limitations, and empirical evaluation is quite limited. In this work, we assess the strengths and drawbacks of existing methods when applied to molecular property regression tasks. Our assessment outlines key biases present in existing methods and proposes methods to address them, evaluated through careful ablation studies. We leverage these insights to propose Distributional Mixture of Experts (DMoE): A model-independent, and data-independent method for regression which trains a model to predict probability distributions of its targets. Our proposed loss function combines the cross entropy between predicted and target distributions and the L1 distance between their expected values to produce a loss function that is robust to the outlined biases. We evaluate the performance of DMoE on different molecular property prediction datasets — Open Catalyst (OC20), MD17, and QM9 — across different backbone model architectures — SchNet, GemNet, and Graphormer. Our results demonstrate that the proposed method is a promising alternative to classical regression for molecular property prediction tasks, showing improvements over baselines on all datasets and architectures.

چکیده به فارسی (ترجمه ماشینی)

استفاده از اهداف “نرم” برای بهبود عملکرد مدل در تنظیمات طبقه بندی مؤثر است ، اما استفاده از اهداف نرم برای رگرسیون موضوعی بسیار کمتر مورد مطالعه در یادگیری ماشین است.ادبیات موجود در مورد استفاده از اهداف نرم برای رگرسیون نتوانسته است به درستی محدودیت های روش را ارزیابی کند و ارزیابی تجربی کاملاً محدود است.در این کار ، نقاط قوت و اشکال روشهای موجود را هنگام استفاده از وظایف رگرسیون خاصیت مولکولی ارزیابی می کنیم.ارزیابی ما تعصبات کلیدی موجود در روشهای موجود را تشریح می کند و روش هایی را برای پرداختن به آنها ارائه می دهد ، که از طریق مطالعات دقیق فرسایش ارزیابی می شود.ما از این بینش ها برای پیشنهاد مخلوط توزیع متخصصان (DMOE) استفاده می کنیم: یک روش مستقل و مستقل از داده برای رگرسیون که یک مدل را برای پیش بینی توزیع احتمال اهداف خود آموزش می دهد.عملکرد از دست دادن پیشنهادی ما آنتروپی متقابل بین توزیع پیش بینی شده و هدف و فاصله L1 بین مقادیر مورد انتظار آنها را برای تولید یک عملکرد از دست دادن که در برابر تعصبات مشخص شده قوی است ، ترکیب می کند.ما عملکرد DMOE را در مجموعه داده های پیش بینی خاصیت مولکولی – کاتالیزور باز (OC20) ، MD17 و QM9 – در معماری های مختلف مدل ستون فقرات – Schnet ، Gemnet و GraphorMer ارزیابی می کنیم.نتایج ما نشان می دهد که روش پیشنهادی یک جایگزین امیدوار کننده برای رگرسیون کلاسیک برای کارهای پیش بینی خاصیت مولکولی است ، که نشان دهنده پیشرفت هایی در خط مقدم در کلیه مجموعه داده ها و معماری ها است.