ترجمه فارسی مقاله HMoE: ترکیبی ناهمگن از کارشناسان برای مدل‌سازی زبان

چکیده

Mixture of Experts (MoE) offers remarkable performance and computational efficiency by selectively activating subsets of model parameters. Traditionally, MoE models use homogeneous experts, each with identical capacity. However, varying complexity in input data necessitates experts with diverse capabilities, while homogeneous MoE hinders effective expert specialization and efficient parameter utilization. In this study, we propose a novel Heterogeneous Mixture of Experts (HMoE), where experts differ in size and thus possess diverse capacities. This heterogeneity allows for more specialized experts to handle varying token complexities more effectively. To address the imbalance in expert activation, we propose a novel training objective that encourages the frequent activation of smaller experts, enhancing computational efficiency and parameter utilization. Extensive experiments demonstrate that HMoE achieves lower loss with fewer activated parameters and outperforms conventional homogeneous MoE models on various pre-training evaluation benchmarks. Codes will be released upon acceptance.

چکیده به فارسی (ترجمه ماشینی)

مخلوط متخصصان (MOE) با فعال کردن انتخاب زیر مجموعه های پارامترهای مدل ، عملکرد و راندمان محاسباتی قابل توجهی را ارائه می دهد.به طور سنتی ، مدل های MOE از متخصصان همگن استفاده می کنند که هر یک از آنها ظرفیت یکسان دارند.با این حال ، پیچیدگی متغیر در داده های ورودی به متخصصان دارای قابلیت های متنوع نیاز دارد ، در حالی که MOE همگن مانع تخصص تخصصی مؤثر و استفاده از پارامتر کارآمد می شود.در این مطالعه ، ما یک مخلوط ناهمگن جدید از متخصصان (HMOE) را پیشنهاد می کنیم ، که در آن متخصصان از نظر اندازه متفاوت هستند و بنابراین ظرفیت های متنوعی دارند.این ناهمگونی به متخصصان تخصصی تر اجازه می دهد تا پیچیدگی های مختلف را به طور مؤثر کنترل کنند.برای پرداختن به عدم تعادل در فعال سازی متخصص ، ما یک هدف آموزش جدید را پیشنهاد می کنیم که فعال سازی مکرر متخصصان کوچکتر را تشویق می کند ، باعث افزایش کارایی محاسباتی و استفاده از پارامترها می شود.آزمایش های گسترده نشان می دهد که HMOE با پارامترهای فعال شده کمتری دست به دست می دهد و از مدل های MOE همگن معمولی در معیارهای مختلف ارزیابی قبل از آموزش بهتر عمل می کند.کدها پس از پذیرش منتشر می شوند.