ترجمه فارسی مقاله LOLA – یک مدل زبان بزرگ چندزبانه منبع باز

چکیده

This paper presents LOLA, a massively multilingual large language model trained on more than 160 languages using a sparse Mixture-of-Experts Transformer architecture. Our architectural and implementation choices address the challenge of harnessing linguistic diversity while maintaining efficiency and avoiding the common pitfalls of multilinguality. Our analysis of the evaluation results shows competitive performance in natural language generation and understanding tasks. Additionally, we demonstrate how the learned expert-routing mechanism exploits implicit phylogenetic linguistic patterns to potentially alleviate the curse of multilinguality. We provide an in-depth look at the training process, an analysis of the datasets, and a balanced exploration of the model’s strengths and limitations. As an open-source model, LOLA promotes reproducibility and serves as a robust foundation for future research. Our findings enable the development of compute-efficient multilingual models with strong, scalable performance across languages.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله لولا ، یک مدل بزرگ زبان بزرگ چند زبانه که بر روی بیش از 160 زبان با استفاده از یک معماری پراکنده از کارآزمایی ترانسفورماتور آموزش دیده است ، ارائه می دهد.گزینه های معماری و اجرای ما به چالش استفاده از تنوع زبانی ضمن حفظ کارایی و جلوگیری از مشکلات مشترک چند زبانه ، می پردازد.تجزیه و تحلیل ما از نتایج ارزیابی عملکرد رقابتی در تولید زبان طبیعی و درک وظایف را نشان می دهد.علاوه بر این ، ما نشان می دهیم که چگونه مکانیسم مسیریابی متخصص آموخته شده از الگوهای زبانی فیلوژنتیک ضمنی سوء استفاده می کند تا به طور بالقوه لعنت چند زبانه را کاهش دهد.ما نگاهی عمیق به فرایند آموزش ، تجزیه و تحلیل مجموعه داده ها و اکتشاف متعادل از نقاط قوت و محدودیت های مدل ارائه می دهیم.به عنوان یک مدل منبع باز ، لولا قابلیت تکرارپذیری را ترویج می کند و به عنوان پایه ای قوی برای تحقیقات آینده عمل می کند.یافته های ما توسعه مدل های چند زبانه محاسباتی را با عملکرد قوی و مقیاس پذیر در زبان ها امکان پذیر می کند.