ترجمه فارسی مقاله وزن گیری مبتنی بر عدم قطعیت تحلیلی در یادگیری چند کاره

چکیده

With the rise of neural networks in various domains, multi-task learning (MTL) gained significant relevance. A key challenge in MTL is balancing individual task losses during neural network training to improve performance and efficiency through knowledge sharing across tasks. To address these challenges, we propose a novel task-weighting method by building on the most prevalent approach of Uncertainty Weighting and computing analytically optimal uncertainty-based weights, normalized by a softmax function with tunable temperature. Our approach yields comparable results to the combinatorially prohibitive, brute-force approach of Scalarization while offering a more cost-effective yet high-performing alternative. We conduct an extensive benchmark on various datasets and architectures. Our method consistently outperforms six other common weighting methods. Furthermore, we report noteworthy experimental findings for the practical application of MTL. For example, larger networks diminish the influence of weighting methods, and tuning the weight decay has a low impact compared to the learning rate.

چکیده به فارسی (ترجمه ماشینی)

با افزایش شبکه های عصبی در حوزه های مختلف ، یادگیری چند کاره (MTL) اهمیت قابل توجهی کسب کرد.یک چالش اساسی در MTL ، تعادل ضررهای کار فردی در طول آموزش شبکه عصبی برای بهبود عملکرد و کارآیی از طریق اشتراک دانش در میان وظایف است.برای پرداختن به این چالش ها ، ما یک روش جدید وزنه برداری را با ساختن رویکردترین رویکرد وزن عدم اطمینان و محاسبه وزن های مبتنی بر عدم اطمینان از نظر تحلیلی بهینه ارائه می دهیم ، که توسط یک عملکرد Softmax با دمای قابل تنظیم نرمال می شود.رویکرد ما نتایج قابل مقایسه ای را با رویکرد ترکیبی مضر و بی رحمانه از مقیاس پذیری به دست می آورد ، در حالی که یک جایگزین مقرون به صرفه تر و در عین حال با عملکرد بالا ارائه می دهد.ما یک معیار گسترده در مجموعه داده ها و معماری های مختلف انجام می دهیم.روش ما به طور مداوم از شش روش وزن گیری متداول دیگر بهتر است.علاوه بر این ، ما یافته های تجربی قابل توجه را برای کاربرد عملی MTL گزارش می کنیم.به عنوان مثال ، شبکه های بزرگتر از تأثیر روشهای وزنه برداری کاسته می شوند و تنظیم پوسیدگی وزن در مقایسه با میزان یادگیری تأثیر کم دارد.