در دهه‌ی اخیر، مدل‌های یادگیری عمیق (Deep Learning) به موفقیت‌های چشمگیری در حوزه‌هایی مانند بینایی کامپیوتر و پردازش زبان طبیعی دست یافته‌اند. با این حال، در دنیای داده‌های جدولی (Tabular Data) که ستون فقرات صنایعی چون تجارت الکترونیک، فین‌تک و تحلیل کسب‌وکار را تشکیل می‌دهد، الگوریتم‌های مبتنی بر درخت تصمیم، به‌ویژه ماشین گرادیان بوستینگ (GBDT)، همچنان پادشاهی می‌کنند. این الگوریتم‌ها به دلیل کارایی بالا، دقت فوق‌العاده و قابلیت تفسیرپذیری نسبی، ابزاری قدرتمند و محبوب برای دانشمندان داده محسوب می‌شوند.

یکی از مفاهیم کلیدی در یادگیری ماشین مدرن، یادگیری چند وظیفه‌ای (Multi-Task Learning) است. در این رویکرد، به جای آموزش یک مدل مجزا برای هر وظیفه، یک مدل واحد برای یادگیری همزمان چندین وظیفه‌ی مرتبط آموزش داده می‌شود. این کار به مدل اجازه می‌دهد تا اطلاعات و الگوهای مشترک بین وظایف را استخراج کرده و از آن‌ها برای بهبود عملکرد در تمام وظایف، به‌ویژه وظیفه‌ی اصلی، استفاده کند. مدل‌های یادگیری عمیق به لطف معماری لایه‌ای خود، به‌راحتی می‌توانند بازنمایی‌های نهفته‌ی مشترک (Shared Latent Representation) را بین وظایف مختلف بیاموزند.

اما این فرآیند برای الگوریتم‌های GBDT یک چالش بزرگ بوده است. ساختار GBDT به گونه‌ای است که درختان تصمیم را به صورت متوالی برای به حداقل رساندن خطای یک تابع هزینه مشخص می‌سازد. تطبیق این ساختار برای یادگیری همزمان از چندین تابع هزینه (هر کدام برای یک وظیفه) کار ساده‌ای نیست. مقاله‌ی MT-GBM با ارائه‌ی یک رویکرد نوآورانه، این شکاف را پر می‌کند و روشی کارآمد برای پیاده‌سازی یادگیری چند وظیفه‌ای بر بستر GBDT ارائه می‌دهد که می‌تواند عملکرد مدل را به شکل قابل توجهی بهبود بخشد.

این مقاله حاصل تلاش گروهی از محققان برجسته در حوزه‌ی یادگیری ماشین است:

• ZhenZhe Ying
• Zhuoer Xu
• Zhifeng Li
• Weiqiang Wang
• Changhua Meng

این پژوهشگران در زمینه‌ی الگوریتم‌های یادگیری ماشین، به‌ویژه روش‌های گروهی (Ensemble Methods) و بهینه‌سازی آن‌ها برای کاربردهای عملی در مقیاس بزرگ، فعالیت دارند. تمرکز مقاله بر الگوریتم‌های گرادیان بوستینگ نشان‌دهنده‌ی علاقه‌ی آن‌ها به پیشبرد مرزهای دانش در یکی از پرکاربردترین شاخه‌های یادگیری ماشین برای داده‌های ساختاریافته است.

مقاله، روشی جدید به نام ماشین گرادیان بوستینگ چند وظیفه‌ای (MT-GBM) را معرفی می‌کند که یک الگوریتم مبتنی بر GBDT برای یادگیری چند وظیفه‌ای است. برخلاف مدل‌های یادگیری عمیق که بازنمایی‌های مشترک را در لایه‌های پنهان می‌آموزند، MT-GBM قادر است ساختارهای درختی مشترک را پیدا کرده و شاخه‌های درخت را بر اساس مجموعه‌ای از توابع هزینه (مربوط به وظایف مختلف) تقسیم کند.

ایده‌ی اصلی این الگوریتم در چند مرحله خلاصه می‌شود:

1. تخصیص خروجی‌های چندگانه به هر گره برگ: در یک درخت تصمیم استاندارد، هر گره برگ (Leaf Node) یک مقدار خروجی واحد دارد. در MT-GBM، هر گره برگ چندین خروجی دارد که هر کدام به یکی از وظایف یادگیری مرتبط است.
2. محاسبه گرادیان برای هر وظیفه: مدل برای هر نمونه داده، گرادیان تابع هزینه را به ازای هر وظیفه به صورت جداگانه محاسبه می‌کند.
3. ترکیب گرادیان‌ها: نویسندگان الگوریتمی هوشمندانه برای ترکیب گرادیان‌های تمام وظایف و تولید یک “شبه-گرادیان” (Pseudo-Gradient) واحد ارائه می‌دهند.
4. به‌روزرسانی درخت: از این گرادیان ترکیبی برای تصمیم‌گیری در مورد بهترین نقطه برای تقسیم (Split) در گره‌های درخت استفاده می‌شود. این فرآیند تضمین می‌کند که ساختار درخت به گونه‌ای شکل می‌گیرد که برای تمام وظایف بهینه باشد.

در نهایت، این روش بر روی کتابخانه‌ی محبوب و پرسرعت LightGBM پیاده‌سازی شده است. نتایج آزمایش‌ها نشان می‌دهد که MT-GBM عملکرد وظیفه‌ی اصلی را به طور قابل توجهی بهبود می‌بخشد، که بیانگر کارایی و اثربخشی بالای این روش است.

قلب نوآوری این مقاله در روش‌شناسی آن برای ترکیب یادگیری چند وظیفه‌ای با ساختار ذاتی GBDT نهفته است. در GBDT استاندارد، هر درخت جدید برای اصلاح خطاهای باقی‌مانده از مجموع درختان قبلی ساخته می‌شود و این فرآیند بر اساس گرادیان یک تابع هزینه واحد هدایت می‌شود. این رویکرد ذاتاً تک-وظیفه‌ای است.

MT-GBM این پارادایم را با معرفی یک مکانیزم هوشمندانه برای تصمیم‌گیری مشترک تغییر می‌دهد:

• ساختار درخت مشترک: به جای ساختن درختان جداگانه برای هر وظیفه، MT-GBM یک ساختار درختی واحد ایجاد می‌کند که توسط تمام وظایف به اشتراک گذاشته می‌شود. این ایده اصلی‌ترین وجه تمایز آن است. تصمیم‌گیری برای تقسیم یک گره (مثلاً، آیا بر اساس «سن > ۳۰» تقسیم کنیم یا «درآمد < ۵۰ میلیون»؟) دیگر تنها بر اساس بهبود یک وظیفه انجام نمی‌شود، بلکه بر اساس تأثیر آن بر مجموعه‌ای از وظایف ارزیابی می‌گردد.
• الگوریتم ترکیب گرادیان: چالش اصلی این است که چگونه اطلاعات حاصل از چندین تابع هزینه را با هم ادغام کنیم. گرادیان‌ها بردارهایی هستند که جهت بیشترین کاهش خطا را نشان می‌دهند. اگر گرادیان وظیفه‌ی اول یک تقسیم خاص را پیشنهاد کند و گرادیان وظیفه‌ی دوم تقسیمی دیگر را، کدام را باید انتخاب کرد؟ الگوریتم پیشنهادی در MT-GBM، این گرادیان‌ها را به گونه‌ای وزن‌دهی و ترکیب می‌کند که یک جهت بهینه‌ی مشترک برای ساخت درخت ایجاد شود. این الگوریتم تضمین می‌کند که تقسیم‌های انتخاب‌شده، تقسیم‌هایی هستند که بیشترین اطلاعات را برای مجموعه‌ی وظایف فراهم می‌کنند.
• پیاده‌سازی بر روی LightGBM: انتخاب LightGBM به عنوان بستر پیاده‌سازی یک تصمیم استراتژیک بوده است. LightGBM به دلیل استفاده از تکنیک‌هایی مانند Gradient-based One-Side Sampling (GOSS) و Exclusive Feature Bundling (EFB) یکی از سریع‌ترین و کارآمدترین پیاده‌سازی‌های GBDT است. با ادغام MT-GBM در این چارچوب، نویسندگان اطمینان حاصل کرده‌اند که روش پیشنهادی نه تنها دقیق، بلکه برای استفاده در مقیاس‌های بزرگ صنعتی نیز عملی است.

مهم‌ترین یافته‌ی این پژوهش، اثبات عملی کارایی MT-GBM است. آزمایش‌های انجام‌شده روی مجموعه داده‌های مختلف نشان داد که استفاده از وظایف کمکی (Auxiliary Tasks) در کنار وظیفه‌ی اصلی (Main Task) از طریق معماری MT-GBM، منجر به بهبود قابل توجهی در دقت پیش‌بینی وظیفه‌ی اصلی می‌شود.

دلایل این بهبود را می‌توان در موارد زیر جستجو کرد:

• اثر تنظیم‌کنندگی (Regularization): وظایف کمکی به عنوان نوعی تنظیم‌کننده عمل می‌کنند. آن‌ها مدل را مجبور می‌کنند تا الگوهایی را بیاموزد که عمومی‌تر بوده و بین چندین وظیفه مشترک هستند. این امر از بیش‌برازش (Overfitting) بر روی نویزهای موجود در داده‌های وظیفه‌ی اصلی جلوگیری کرده و قدرت تعمیم مدل را افزایش می‌دهد.
• انتقال اطلاعات: سیگنال‌ها و اطلاعات موجود در وظایف کمکی می‌توانند به طور مستقیم به بهبود یادگیری وظیفه‌ی اصلی کمک کنند. برای مثال، اگر وظیفه‌ی اصلی پیش‌بینی ریزش مشتری (Churn) باشد، وظیفه‌ی کمکیِ پیش‌بینی «میزان رضایت مشتری» می‌تواند اطلاعات بسیار ارزشمندی را به مدل منتقل کند که به تنهایی در داده‌های وظیفه‌ی اصلی موجود نیست.
• یادگیری ویژگی‌های قوی‌تر: با وادار کردن مدل به یافتن تقسیم‌هایی که برای چندین وظیفه مفید هستند، MT-GBM در عمل ویژگی‌های تعاملی (Feature Interactions) قوی‌تر و معنادارتری را کشف می‌کند. این ویژگی‌ها بازنمایی بهتری از داده‌ها ارائه می‌دهند و به پیش‌بینی دقیق‌تر کمک می‌کنند.

MT-GBM پتانسیل کاربردی گسترده‌ای در تمامی حوزه‌هایی دارد که با داده‌های جدولی سروکار دارند و چندین هدف پیش‌بینی مرتبط در آن‌ها وجود دارد. دو مثال برجسته عبارتند از:

• تجارت الکترونیک (E-commerce):
  • وظیفه‌ی اصلی: پیش‌بینی احتمال خرید یک محصول توسط کاربر.
  • وظایف کمکی: پیش‌بینی نرخ کلیک (Click-Through Rate)، احتمال افزودن محصول به سبد خرید، یا احتمال بازدید از صفحه‌ی محصول.
  • سناریو: مدل MT-GBM یاد می‌گیرد که الگوهای کلیک و افزودن به سبد خرید، سیگنال‌های قدرتمندی برای پیش‌بینی خرید نهایی هستند. در نتیجه، ساختار درختان به گونه‌ای شکل می‌گیرد که این اطلاعات مشترک را به بهترین نحو استخراج کند و دقت پیش‌بینی خرید را افزایش دهد.
• فین‌تک (FinTech):
  • وظیفه‌ی اصلی: پیش‌بینی ریسک نکول وام (Loan Default).
  • وظایف کمکی: پیش‌بینی ارزش طول عمر مشتری (Customer Lifetime Value)، یا احتمال استفاده از سایر محصولات مالی (مانند کارت اعتباری یا بیمه).
  • سناریو: یک مدل MT-GBM می‌تواند یاد بگیرد که کاهش ناگهانی در فعالیت‌های مالی یک مشتری (که از وظیفه‌ی کمکی به دست می‌آید) یک نشانه‌ی اولیه برای افزایش ریسک نکول وام است. این دیدگاه چندوجهی، مدل را بسیار قوی‌تر از مدلی می‌کند که فقط به تاریخچه‌ی بازپرداخت وام نگاه می‌کند.

دستاورد اصلی این مقاله، ارائه‌ی یک پل مستحکم بین دنیای قدرتمند GBDT و پارادایم مؤثر یادگیری چند وظیفه‌ای است. این روش به متخصصان داده ابزاری می‌دهد که بدون نیاز به مهاجرت به معماری‌های پیچیده‌ی یادگیری عمیق، از مزایای یادگیری چند وظیفه‌ای بر روی داده‌های جدولی بهره‌مند شوند.

مقاله‌ی “MT-GBM: A Multi-Task Gradient Boosting Machine with Shared Decision Trees” یک گام مهم رو به جلو در تکامل الگوریتم‌های گرادیان بوستینگ است. نویسندگان با موفقیت یک چالش دیرینه، یعنی به‌کارگیری مؤثر یادگیری چند وظیفه‌ای در چارچوب GBDT، را حل کرده‌اند.

روش پیشنهادی MT-GBM با ایجاد ساختارهای درختی مشترک و استفاده از یک الگوریتم هوشمندانه برای ترکیب گرادیان‌های حاصل از وظایف مختلف، نه تنها از نظر تئوری زیباست، بلکه در عمل نیز کارایی بالای خود را به اثبات رسانده است. این رویکرد با بهبود قابل توجه عملکرد وظیفه‌ی اصلی از طریق انتقال دانش از وظایف کمکی، نشان می‌دهد که GBDT‌ها همچنان ظرفیت زیادی برای نوآوری دارند. MT-GBM یک ابزار ارزشمند و کارآمد برای دانشمندان داده است که به دنبال استخراج حداکثر اطلاعات از داده‌های جدولی پیچیده در سناریوهای چندهدفه هستند.