مقاله “آشفته‌سازی برچسب‌ها برای منظم‌سازی: یادگیری عمیق برای داده‌های جدولی” به بررسی چالش‌های استفاده از یادگیری عمیق (Deep Learning) در داده‌های جدولی، به ویژه در شرایطی که حجم داده‌ها محدود است، می‌پردازد. این مقاله رویکرد جدیدی به نام MLR (Muddling Labels for Regularization) ارائه می‌دهد که با هدف جلوگیری از حفظ کردن داده‌ها (memorization) توسط شبکه‌های عصبی و بهبود تعمیم‌پذیری آن‌ها طراحی شده است.

یادگیری عمیق به عنوان یک رویکرد پیشرو در حوزه‌هایی مانند بینایی کامپیوتر، تشخیص گفتار و پردازش زبان طبیعی شناخته می‌شود. با این حال، استفاده از یادگیری عمیق برای داده‌های جدولی (tabular data) همواره با تردیدهایی همراه بوده است. داده‌های جدولی، داده‌هایی هستند که به صورت جداول با سطرها و ستون‌ها سازماندهی شده‌اند و اغلب در حوزه‌هایی مانند امور مالی، پزشکی و بازاریابی یافت می‌شوند.

یکی از چالش‌های اصلی استفاده از یادگیری عمیق در داده‌های جدولی، حجم کم داده‌ها است. در این شرایط، روش‌های یادگیری ماشین سنتی مانند جنگل‌های تصادفی (Random Forests) و گرادیان بوستینگ (Gradient Boosting) معمولاً عملکرد بهتری نسبت به شبکه‌های عصبی عمیق دارند. این روش‌ها به خوبی می‌توانند با داده‌های کم‌حجم سازگار شوند و از بیش‌برازش (overfitting) جلوگیری کنند.

مقاله حاضر با ارائه روش MLR، سعی در پر کردن این شکاف دارد و نشان می‌دهد که چگونه می‌توان از یادگیری عمیق به طور موثر در داده‌های جدولی با حجم کم نیز استفاده کرد. این موضوع از اهمیت بالایی برخوردار است زیرا بسیاری از مسائل دنیای واقعی با داده‌های جدولی کم‌حجم سروکار دارند و استفاده از یادگیری عمیق در این مسائل می‌تواند منجر به پیشرفت‌های قابل توجهی شود.

این مقاله توسط کریم لونیچی، کاتیا مزینی و بنجامین ریو نوشته شده است. نویسندگان مقاله دارای تخصص در زمینه‌های یادگیری ماشین، هوش مصنوعی و آمار هستند. زمینه تحقیقاتی آن‌ها بر توسعه روش‌های جدید یادگیری عمیق برای داده‌های ساختاریافته و کم‌حجم متمرکز است.

چکیده مقاله به این صورت است: یادگیری عمیق به عنوان یک روش پیشرو در بینایی کامپیوتر، تشخیص گفتار و پردازش زبان طبیعی در نظر گرفته می‌شود. تا همین اواخر، به طور گسترده پذیرفته شده بود که یادگیری عمیق برای یادگیری وظایف بر روی داده‌های جدولی، به ویژه در رژیم نمونه کوچک، که در آن روش‌های ensemble به عنوان استاندارد طلایی شناخته می‌شوند، نامربوط است. ما یک روش مشتق‌پذیر جدید سرتاسری برای آموزش یک FFNN استاندارد ارائه می‌دهیم. روش ما، آشفته‌سازی برچسب‌ها برای منظم‌سازی (MLR)، از طریق تولید برچسب‌های غیر آموزنده و استفاده از یک طرح منظم‌سازی بسته-شکل مشتق‌پذیر بر روی آخرین لایه پنهان در طول آموزش، حفظ‌کردن را جریمه می‌کند. MLR از NN کلاسیک و استاندارد طلایی (GBDT, RF) برای وظایف رگرسیون و طبقه‌بندی در چندین مجموعه داده از پایگاه داده UCI و Kaggle که طیف وسیعی از اندازه‌های نمونه و نسبت‌های ویژگی به نمونه را پوشش می‌دهند، بهتر عمل می‌کند. محققان و متخصصان می‌توانند از MLR به تنهایی به عنوان یک راه‌حل DL خارج از جعبه استفاده کنند یا آن را در پیشرفته‌ترین خطوط لوله ML ادغام کنند.

به طور خلاصه، مقاله یک روش جدید برای آموزش شبکه‌های عصبی عمیق بر روی داده‌های جدولی ارائه می‌دهد. این روش با استفاده از تکنیک آشفته‌سازی برچسب‌ها و یک طرح منظم‌سازی ویژه، از حفظ کردن داده‌ها توسط شبکه جلوگیری می‌کند و به آن کمک می‌کند تا عملکرد بهتری در تعمیم به داده‌های جدید داشته باشد. نویسندگان نشان داده‌اند که روش MLR می‌تواند از روش‌های یادگیری ماشین سنتی در داده‌های جدولی با حجم کم بهتر عمل کند.

روش MLR بر دو ایده اصلی استوار است:

• آشفته‌سازی برچسب‌ها (Muddling Labels): در این روش، برچسب‌های داده‌ها به طور تصادفی تغییر داده می‌شوند تا شبکه عصبی نتواند به راحتی داده‌ها را حفظ کند. این کار باعث می‌شود که شبکه به جای حفظ کردن داده‌ها، به دنبال الگوهای کلی‌تر و معنادارتری در داده‌ها باشد. به عنوان مثال، اگر در یک مجموعه داده تشخیص بیماری، برچسب “بیمار” به طور تصادفی به “سالم” تغییر داده شود، شبکه مجبور می‌شود تا ویژگی‌های مهم‌تری را برای تشخیص بیماری یاد بگیرد.
• منظم‌سازی (Regularization): در این روش، یک عبارت جریمه (penalty term) به تابع هزینه (cost function) اضافه می‌شود تا از پیچیدگی بیش از حد شبکه جلوگیری شود. این عبارت جریمه، وزن‌های بزرگ در شبکه را مجازات می‌کند و باعث می‌شود که شبکه به دنبال راه‌حل‌های ساده‌تر و کلی‌تری باشد. نویسندگان مقاله از یک طرح منظم‌سازی خاص استفاده کرده‌اند که به طور مستقیم بر روی آخرین لایه پنهان شبکه اعمال می‌شود.

نویسندگان مقاله برای ارزیابی روش MLR، آن را بر روی چندین مجموعه داده از پایگاه داده UCI و Kaggle آزمایش کرده‌اند. این مجموعه‌های داده شامل مسائل رگرسیون و طبقه‌بندی با اندازه‌های مختلف نمونه و نسبت‌های مختلف ویژگی به نمونه می‌شوند. آن‌ها عملکرد MLR را با شبکه‌های عصبی سنتی، جنگل‌های تصادفی و گرادیان بوستینگ مقایسه کرده‌اند.

نتایج آزمایش‌ها نشان می‌دهد که روش MLR در بسیاری از موارد از روش‌های یادگیری ماشین سنتی بهتر عمل می‌کند، به ویژه در داده‌های جدولی با حجم کم. یافته‌های کلیدی مقاله عبارتند از:

• MLR می‌تواند به طور موثر از حفظ کردن داده‌ها توسط شبکه‌های عصبی جلوگیری کند.
• MLR می‌تواند تعمیم‌پذیری شبکه‌های عصبی را در داده‌های جدولی با حجم کم بهبود بخشد.
• MLR می‌تواند در مسائل رگرسیون و طبقه‌بندی عملکرد بهتری نسبت به روش‌های یادگیری ماشین سنتی داشته باشد.
• MLR به راحتی قابل پیاده‌سازی و ادغام در خطوط لوله یادگیری ماشین موجود است.

روش MLR می‌تواند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرد، از جمله:

• پیش‌بینی ریسک اعتباری: MLR می‌تواند برای پیش‌بینی احتمال عدم بازپرداخت وام توسط مشتریان استفاده شود.
• تشخیص بیماری: MLR می‌تواند برای تشخیص بیماری‌ها بر اساس علائم و نشانه‌های بالینی استفاده شود.
• پیش‌بینی فروش: MLR می‌تواند برای پیش‌بینی میزان فروش محصولات بر اساس داده‌های تاریخی فروش و عوامل دیگر استفاده شود.
• بازاریابی هدفمند: MLR می‌تواند برای شناسایی مشتریانی که احتمال بیشتری دارد به یک محصول یا خدمات خاص علاقه مند شوند، استفاده شود.

یکی از دستاوردهای مهم این مقاله، ارائه یک روش یادگیری عمیق موثر برای داده‌های جدولی با حجم کم است. این امر می‌تواند به گسترش کاربردهای یادگیری عمیق در حوزه‌هایی که داده‌های کمی در دسترس است، کمک کند.

مقاله “آشفته‌سازی برچسب‌ها برای منظم‌سازی: یادگیری عمیق برای داده‌های جدولی” یک گام مهم در جهت بهبود عملکرد یادگیری عمیق در داده‌های جدولی با حجم کم است. روش MLR یک رویکرد نوآورانه برای جلوگیری از حفظ کردن داده‌ها توسط شبکه‌های عصبی و بهبود تعمیم‌پذیری آن‌ها ارائه می‌دهد. نتایج آزمایش‌ها نشان می‌دهد که MLR می‌تواند در بسیاری از موارد از روش‌های یادگیری ماشین سنتی بهتر عمل کند. این مقاله می‌تواند برای محققان و متخصصانی که به دنبال استفاده از یادگیری عمیق در داده‌های جدولی هستند، مفید باشد. روش MLR را می‌توان به عنوان یک راه حل خارج از جعبه (off-the-shelf) استفاده کرد یا آن را در خطوط لوله یادگیری ماشین پیشرفته ادغام کرد. با توجه به نتایج امیدوارکننده این مقاله، انتظار می‌رود که روش MLR در آینده به طور گسترده‌تری مورد استفاده قرار گیرد.