ترجمه فارسی مقاله آموزش تقویتی آفلاین برای آموزش اعزام برای زمانبندی فروشگاه کار

چکیده

The Job Shop Scheduling Problem (JSSP) is a complex combinatorial optimization problem. There has been growing interest in using online Reinforcement Learning (RL) for JSSP. While online RL can quickly find acceptable solutions, especially for larger problems, it produces lower-quality results than traditional methods like Constraint Programming (CP). A significant downside of online RL is that it cannot learn from existing data, such as solutions generated from CP, requiring them to train from scratch, leading to sample inefficiency and making them unable to learn from more optimal examples. We introduce Offline Reinforcement Learning for Learning to Dispatch (Offline-LD), a novel approach for JSSP that addresses these limitations. Offline-LD adapts two CQL-based Q-learning methods (mQRDQN and discrete mSAC) for maskable action spaces, introduces a new entropy bonus modification for discrete SAC, and exploits reward normalization through preprocessing. Our experiments show that Offline-LD outperforms online RL on both generated and benchmark instances. By introducing noise into the dataset, we achieve similar or better results than those obtained from the expert dataset, indicating that a more diverse training set is preferable because it contains counterfactual information.

چکیده به فارسی (ترجمه ماشینی)

مشکل برنامه ریزی فروشگاه کار (JSSP) یک مشکل بهینه سازی پیچیده ترکیبی است.علاقه زیادی به استفاده از یادگیری آرماتور آنلاین (RL) برای JSSP وجود دارد.در حالی که RL آنلاین می تواند به سرعت راه حل های قابل قبولی پیدا کند ، به ویژه برای مشکلات بزرگتر ، نتایج با کیفیت پایین تر از روش های سنتی مانند برنامه نویسی محدودیت (CP) تولید می کند.نکته مهم قابل توجه RL آنلاین این است که نمی تواند از داده های موجود ، مانند راه حل های تولید شده از CP ، بیاموزد و آنها را از ابتدا آموزش دهد و منجر به ناکارآمدی نمونه شود و آنها را قادر به یادگیری از نمونه های بهینه تر نمی کند.ما یادگیری تقویت آفلاین را برای یادگیری اعزام (آفلاین-LD) معرفی می کنیم ، یک رویکرد جدید برای JSSP که به این محدودیت ها می پردازد.Offline-LD دو روش Q-Learning مبتنی بر CQL (MQRDQN و MSAC گسسته) را برای فضاهای عملی قابل استفاده ، تطبیق می دهد ، اصلاح جایزه جدید آنتروپی را برای SAC گسسته معرفی می کند ، و از طریق پیش پردازش از عادی سازی پاداش استفاده می کند.آزمایشات ما نشان می دهد که آفلاین LD در هر دو نمونه تولید شده و معیار از RL آنلاین استفاده می کند.با وارد کردن نویز به مجموعه داده ، ما به نتایج مشابه یا بهتر از نتایج به دست آمده از مجموعه داده های متخصص می رسیم ، نشان می دهد که یک مجموعه آموزش متنوع تر ارجح است زیرا حاوی اطلاعات ضد خلاف است.