کتاب صوتی تخصصی یادگیری تقویتی آفلاین برای بهینه‌سازی شبکه‌های ارتباطی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تخصصی یادگیری تقویتی آفلاین برای بهینه‌سازی شبکه‌های ارتباطی

موضوع کلی: دستهٔ جامع

موضوع میانی: یادگیری تقویتی آفلاین برای بهینه‌سازی شبکه

📋 سرفصل‌های دوره

• 1. مفاهیم پایه یادگیری تقویتی (Reinforcement Learning)
• 2. تفاوت یادگیری تقویتی آنلاین و آفلاین
• 3. مقدمه به بهینه‌سازی شبکه‌های ارتباطی
• 4. مدل‌سازی شبکه به عنوان محیط یادگیری
• 5. تعریف وضعیت، عمل و پاداش در بهینه‌سازی شبکه
• 6. مجموعه داده‌های آفلاین: ویژگی‌ها و منابع
• 7. پیش‌پردازش داده‌های شبکه برای یادگیری تقویتی
• 8. مفاهیم توزیع رفتار (Behavior Policy) و هدف یادگیری آفلاین
• 9. الگوریتم Q-تعلم آفلاین (Offline Q-Learning)
• 10. الگوریتم DQN آفلاین (Offline Deep Q-Network)
• 11. الگوریتم Conservative Q-Learning (CQL)
• 12. الگوریتم Batch Constrained Q-learning (BCQ)
• 13. الگوریتم Implicit Q-Learning (IQL)
• 14. الگوریتم Value Diffusion (VD)
• 15. الگوریتم Advantage Weighted Regression (AWR)
• 16. الگوریتم Decision Transformer برای داده‌های آفلاین
• 17. بهینه‌سازی سیاست‌ها در محیط‌های شبکه با استفاده از Policy Optimization آفلاین
• 18. تکنیک‌های regularization برای جلوگیری از overestimation در offline RL
• 19. ارزیابی سیاست‌های یاد شده بدون تعامل آنلاین (Offline Evaluation)
• 20. معیارهای عملکرد: cumulative reward, throughput, latency, packet loss
• 21. شبیه‌سازی محیط شبکه با ابزارهای ns-3, OMNeT++
• 22. تولید داده‌های آفلاین از شبیه‌سازهای شبکه
• 23. ادغام ویژگی‌های топولوژی شبکه در نمایش وضعیت
• 24. استفاده از گراف‌های عصبی (Graph Neural Networks) برای مدل‌سازی شبکه
• 25. الحاق Constraints از ظرفیت و bandwidth در توابع récompense
• 26. بهینه‌سازی مسیریابی (Routing) با offline RL
• 27. بهینه‌سازی تخصیص باند (Bandwidth Allocation) با offline RL
• 28. بهینه‌سازی کنترل ترافیک (Traffic Control) و مدیریت congestion
• 29. بهینه‌سازی مصرف انرژی در دیتاسنترها با offline RL
• 30. بهینه‌سازی توازن بار (Load Balancing) در شبکه‌های ابری
• 31. بهینه‌سازی سیاست‌های امنیتی (Security Policies) با offline RL
• 32. بهینه‌سازی تنظیم پارامترهای پروتکل TCP با offline RL
• 33. بهینه‌سازی تخصیص منابع در شبکه‌های 5G و Beyond
• 34. بهینه‌سازی edge computing و تخصیص منابع توزیع‌شده
• 35. استفاده ازマルتی-اجنت offline RL برای شبکه‌های توزیع‌شده
• 36. آموزش ایجنت‌های Cooperatif برای بهینه‌سازی شبکه‌های mesh
• 37. آموزش ایجنت‌های競争ی برای مدیریت تداخل
• 38. استفاده از transfer learning بین شبکه‌های مختلف
• 39. تنظیم هیپرپارامترها در offline RL برای بهینه‌سازی شبکه
• 40. استخراج ویژگی‌های زمان‌دار (temporal) از ترافیک شبکه
• 41. مدیریت عدم اطمینان و داده‌های آفلاین شلوغ
• 42. روش‌های تثبیت آموزش در محیط‌های غیرثابت
• 43. استفاده از مدل‌های uncertain-aware برای تصمیم‌گیری مقاوم
• 44. بررسی مورد واقعی: بهینه‌سازی داده‌مرکز گوگل
• 45. بررسی مورد واقعی: بهینه‌سازی شبکه AT&T 4G/5G
• 46. بررسی مورد واقعی: بهینه‌سازی شبکه Akamai CDN
• 47. بررسی مورد واقعی: بهینه‌سازی شبکه‌های سنسور IoT
• 48. پیاده‌سازی الگوریتم‌ها در Python با استفاده از کتابخانه‌های RL (stable-baselines3, offline-rl)
• 49. پیاده‌سازی الگوریتم‌ها در TensorFlow / PyTorch
• 50. بهینه‌سازی سرعت آموزش با استفاده از GPU و توزیع‌شده
• 51. رفع اشکال و troubleshooting در آموزش offline RL
• 52. ارزیابی حساسیت به تغییرات توپولوژی و الگوهای ترافیک
• 53. به‌روزرسانی سیاست‌ها در زمان واقعی با استفاده از offline-to-online fine-tuning
• 54. اخلاق و ملاحظات قانونی در بهینه‌سازی شبکه‌های عمومی
• 55. دیدگاه آینده: ترکیب offline RL با یادگیری تقویتی meta و یادگیری تقویتی ترکیبی