کتاب صوتی کار با سیستم‌های مدیریت منابع (Resource Managers) مانند Slurm

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کار با سیستم‌های مدیریت منابع (Resource Managers) مانند Slurm

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 2. مقدمه‌ای بر سیستم‌های مدیریت منابع (RMS)
• 3. نیاز به RMS در محیط‌های HPC
• 4. معرفی Slurm: یک RMS قدرتمند
• 5. معماری Slurm: اجزاء اصلی
• 6. نحوه نصب و پیکربندی Slurm (مرور کلی)
• 7. مفاهیم کلیدی در Slurm: Job, Partition, Node, CPU, Memory, Time
• 8. نحوه ثبت نام در سیستم (User Account)
• 9. اولین Job در Slurm: درخواست ساده
• 10. دستور `sbatch`: ارسال Job
• 11. بررسی وضعیت Job با `squeue`
• 12. درک خروجی `squeue`
• 13. لغو Job با `scancel`
• 14. دریافت اطلاعات Job با `sinfo`
• 15. مفاهیم Partition و کاربرد آن
• 16. تعریف و مدیریت Partitions (برای ادمین)
• 17. نحوه تخصیص منابع: CPU
• 18. نحوه تخصیص منابع: Memory (RAM)
• 19. نحوه تخصیص منابع: زمان (Walltime)
• 20. درخواست Job های موازی (Parallel Jobs)
• 21. مفهوم MPI (Message Passing Interface)
• 22. اجرای Job های MPI با Slurm
• 23. ابزارهای مانیتورینگ Job ها در Slurm
• 24. مانیتورینگ استفاده از منابع (CPU, Memory)
• 25. مانیتورینگ استفاده از GPU
• 26. Job Dependencies: زنجیره سازی Job ها
• 27. مفهوم Job Arrays
• 28. کاربرد Job Arrays در محاسبات
• 29. ارسال Job Arrays با `sbatch`
• 30. مدیریت Job Arrays
• 31. ارسال Job های تعاملی (Interactive Jobs)
• 32. دستور `srun`: اجرای فرمان در داخل Job
• 33. نحوه استفاده از `srun` برای اجرای موازی
• 34. مفاهیم Priority و Fairshare در Slurm
• 35. تنظیم اولویت Job ها
• 36. مدیریت Fairshare برای کاربران
• 37. نوشتن اسکریپت های Job (Job Scripts)
• 38. متغیرهای محیطی Slurm
• 39. استفاده از صفات (Attributes) در Job Scripts
• 40. سفارشی سازی Partitions
• 41. تعریف Node Features
• 42. درخواست منابع با Node Features
• 43. تنظیمات پیشرفته Partitions
• 44. مدیریت صفات (Properties) نودها
• 45. تنظیمات پیشرفته Job Submission
• 46. استفاده از `scontrol` برای مدیریت سیستم
• 47. مشاهده وضعیت Partitions با `scontrol`
• 48. مشاهده وضعیت Nodes با `scontrol`
• 49. مشاهده وضعیت Jobs با `scontrol`
• 50. مدیریت کاربران و گروه‌ها در Slurm
• 51. تنظیمات کاربران و محدودیت‌ها
• 52. تنظیمات گروه‌ها و تخصیص منابع
• 53. مفهوم Accounting در Slurm
• 54. تنظیمات Accounting
• 55. استخراج گزارشات Accounting
• 56. مانیتورینگ کلی سیستم Slurm
• 57. استفاده از ابزارهای گرافیکی برای مانیتورینگ (اگر وجود داشته باشد)
• 58. امنیت در Slurm
• 59. تنظیمات احراز هویت (Authentication)
• 60. کنترل دسترسی (Access Control)
• 61. مدیریت خطا در Job ها
• 62. نحوه دیباگ کردن Job های ناموفق
• 63. مطالعه لاگ فایل ها
• 64. بهینه‌سازی Job Scripts
• 65. تکنیک‌های پیش از اجرا (Pre-execution)
• 66. تکنیک‌های پس از اجرا (Post-execution)
• 67. بررسی وابستگی‌ها در Job Scripts
• 68. استفاده از Job Arrays برای پارامترهای متغیر
• 69. بهینه‌سازی استفاده از CPU
• 70. بهینه‌سازی استفاده از Memory
• 71. بهینه‌سازی زمان اجرا (Walltime)
• 72. کاهش سربار (Overhead) در Job ها
• 73. استفاده از Job Queues سفارشی
• 74. مفهوم Preemption و Suspend
• 75. تنظیمات Preemption
• 76. تعلیق و از سرگیری Job ها
• 77. مدیریت Job های با اولویت بالا
• 78. مفهوم Gang Scheduling
• 79. کاربرد Gang Scheduling
• 80. معماری محاسبات توزیع شده (Distributed Computing)
• 81. مقدمه ای بر کانتینرسازی (Containerization)
• 82. کاربرد Docker و Singularity در HPC
• 83. استفاده از Singularity در Slurm
• 84. ساخت ایمیج های Singularity
• 85. اجرای Job ها با Singularity در Slurm
• 86. نحوه مدیریت منابع GPU
• 87. تنظیمات GPU در Slurm
• 88. درخواست GPU ها
• 89. مانیتورینگ استفاده از GPU
• 90. کاربرد GPU در یادگیری عمیق (Deep Learning)
• 91. اجرای Workflows پیچیده
• 92. مفهوم Workflow Orchestration
• 93. معرفی ابزارهای Workflow Orchestration
• 94. یکپارچه‌سازی Workflow Orchestration با Slurm
• 95. نکات پیشرفته در Job Submission
• 96. استفاده از `--array` با پارامترهای پیچیده
• 97. مدیریت متغیرهای محیطی پیشرفته
• 98. استفاده از Job Templates
• 99. نوشتن Job Scripts قابل استفاده مجدد
• 100. مدیریت Cluster بزرگ