فلش‌کارت‌های آموزشی مدیریت داده‌های بزرگ در محیط‌های HPC

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مدیریت داده‌های بزرگ در محیط‌های HPC

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC) و داده‌های بزرگ
• 2. هم‌افزایی HPC و داده‌های بزرگ: چالش‌ها و فرصت‌ها
• 3. مفاهیم کلیدی: نود، هسته، فلاپس، پهنای باند و تأخیر
• 4. پارادایم محاسبات داده-محور (Data-Intensive Computing)
• 5. مروری بر محیط‌های HPC: کلاسترها و ابرکامپیوترها
• 6. ابعاد داده‌های بزرگ: حجم، سرعت، تنوع و صحت
• 7. کاربردها: شبیه‌سازی علمی، ژنومیک، مدل‌سازی اقلیم
• 8. مبانی خط فرمان لینوکس برای محیط‌های HPC
• 9. اصول اسکریپت‌نویسی برای اتوماسیون (Bash و Python)
• 10. مقدمه‌ای بر کنترل نسخه با Git
• 11. معماری نودهای محاسباتی: CPU، GPU و شتاب‌دهنده‌ها
• 12. سلسله مراتب حافظه: Cache، RAM و حافظه‌های دائمی
• 13. شبکه‌های اتصال داخلی پرسرعت: InfiniBand و Ethernet
• 14. توپولوژی‌های شبکه در HPC: Fat Tree, Torus, Dragonfly
• 15. سلسله مراتب ذخیره‌سازی در HPC: حافظه‌های موقت، سیستم‌های فایل موازی، آرشیو
• 16. آشنایی با زمان‌بندهای کار (Job Schedulers): SLURM و PBS
• 17. مدیریت و تخصیص منابع محاسباتی
• 18. تفاوت ذخیره‌سازهای محلی (Node-local) و اشتراکی
• 19. شناسایی و درک گلوگاه‌های ورودی/خروجی (I/O Bottlenecks)
• 20. مروری بر مجازی‌سازی و کانتینرها در HPC
• 21. اصول سیستم‌های فایل موازی (Parallel File Systems)
• 22. معماری سیستم فایل Lustre
• 23. معماری سیستم فایل GPFS (IBM Spectrum Scale)
• 24. معماری سیستم فایل BeeGFS
• 25. تفاوت عملیات فراداده (Metadata) و داده
• 26. تکنیک Striping برای بهینه‌سازی چیدمان داده
• 27. قفل‌گذاری فایل و مدیریت دسترسی همزمان
• 28. راهکارهای Caching در سیستم‌های فایل موازی
• 29. مدیریت سهمیه‌ها (Quotas) و سیاست‌های ذخیره‌سازی
• 30. مقدمه‌ای بر ذخیره‌سازهای شیءگرا (Object Storage) مانند Ceph و S3
• 31. مقایسه سیستم‌های فایل موازی و ذخیره‌سازهای شیءگرا
• 32. نظارت و عیب‌یابی عملکرد سیستم‌های فایل موازی
• 33. مقایسه فرمت‌های داده متنی و باینری
• 34. اهمیت فرمت‌های داده خود-توصیف (Self-describing)
• 35. آشنایی با فرمت HDF5: مدل داده سلسله مراتبی
• 36. اجزای HDF5: گروه‌ها، مجموعه داده‌ها و صفات
• 37. استفاده از Parallel HDF5 برای ورودی/خروجی پرسرعت
• 38. آشنایی با فرمت NetCDF
• 39. مقایسه فنی HDF5 و NetCDF
• 40. فرمت‌های داده ستونی: Parquet و ORC
• 41. چارچوب‌های سریال‌سازی داده: Protocol Buffers و Avro
• 42. انتخاب فرمت داده مناسب برای کاربردهای مختلف
• 43. محدودیت‌های ورودی/خروجی استاندارد POSIX در HPC
• 44. مقدمه‌ای بر رابط ارسال پیام (MPI)
• 45. تفاوت ورودی/خروجی مستقل و گروهی (Collective I/O)
• 46. آشنایی با کتابخانه MPI-IO
• 47. استفاده از MPI-IO برای دسترسی به داده‌های پیوسته
• 48. استفاده از MPI-IO برای داده‌های غیرپیوسته (Derived Datatypes)
• 49. مفاهیم پیشرفته MPI-IO: نماهای فایل (File Views) و اشاره‌گرهای مشترک
• 50. کتابخانه‌های سطح بالای ورودی/خروجی: PnetCDF و H5Part
• 51. عملیات ورودی/خروجی ناهمزمان (Asynchronous I/O)
• 52. کتابخانه‌های پایتون برای کار با داده در HPC (مانند h5py)
• 53. تکنیک‌های I/O Forwarding و Data Staging
• 54. بهترین شیوه‌ها در برنامه‌نویسی ورودی/خروجی موازی
• 55. پل میان HPC و اکوسیستم Big Data: اجرای Hadoop و Spark در HPC
• 56. درک پارادایم MapReduce
• 57. معماری Apache Spark
• 58. اجرای Spark بر روی زمان‌بندهای HPC
• 59. کار با DataFrame و RDD در Spark برای تحلیل‌های بزرگ مقیاس
• 60. یکپارچه‌سازی Spark با سیستم‌های فایل موازی
• 61. استفاده از Dask برای محاسبات موازی در پایتون
• 62. محاسبات خارج از حافظه (Out-of-Core) با Dask
• 63. ادغام نتایج شبیه‌سازی‌های HPC با ابزارهای تحلیل داده‌های بزرگ
• 64. تحلیل درجا (In-situ) در مقابل پس‌پردازش (Post-processing)
• 65. چرخه حیات داده در تحقیقات علمی
• 66. دریافت و ورود داده از ابزارهای آزمایشی و سنسورها
• 67. پاک‌سازی و پیش‌پردازش داده در مقیاس بزرگ
• 68. راهکارهای Checkpointing برای کارهای طولانی‌مدت
• 69. مقدمه‌ای بر سیستم‌های مدیریت گردش کار علمی (Nextflow, Snakemake)
• 70. ساخت گردش کارهای مقیاس‌پذیر و تکرارپذیر
• 71. اصل‌ونسب داده (Data Provenance): ردیابی تاریخچه داده
• 72. آرشیو و نگهداری بلندمدت داده‌ها
• 73. مدیریت ذخیره‌سازی سلسله مراتبی (HSM)
• 74. تکنیک‌های فشرده‌سازی داده برای محیط‌های HPC
• 75. ابزارهای انتقال داده‌های حجیم: Globus و rsync
• 76. انتشار داده و اصول FAIR (قابل یافتن، قابل دسترس، تعامل‌پذیر، قابل استفاده مجدد)
• 77. پروفایل‌سازی عملکرد ورودی/خروجی: شناسایی گلوگاه‌ها
• 78. ابزارهای پروفایلینگ ورودی/خروجی: Darshan و IOR
• 79. تنظیم پارامترهای Stripe Count و Stripe Size
• 80. بهینه‌سازی عملیات مرتبط با فراداده
• 81. استفاده مؤثر از حافظه‌های موقت پرسرعت (Burst Buffers)
• 82. بهینه‌سازی ورودی/خروجی در سطح برنامه
• 83. بافرسازی گروهی (Collective Buffering) و ورودی/خروجی دو-مرحله‌ای
• 84. درک و تنظیم حافظه نهان در سطح سیستم‌عامل
• 85. تأثیر عملکرد شبکه بر سرعت دسترسی به داده
• 86. معیارسنجی (Benchmarking) سیستم‌های ذخیره‌سازی
• 87. مطالعه موردی: بهینه‌سازی یک شبیه‌سازی داده-محور
• 88. مطالعه موردی: تنظیم یک خط لوله تحلیل داده بزرگ مقیاس
• 89. مدل‌های امنیتی در محیط‌های اشتراکی HPC
• 90. لیست‌های کنترل دسترسی (ACLs) و مجوزهای POSIX
• 91. رمزنگاری داده: در حالت سکون (At-rest) و در حال انتقال (In-transit)
• 92. حاکمیت داده و انطباق با مقررات در پژوهش
• 93. مدیریت داده‌های حساس در محیط‌های HPC
• 94. گردش کارهای مبتنی بر کانتینر با Docker و Singularity/Apptainer
• 95. مدیریت مجموعه داده‌های عظیم برای آموزش هوش مصنوعی و یادگیری ماشین
• 96. پردازش جریانی و تحلیل آنی داده در HPC
• 97. نقش رایانش ابری در مدیریت داده‌های HPC
• 98. ذخیره‌سازی نرم‌افزار-محور (Software-Defined Storage) در HPC
• 99. آینده ورودی/خروجی: ذخیره‌سازهای محاسباتی و DPUها
• 100. جمع‌بندی دوره و مسیرهای یادگیری آینده