دوره مرتب‌سازی بیرونی و ادغام‌های مقیاس‌پذیر برای داده‌های کلان همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مرتب‌سازی بیرونی و ادغام‌های مقیاس‌پذیر برای داده‌های کلان

موضوع کلی: الگوریتم‌ها و ساختارهای داده

موضوع میانی: الگوریتم‌های مرتب‌سازی و ادغام

📋 سرفصل‌های دوره

• 1. کاربرد و جایگاه مرتب‌سازی بیرونی
• 2. تفاوت مرتب‌سازی درون‌حافظه‌ای و بیرونی
• 3. مدل حافظه بیرونی و انتقال بلوک
• 4. تحلیل پیچیدگی زمانی و I/O
• 5. کران پایین مقایسه‌ای و انتقال داده
• 6. برآورد RAM و ظرفیت فایل ورودی
• 7. ویژگی‌های داده، کلید و ترتیب
• 8. ثبات در الگوریتم‌های بیرونی
• 9. معیارهای انتخاب الگوریتم
• 10. الگوی دوفازۀ مرتب‌سازی کلاسیک
• 11. تولید run در فاز اول
• 12. ادغام runها در فاز دوم
• 13. محاسبه تعداد runها
• 14. تعیین ظرفیت حافظه برای هر مرحله
• 15. انتخاب الگوریتم داخلی
• 16. heapsort
• 17. quicksort
• 18. mergesort
• 19. روش sort-and-scan
• 20. معرفی replacement selection
• 21. اجرای گام‌به‌گام replacement selection
• 22. توزیع طول runهای خروجی
• 23. افزایش طول run با بافر دوطرفه
• 24. اثر اندازه بافر بر عملکرد
• 25. تولید runهای بهینه
• 26. مفهوم ادغام kتایی
• 27. ادغام kتایی با heap
• 28. ادغام kتایی با درخت مسابقه‌ای
• 29. ادغام متوازن
• 30. ادغام polyphase
• 31. طراحی درخت ادغام
• 32. انتخاب fan-in
• 33. ادغام چندمرحله‌ای
• 34. مقایسه balanced و polyphase
• 35. ادغام runهای نابرابر
• 36. logarithmic merge
• 37. minimum-cost merge
• 38. ادغام مبتنی بر Huffman
• 39. انتخاب سیاست ادغام
• 40. الگوریتم هیبریدی external merge sort
• 41. هزینه خواندن و نوشتن بلوک‌ها
• 42. دسترسی پیاپی
• 43. هزینه seeks و دسترسی تصادفی
• 44. نقش buffering
• 45. read-ahead و prefetch
• 46. batched I/O
• 47. مدیریت cache سیستم‌عامل
• 48. direct I/O
• 49. محدودیت پهنای باند حافظه
• 50. تفاوت HDD و SSD در ادغام بیرونی
• 51. فشرده‌سازی داده‌ها
• 52. اعتبارسنجی و checksum
• 53. مدیریت تخصیص حافظه
• 54. مرتب‌سازی بیرونی در سیستم‌های توزیع‌شده
• 55. partitioning داده
• 56. الگوی MapReduce
• 57. اجرا در Apache Spark
• 58. اجرا با MPI
• 59. انتقال داده در شبکه
• 60. locality و کاهش مهاجرت داده
• 61. مقابله با data skew
• 62. مدیریت straggler
• 63. تاب‌آوری در برابر خطا
• 64. checkpointing و بازیابی
• 65. retry و idempotency
• 66. عملیات sort در موتورهای پایگاه داده
• 67. buffer pool
• 68. spill files
• 69. اجرای pipeline عملیات‌های sort
• 70. ادغام ایندکس‌ها
• 71. external merge join
• 72. مرتب‌سازی چند فایل بزرگ
• 73. chunking و پردازش بخش‌بندی‌شده
• 74. نقش قالب فایل
• 75. فشرده‌سازی در جریان‌های بیرونی
• 76. encoding کلیدها
• 77. مقایسه با external radix sort
• 78. مرتب‌سازی بدون مقایسه
• 79. ادغام افزایشی
• 80. ادغام جریان‌های append-only
• 81. برنامه‌ریزی ظرفیت
• 82. اندازه‌گیری و benchmarking
• 83. تنظیمات بهینه‌سازی
• 84. اثبات درستی و ویژگی‌های خروجی
• 85. طراحی آزمون‌های کاربردی
• 86. مدیریت شکست در اجرای طولانی
• 87. مانیتورینگ و تحلیل عملکرد