فلش‌کارت‌های آموزشی پردازش داده‌های حجیم با آپاچی اسپارک برای یادگیری ماشین مقیاس‌پذیر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش داده‌های حجیم با آپاچی اسپارک برای یادگیری ماشین مقیاس‌پذیر

موضوع کلی: علوم کامپیوتر و فناوری اطلاعات

موضوع میانی: یادگیری ماشین و هوش مصنوعی

📋 سرفصل‌های دوره

• 1. مبانی پردازش داده‌های حجیم
• 2. آشنایی با آپاچی اسپارک
• 3. معماری اسپارک
• 4. مفاهیم RDD در اسپارک
• 5. عملیات ترنسفورمیتیو RDD
• 6. عملیات اکشن RDD
• 7. کار با داده‌های ساختاریافته در اسپارک
• 8. مقدمه‌ای بر اسپارک SQL
• 9. عملیات فیلترینگ و انتخاب داده
• 10. عملیات نگاشت و تبدیل داده
• 11. عملیات کاهش و تجمیع داده
• 12. عملیات مرتب‌سازی و گروه‌بندی داده
• 13. کتابخانه اسپارک استریمینگ
• 14. پردازش داده‌های زنده
• 15. مفاهیم پنجره زمانی در استریمینگ
• 16. کار با منابع داده در استریمینگ
• 17. خروجی‌گیری از اسپارک استریمینگ
• 18. مقدمه‌ای بر اسپارک MLlib
• 19. کار با داده‌های برداری
• 20. پیش‌پردازش داده‌ها برای یادگیری ماشین
• 21. تکمیل داده‌های گمشده
• 22. استانداردسازی و نرمال‌سازی داده‌ها
• 23. کدگذاری داده‌های دسته‌ای
• 24. انتخاب ویژگی
• 25. روش‌های انتخاب ویژگی مبتنی بر فیلتر
• 26. روش‌های انتخاب ویژگی مبتنی بر wrapper
• 27. روش‌های انتخاب ویژگی مبتنی بر embedded
• 28. مدل‌های یادگیری ماشین در MLlib
• 29. رگرسیون خطی
• 30. رگرسیون لجستیک
• 31. ماشین‌های بردار پشتیبان (SVM)
• 32. درخت‌های تصمیم
• 33. جنگل‌های تصادفی
• 34. مدل‌های خوشه‌بندی
• 35. الگوریتم K-Means
• 36. مدل‌های کاهش ابعاد
• 37. تحلیل مولفه‌های اصلی (PCA)
• 38. نکات کلیدی در ارزیابی مدل
• 39. معیارهای ارزیابی مدل رگرسیون
• 40. معیارهای ارزیابی مدل طبقه‌بندی
• 41. اعتبارسنجی متقابل
• 42. تنظیم هایپرپارامترها
• 43. تنظیم گرادیان کاهشی
• 44. تنظیم پارامترهای درخت تصمیم
• 45. تنظیم پارامترهای جنگل تصادفی
• 46. تنظیم پارامترهای K-Means
• 47. یادگیری عمیق با اسپارک
• 48. مقدمه‌ای بر شبکه‌های عصبی
• 49. لایه‌های کانولوشنال
• 50. لایه‌های بازگشتی
• 51. کار با چارچوب‌های یادگیری عمیق
• 52. استفاده از TensorFlow با اسپارک
• 53. استفاده از PyTorch با اسپارک
• 54. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 55. پردازش متن با اسپارک
• 56. استخراج ویژگی از متن
• 57. مدل‌سازی موضوعی
• 58. تحلیل احساسات
• 59. سیستم‌های توصیه‌گر
• 60. فیلترینگ مشارکتی
• 61. فیلترینگ مبتنی بر محتوا
• 62. ترکیب روش‌های توصیه‌گر
• 63. پردازش داده‌های مکانی-زمانی
• 64. تجزیه و تحلیل داده‌های حسگر
• 65. مدل‌سازی پیش‌بینی‌کننده
• 66. کاربردها در حوزه سلامت
• 67. کاربردها در حوزه مالی
• 68. کاربردها در حوزه تجارت الکترونیک
• 69. کاربردها در حوزه حمل و نقل
• 70. کاربردها در حوزه انرژی
• 71. کاربردها در حوزه دولتی
• 72. امنیت داده‌ها در اسپارک
• 73. مدیریت دسترسی و احراز هویت
• 74. رمزنگاری داده‌ها
• 75. حفاظت از حریم خصوصی داده‌ها
• 76. قوانین و مقررات حفاظت از داده‌ها
• 77. مقیاس‌پذیری پردازش داده‌ها
• 78. بهینه‌سازی عملکرد اسپارک
• 79. تنظیم پارامترهای اسپارک
• 80. توزیع بار کاری در اسپارک
• 81. مدیریت حافظه در اسپارک
• 82. کار با فایل سیستم‌های توزیع شده
• 83. HDFS و ذخیره‌سازی داده‌ها
• 84. Amazon S3 و ذخیره‌سازی داده‌ها
• 85. Azure Data Lake Storage و ذخیره‌سازی داده‌ها
• 86. مقدمه‌ای بر معماری‌های داده مدرن
• 87. انبارهای داده (Data Warehouses)
• 88. دریاچه‌های داده (Data Lakes)
• 89. مفاهیم Data Mesh
• 90. داده‌های سازمان یافته و بدون ساختار
• 91. استفاده از داده‌های گراف
• 92. مقدمه‌ای بر پردازش گراف در اسپارک
• 93. کتابخانه GraphX در اسپارک
• 94. الگوریتم‌های پردازش گراف
• 95. کاربرد پردازش گراف در شبکه‌های اجتماعی
• 96. کاربرد پردازش گراف در تحلیل داده‌های متصل
• 97. مباحث پیشرفته در یادگیری ماشین مقیاس‌پذیر
• 98. یادگیری فعال (Active Learning)
• 99. یادگیری تقویتی (Reinforcement Learning)
• 100. یادگیری انتقالی (Transfer Learning)