فلش‌کارت‌های آموزشی مهندسی داده و یادگیری ماشین با Apache Spark: از مبانی تا کاربردها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده و یادگیری ماشین با Apache Spark: از مبانی تا کاربردها

موضوع کلی: مهندسی داده و یادگیری ماشین

موضوع میانی: پردازش کلان داده با Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و یادگیری ماشین
• 2. نقش کلان داده در دنیای امروز
• 3. معرفی Apache Spark
• 4. معماری Spark و اجزای کلیدی آن
• 5. نصب و پیکربندی Spark
• 6. مفاهیم اولیه Spark: RDDها
• 7. عملیات روی RDDها: تبدیل‌ها و اقدامات
• 8. کار با داده‌های ساختاریافته: Spark SQL
• 9. DataFrameها و Datasetها در Spark
• 10. تفاوت بین DataFrame و RDD
• 11. بهینه‌سازی عملکرد با Spark SQL
• 12. پردازش داده‌های جریانی با Spark Streaming
• 13. مفاهیم اولیه Spark Streaming
• 14. نوشتن برنامه‌های Spark Streaming
• 15. تکنیک‌های پردازش داده‌های جریانی
• 16. Spark MLlib: کتابخانه یادگیری ماشین Spark
• 17. مقدمه‌ای بر یادگیری ماشین با Spark
• 18. الگوریتم‌های طبقه‌بندی در MLlib
• 19. الگوریتم‌های رگرسیون در MLlib
• 20. خوشه‌بندی با MLlib
• 21. مدل‌های کاهش ابعاد
• 22. ارزیابی مدل‌های یادگیری ماشین
• 23. تنظیم هایپرپارامترها
• 24. کار با داده‌های غیرساختاریافته
• 25. پردازش زبان طبیعی با Spark
• 26. شبکه‌های عصبی و یادگیری عمیق با Spark
• 27. مقدمه‌ای بر یادگیری عمیق
• 28. استفاده از کتابخانه‌های یادگیری عمیق در Spark
• 29. Spark GraphX برای پردازش گراف
• 30. مقدمه‌ای بر پردازش گراف
• 31. الگوریتم‌های گراف در GraphX
• 32. کاربردهای GraphX
• 33. ذخیره‌سازی داده‌ها برای Spark
• 34. فرمت‌های داده‌ای سازگار با Spark (Parquet, ORC)
• 35. پایگاه‌های داده NoSQL و Spark
• 36. اتصال Spark به پایگاه‌های داده رابطه‌ای
• 37. مدیریت و پایش برنامه‌های Spark
• 38. ابزارهای مانیتورینگ Spark
• 39. اشکال‌زدایی برنامه‌های Spark
• 40. بهینه‌سازی حافظه در Spark
• 41. تکنیک‌های پارتیشن‌بندی داده‌ها
• 42. استفاده از Caching و Persistence
• 43. انتقال داده‌ها در Spark
• 44. مدیریت منابع در Spark (YARN, Mesos)
• 45. استقرار Spark در محیط‌های ابری
• 46. Spark در AWS (EMR)
• 47. Spark در Google Cloud (Dataproc)
• 48. Spark در Azure (HDInsight)
• 49. امنیت در Spark
• 50. ملاحظات امنیتی در پردازش کلان داده
• 51. پیاده‌سازی الگوهای مهندسی داده با Spark
• 52. ساخت خطوط لوله داده (Data Pipelines)
• 53. تکنیک‌های ETL/ELT با Spark
• 54. مدیریت کیفیت داده‌ها با Spark
• 55. نظارت بر کیفیت داده‌ها
• 56. پاکسازی و پیش‌پردازش داده‌ها
• 57. استفاده از Spark برای تحلیل اکتشافی داده (EDA)
• 58. تجسم داده‌ها با Spark
• 59. ادغام Spark با ابزارهای تجسم
• 60. یادگیری ماشین عملیاتی (MLOps) با Spark
• 61. استقرار مدل‌های یادگیری ماشین
• 62. نظارت بر عملکرد مدل‌ها
• 63. ملاحظات مقیاس‌پذیری در مهندسی داده
• 64. طراحی سیستم‌های مقیاس‌پذیر
• 65. مدیریت داده‌های حجیم
• 66. کاربردهای پیشرفته Spark
• 67. پردازش داده‌های مکانی با Spark
• 68. تحلیل سری‌های زمانی با Spark
• 69. مقدمه‌ای بر هوش مصنوعی و یادگیری ماشین
• 70. مفاهیم آماری برای یادگیری ماشین
• 71. اصول یادگیری نظارت شده
• 72. اصول یادگیری بدون نظارت
• 73. مهندسی ویژگی (Feature Engineering)
• 74. انتخاب ویژگی (Feature Selection)
• 75. مدل‌های ensembles
• 76. شبکه‌های عصبی کانولوشنال (CNN)
• 77. شبکه‌های عصبی بازگشتی (RNN)
• 78. پردازش تصویر با Spark
• 79. پردازش صدا با Spark
• 80. ملاحظات اخلاقی در هوش مصنوعی
• 81. حریم خصوصی داده‌ها
• 82. سوگیری در مدل‌های یادگیری ماشین
• 83. آینده مهندسی داده و یادگیری ماشین
• 84. روندهای نوظهور در Spark
• 85. کاربرد Spark در صنایع مختلف
• 86. مطالعات موردی موفق
• 87. نکات و ترفندهای پیشرفته Spark
• 88. مدیریت خطای پیشرفته در Spark
• 89. تست و اعتبارسنجی برنامه‌های Spark
• 90. بهینه‌سازی پایگاه داده برای Spark
• 91. استفاده از Spark برای پردازش داده‌های گرافیکی
• 92. طراحی معماری‌های داده مدرن
• 93. تکنیک‌های داده‌کاوی با Spark
• 94. تحلیل داده‌های شبکه‌های اجتماعی
• 95. توصیه‌گرها (Recommender Systems) با Spark
• 96. پردازش رویدادها در زمان واقعی
• 97. مدیریت کلان داده در سازمان‌ها
• 98. پلتفرم‌های داده یکپارچه
• 99. نقش مهندس داده در تیم‌های چابک
• 100. یادگیری مداوم و به‌روزرسانی مدل‌ها