دوره راهنمای جامع Azure Databricks برای پردازش و تحلیل داده همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای جامع Azure Databricks برای پردازش و تحلیل داده

موضوع کلی: هوش مصنوعی و علم داده

موضوع میانی: پلتفرم‌های پردازش داده‌های کلان

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هوش مصنوعی و علم داده در ایران
• 2. مبانی پردازش داده‌های کلان
• 3. معرفی پلتفرم Azure Databricks
• 4. آشنایی با معماری Azure Databricks
• 5. راه‌اندازی محیط کاری Azure Databricks
• 6. اصول کار با نوت‌بوک‌ها در Databricks
• 7. زبان‌های برنامه‌نویسی پشتیبانی شده (Python, Scala)
• 8. کار با DataFrameها در Spark
• 9. عملیات پایه روی DataFrameها
• 10. فیلتر کردن و انتخاب داده‌ها
• 11. توابع تبدیل‌کننده DataFrame
• 12. دسته‌بندی و تجمیع داده‌ها
• 13. عملیات Joint و ادغام DataFrameها
• 14. کار با توابع پنجره‌ای (Window Functions)
• 15. بهینه‌سازی کوئری‌ها در Spark SQL
• 16. مقدمه‌ای بر Delta Lake
• 17. مزایای Delta Lake برای داده‌های کلان
• 18. ذخیره‌سازی و خواندن داده‌ها در Delta Lake
• 19. مدیریت تراکنش‌ها در Delta Lake
• 20. زمان‌سنجی (Time Travel) در Delta Lake
• 21. بهینه‌سازی عملکرد Delta Lake
• 22. کار با داده‌های جریانی (Streaming)
• 23. مقدمه‌ای بر Spark Structured Streaming
• 24. پردازش داده‌های جریانی با Databricks
• 25. مدیریت وضعیت در Spark Streaming
• 26. کار با منابع داده جریانی
• 27. پردازش رویدادهای جریانی
• 28. معرفی MLflow برای مدیریت چرخه عمر مدل
• 29. ردیابی آزمایش‌ها با MLflow
• 30. مدیریت مدل‌ها با MLflow
• 31. استقرار مدل‌ها با MLflow
• 32. مقدمه‌ای بر یادگیری ماشین در Databricks
• 33. آموزش مدل‌های طبقه‌بندی
• 34. آموزش مدل‌های رگرسیون
• 35. ارزیابی مدل‌های یادگیری ماشین
• 36. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 37. انتخاب ویژگی (Feature Selection)
• 38. مهندسی ویژگی (Feature Engineering)
• 39. کار با کتابخانه‌های یادگیری ماشین (Scikit-learn, TensorFlow, PyTorch)
• 40. اجرای مدل‌های یادگیری ماشین روی داده‌های کلان
• 41. مقدمه‌ای بر شبکه‌های عصبی عمیق
• 42. کار با TensorFlow در Databricks
• 43. کار با PyTorch در Databricks
• 44. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 45. تکنیک‌های پیش‌پردازش متن
• 46. مدل‌سازی موضوعی (Topic Modeling)
• 47. تحلیل احساسات (Sentiment Analysis)
• 48. استفاده از مدل‌های زبانی بزرگ (LLMs) در Databricks
• 49. مقدمه‌ای بر بینایی ماشین (Computer Vision)
• 50. پردازش تصویر در Databricks
• 51. تشخیص اشیاء (Object Detection)
• 52. طبقه‌بندی تصویر (Image Classification)
• 53. مقدمه‌ای بر تحلیل سری‌های زمانی
• 54. پیش‌بینی سری‌های زمانی
• 55. کار با مدل‌های ARIMA و Exponential Smoothing
• 56. مقدمه‌ای بر سیستم‌های توصیه‌گر
• 57. فیلتر مشارکتی (Collaborative Filtering)
• 58. فیلتر مبتنی بر محتوا (Content-Based Filtering)
• 59. ارزیابی سیستم‌های توصیه‌گر
• 60. امنیت و دسترسی در Azure Databricks
• 61. مدیریت کاربران و گروه‌ها
• 62. کنترل دسترسی مبتنی بر نقش (RBAC)
• 63. رمزنگاری داده‌ها در Databricks
• 64. مانیتورینگ و لاگینگ در Databricks
• 65. بهینه‌سازی هزینه‌ها در Databricks
• 66. استفاده از Databricks Jobs برای پردازش دسته‌ای
• 67. زمان‌بندی وظایف در Databricks
• 68. کار با Databricks SQL
• 69. ایجاد داشبوردهای تحلیلی
• 70. مقدمه‌ای بر Data Governance در Databricks
• 71. کاتالوگ داده (Data Catalog)
• 72. مدیریت کیفیت داده (Data Quality)
• 73. حاکمیت بر داده‌های حساس
• 74. یکپارچه‌سازی Databricks با سایر سرویس‌های Azure
• 75. اتصال به Azure Data Lake Storage
• 76. اتصال به Azure Synapse Analytics
• 77. اتصال به Azure Machine Learning
• 78. کار با ابزارهای تجسم داده (Tableau, Power BI)
• 79. مقدمه‌ای بر هوش مصنوعی مسئولانه (Responsible AI)
• 80. اصول اخلاقی در هوش مصنوعی
• 81. شفافیت و قابلیت توضیح‌پذیری مدل‌ها
• 82. کاهش سوگیری در مدل‌های هوش مصنوعی
• 83. کاربرد هوش مصنوعی در صنایع ایران
• 84. تحلیل داده‌های مالی با Databricks
• 85. کاربرد در حوزه سلامت و درمان
• 86. کاربرد در حوزه صنعت و تولید
• 87. کاربرد در حوزه کشاورزی
• 88. کاربرد در حوزه انرژی
• 89. مقدمه‌ای بر آینده علم داده و هوش مصنوعی
• 90. روندهای نوظهور در پردازش داده‌های کلان
• 91. چالش‌های پیاده‌سازی هوش مصنوعی در سازمان‌ها
• 92. نقش متخصصان علم داده در آینده
• 93. گام‌های بعدی در یادگیری Azure Databricks
• 94. به‌روزرسانی‌های آتی پلتفرم Databricks
• 95. منابع تکمیلی برای یادگیری عمیق‌تر
• 96. نقشه‌راه شغلی در حوزه علم داده
• 97. توسعه مهارت‌های نرم برای متخصصان داده
• 98. آخرین دستاوردهای علمی در حوزه هوش مصنوعی
• 99. چالش‌های حقوقی و نظارتی هوش مصنوعی در ایران
• 100. امنیت داده در عصر کلان داده