فلش‌کارت‌های آموزشی Apache Spark برای پردازش داده‌های هوش مصنوعی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Apache Spark برای پردازش داده‌های هوش مصنوعی

موضوع کلی: هوش مصنوعی بومی و کاربردی

موضوع میانی: Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های حجیم در هوش مصنوعی
• 2. معماری Apache Spark و اجزای اصلی آن
• 3. نصب و پیکربندی محیط Spark
• 4. مفهوم RDD و عملیات Transform و Action
• 5. کار با Spark DataFrame و Dataset
• 6. ساختار داده‌های Schema در Spark
• 7. خواندن داده‌ها از منابع مختلف (CSV, JSON, Parquet)
• 8. عملیات فیلتر کردن و انتخاب داده‌ها در DataFrame
• 9. توابع تجمعی و گروه‌بندی داده‌ها (Aggregation & GroupBy)
• 10. اتصال جداول و عملیات Join در مقیاس بزرگ
• 11. مدیریت مقادیر گم‌شده و پاکسازی داده‌ها
• 12. تبدیل انواع داده‌ها و Cast کردن
• 13. کار با توابع داخلی Spark SQL
• 14. نوشتن کوئری‌های SQL روی DataFrameها
• 15. مفهوم Lazy Evaluation و DAG
• 16. بهینه‌سازی اجرای برنامه‌ها با Spark UI
• 17. مدیریت حافظه و تنظیمات Memory Management
• 18. مفهوم Partitioning و Shuffling
• 19. استراتژی‌های Bucketizing برای بهبود سرعت
• 20. کار با Spark Streaming برای داده‌های زنده
• 21. مفهوم Window Functions برای تحلیل سری‌های زمانی
• 22. تولید ویژگی‌ها (Feature Engineering) با Spark
• 23. کار با Spark MLlib برای یادگیری ماشین
• 24. مفهوم VectorAssembler برای آماده‌سازی ورودی‌ها
• 25. نرمال‌سازی داده‌ها با StandardScaler
• 26. تبدیل متغیرهای دسته‌ای با StringIndexer و OneHotEncoder
• 27. ساخت خط لوله‌های پردازشی با Pipeline
• 28. پیاده‌سازی رگرسیون خطی در مقیاس بزرگ
• 29. پیاده‌سازی رگرسیون لجستیک برای طبقه‌بندی
• 30. الگوریتم‌های تصمیم‌گیرنده (Decision Trees) در Spark
• 31. پیاده‌سازی Random Forest برای داده‌های حجیم
• 32. الگوریتم Gradient Boosted Trees (GBT)
• 33. خوشه‌بندی داده‌ها با K-Means
• 34. کاهش ابعاد با PCA در Spark MLlib
• 35. سیستم‌های توصیه‌گر با روش ALS
• 36. ارزیابی مدل‌های یادگیری ماشین با Evaluators
• 37. تنظیم ابرپارامترها با CrossValidator و ParamGrid
• 38. ذخیره‌سازی و بارگذاری مدل‌های آموزش‌دیده
• 39. اتصال Spark به دیتابیس‌های NoSQL (مثل MongoDB و Cassandra)
• 40. پردازش داده‌های متنی با Spark NLP
• 41. تکنیک‌های Tokenization و Stop-words removal
• 42. استخراج ویژگی‌های متنی با TF-IDF
• 43. کار با Word2Vec در Spark
• 44. پیاده‌سازی مدل‌های تحلیل احساسات (Sentiment Analysis)
• 45. بهینه‌سازی Joinها با Broadcast Variables
• 46. استفاده از Accumulators برای شمارش سراسری
• 47. مدیریت خطاها و Debugging در Spark
• 48. کار با PySpark در محیط Jupyter Notebook
• 49. استقرار Spark روی کلاستر Hadoop YARN
• 50. استفاده از Spark در محیط‌های ابری (Databricks, AWS EMR)
• 51. تکنیک‌های Caching و Persistence
• 52. بهبود عملکرد با استفاده از Catalyst Optimizer
• 53. کار با داده‌های ساختارنیافته در مقیاس پتا‌بایت
• 54. پایش عملکرد کلاستر و شناسایی گلوگاه‌ها
• 55. یکپارچه‌سازی Spark با مدل‌های Deep Learning (مثل Horovod)
• 56. آماده‌سازی داده‌های آموزشی برای مدل‌های Transformer
• 57. استخراج ویژگی‌های پیچیده برای مدل‌های هوش مصنوعی
• 58. مدیریت داده‌های نامتوازن (Imbalanced Data) در Spark
• 59. تولید گزارشات تحلیلی از داده‌های پردازش شده
• 60. پیاده‌سازی یک پروژه کامل پردازش داده تا مدل‌سازی