فلشکارتهای آموزشی تحلیل دادههای بزرگ با Apache Spark و Hadoop
دوره جامع تحلیل دادههای بزرگ با Apache Spark و Hadoop | ورود به دنیای Big Data دوره جامع تحلیل دادههای بزرگ با Apache Spark و Hadoop: از صفر تا استخدام! در دنیای امروز، دادهها پادشاهی میکنند! حجم ...
🎓 دوره آموزشی جامع
📚 اطلاعات دوره
عنوان دوره: دوره تحلیل دادههای بزرگ با Apache Spark و Hadoop
موضوع کلی: برنامه نویسی
موضوع میانی: حوزههای تخصصی**
📋 سرفصلهای دوره
- 1. مقدمهای بر کلان داده (Big Data) و چالشهای آن
- 2. ویژگیهای کلان داده: حجم، سرعت، تنوع (3V's) و فراتر از آن
- 3. تاریخچه و معرفی اکوسیستم Hadoop
- 4. معرفی Apache Spark: قدرت پردازش در حافظه
- 5. مقایسه Hadoop MapReduce و Apache Spark
- 6. معماری اکوسیستم کلان داده: ذخیرهسازی، پردازش، تحلیل
- 7. راهاندازی محیط توسعه: ماشین مجازی، Docker و ابزارهای محلی
- 8. آشنایی با سیستم فایل توزیعشده Hadoop (HDFS)
- 9. معماری HDFS: NameNode، DataNode و Block
- 10. خواندن و نوشتن فایلها در HDFS
- 11. دستورات اصلی HDFS Shell
- 12. مفهوم Fault Tolerance و Replication در HDFS
- 13. معرفی YARN: مدیر منابع Hadoop
- 14. معماری YARN: ResourceManager، NodeManager و ApplicationMaster
- 15. آشنایی با پارادایم MapReduce
- 16. مقدمهای بر Apache Hive و انبار داده (Data Warehousing)
- 17. مقدمهای بر Apache HBase: پایگاه داده NoSQL روی HDFS
- 18. مقدمهای بر Apache Sqoop: انتقال داده از پایگاههای داده رابطهای
- 19. مقدمهای بر Apache Flume: جمعآوری دادههای جریانی (Streaming)
- 20. مقدمهای بر Apache Zookeeper: سرویس هماهنگسازی توزیعشده
- 21. معماری Apache Spark: Driver، Executor و Cluster Manager
- 22. حالتهای اجرای Spark: Local، Standalone، YARN و Kubernetes
- 23. آشنایی با Spark Shell (Scala و PySpark)
- 24. ارسال اولین برنامه Spark با spark-submit
- 25. مفهوم اصلی Spark: مجموعه دادههای توزیعشده انعطافپذیر (RDD)
- 26. ایجاد RDD از مجموعهها و فایلهای محلی
- 27. ایجاد RDD از HDFS و سایر منابع داده
- 28. عملیات روی RDDها: Transformation و Action
- 29. مفهوم ارزیابی کند (Lazy Evaluation) و گراف غیرمدور جهتدار (DAG)
- 30. Transformationهای پایه روی RDD: map، filter، flatMap
- 31. RDDهای کلید-مقدار (Pair RDDs)
- 32. Transformationهای روی Pair RDD: reduceByKey، groupByKey، sortByKey
- 33. تفاوت عملکردی groupByKey و reduceByKey
- 34. Actionهای رایج روی RDD: collect، count، take، reduce، saveAsTextFile
- 35. توابع ناشناس (Anonymous Functions) و عبارات Lambda در Spark
- 36. مفهوم ماندگاری (Persistence) و کش کردن (Caching) در RDDها
- 37. سطوح مختلف ذخیرهسازی (Storage Levels) در Spark
- 38. متغیرهای مشترک: متغیرهای پخشی (Broadcast Variables)
- 39. متغیرهای مشترک: انبارهها (Accumulators)
- 40. آشنایی با پارتیشنها (Partitions) و اهمیت آن در عملکرد
- 41. کنترل پارتیشنبندی با repartition و coalesce
- 42. مقدمهای بر Spark SQL و DataFrames
- 43. نقطه ورود یکپارچه: SparkSession
- 44. ایجاد DataFrame از RDDها
- 45. ایجاد DataFrame از منابع داده مختلف: JSON، CSV، Parquet
- 46. خواندن داده از پایگاههای داده رابطهای با JDBC
- 47. مفهوم Schema در DataFrame و استنتاج خودکار آن
- 48. عملیات پایه روی DataFrame: select، filter، where
- 49. افزودن، حذف و تغییر نام ستونها
- 50. کار با دادههای گمشده (Missing Data)
- 51. عملیات تجمعی و گروهبندی (Grouping and Aggregation)
- 52. توابع تجمعی رایج: count، sum، avg، min، max
- 53. انواع Join در DataFrame: Inner، Outer، Left، Right
- 54. استراتژیهای Join در Spark و بهینهسازی آن
- 55. توابع پنجرهای (Window Functions)
- 56. توابع تعریفشده توسط کاربر (User-Defined Functions - UDFs)
- 57. UDFهای برداری شده (Pandas UDFs) برای عملکرد بهتر در PySpark
- 58. ذخیره DataFrame در فرمتهای مختلف: Parquet، ORC، CSV
- 59. آشنایی با بهینهساز Catalyst
- 60. نمایش و تحلیل طرح اجرایی (Execution Plan)
- 61. یکپارچهسازی Spark SQL با Hive
- 62. مقدمهای بر Dataset API: رابط برنامهنویسی نوعدار (Typed API)
- 63. مقایسه RDD، DataFrame و Dataset
- 64. کار با انواع دادههای پیچیده: Struct، Array، Map
- 65. مقدمهای بر پردازش جریانی (Stream Processing)
- 66. معماری Spark Streaming (مبتنی بر DStream)
- 67. ایجاد DStream از منابع مختلف مانند Kafka، Flume و سوکتها
- 68. Transformationهای روی DStream: map، filter، window
- 69. Transformationهای حالتمند (Stateful): updateStateByKey
- 70. عملیات خروجی در DStream
- 71. معرفی پردازش جریانی ساختاریافته (Structured Streaming)
- 72. مدل مفهومی Structured Streaming: DataFrame به عنوان جریان بیپایان
- 73. پردازش مبتنی بر زمان رویداد (Event Time) و Watermarking
- 74. عملیات پنجرهای در Structured Streaming
- 75. منابع ورودی (Sources) و خروجی (Sinks) در Structured Streaming
- 76. مقدمهای بر یادگیری ماشین با Spark MLlib
- 77. انواع داده در MLlib: Vector، LabeledPoint
- 78. مفاهیم اصلی ML Pipeline: Transformer، Estimator، Pipeline
- 79. مهندسی ویژگیها: استخراج، تبدیل و انتخاب ویژگی
- 80. الگوریتمهای طبقهبندی (Classification): رگرسیون لجستیک و درخت تصمیم
- 81. الگوریتمهای رگرسیون (Regression): رگرسیون خطی
- 82. الگوریتمهای خوشهبندی (Clustering): K-Means
- 83. ارزیابی مدل و معیارهای سنجش عملکرد
- 84. تنظیم فراپارامترها (Hyperparameter Tuning) با Cross-Validation
- 85. ذخیره و بارگذاری مدلهای یادگیری ماشین
- 86. سیستمهای توصیهگر (Recommendation Systems) با ALS
- 87. مقدمهای بر پردازش گراف با GraphX
- 88. مفاهیم اصلی GraphX: Vertex، Edge و Graph
- 89. الگوریتمهای رایج گراف: PageRank و Connected Components
- 90. استقرار برنامههای Spark روی کلاستر YARN
- 91. آشنایی با رابط کاربری وب Spark (Spark UI)
- 92. تحلیل Jobs، Stages و Tasks در Spark UI
- 93. تفسیر گراف DAG در رابط کاربری
- 94. شناسایی گلوگاههای عملکردی: Data Skew و Shuffle
- 95. مدیریت حافظه در Spark: On-heap و Off-heap
- 96. تنظیمات مهم پیکربندی Spark برای بهینهسازی عملکرد
- 97. بهترین شیوهها (Best Practices) در توسعه برنامههای Spark
- 98. مطالعه موردی اول: تحلیل لاگهای وبسرور
- 99. مطالعه موردی دوم: ساخت یک خط لوله ETL
- 100. مطالعه موردی سوم: پیشبینی تقلب در تراکنشها
SMART LEARNING PLATFORM
از مطالعه تا یادگیری ماندگار
فراتر از یک مجموعه فلشکارت؛ تجربهای تعاملی برای یادگیری، تمرین، مرور هوشمند و مشاهده مسیر پیشرفت شما، همراه با امکان دریافت گواهی پایان دوره در دورههای واجد شرایط.
مرور فاصلهدار
آمار یادگیری
گواهی دوزبانه
یادگیری را به یک مسیر قابل پیگیری تبدیل کنید
با ورود به سامانه آموزشی، محتوای دوره را بهصورت مرحلهای دنبال کنید، فلشکارتها را مرور کنید، دانش خود را با پرسشها و آزمونها بسنجید و روند پیشرفتتان را در طول مسیر ببینید.
⟳
مرور فاصلهدار هوشمند
با مرور زماندار، کارتهای تازه و کارتهای سررسیدشده را بر اساس برنامه مرور دنبال کنید. ارزیابی پاسخها به زمانبندی مرورهای بعدی کمک میکند تا تمرین متناسبتری داشته باشید.
◉
مشاهده مسیر پیشرفت
میزان مشاهده فلشکارتها، فعالیتهای مرور، عملکرد آزمونها و آمار یادگیری را بررسی کنید و تصویر روشنتری از مسیر آموزشی خود داشته باشید.
▤
یادگیری مرحلهبهمرحله
فصلها و بخشهای آموزشی را به ترتیب دنبال کنید، مطالب دیدهنشده را پیدا کنید و بدون سردرگمی به ادامه مسیر برگردید.
✓
تمرین و سنجش آموختهها
با نکتههای آموزشی، پرسش و پاسخ، کوییزها و آزمونهای پایان فصل، دانستههای خود را تمرین کنید و بخشهایی را که به توجه بیشتری نیاز دارند بشناسید.
SMART REVIEW
هر بار، مرور هدفمندتر
لازم نیست هر روز از ابتدا درباره اینکه چه چیزی را مرور کنید تصمیم بگیرید. سامانه، صف مرور روزانه را بر اساس کارتهای تازه و موعد مرور کارتها آماده میکند. شما پاسخ را ارزیابی میکنید و برنامه مرور با توجه به آن تنظیم میشود.
دوباره
برای کارتهایی که به تمرین زودتر نیاز دارند.
سخت
برای پاسخهایی که با دشواری به یاد آمدهاند.
خوب
برای پاسخهایی که بهدرستی به یاد آوردهاید.
آسان
برای کارتهایی که پاسخ آنها را بهآسانی میدانید.
برنامه مرور بر اساس ارزیابی شما تنظیم میشود؛ مرور منظم میتواند به تثبیت آموختهها کمک کند، اما بهتنهایی تضمینکننده تسلط کامل نیست.
محتوا را به شیوههای مختلف تمرین کنید
ساختار دورهها متناسب با موضوع آموزشی طراحی شده است و ممکن است انواع مختلفی از محتوا را در بر بگیرد.
نکتههای ساده
برای مرور سریع مفاهیم اصلی و نکات کلیدی.
نکتههای رسمی
برای تمرین تعاریف، اصطلاحات و بیان دقیق علمی.
کوییز
برای سنجش درک مطلب و بررسی گزینه صحیح.
پرسش و پاسخ
برای تمرین یادآوری و سنجش میزان تسلط بر مطالب.
محتوای هر دوره بر اساس ساختار و امکانات فعال همان دوره ارائه میشود.
LEARN ANYWHERE
همراه شما روی مرورگر
برای استفاده از نسخه تحت وب، کافی است با حساب کاربری خود وارد سامانه شوید. بدون نیاز به نصب یک برنامه اختصاصی، میتوانید از مرورگر سازگار روی گوشی، تبلت یا رایانه به دورههای در دسترس خود مراجعه کنید.
گوشی هوشمند
برای مطالعه در زمانهای کوتاه
تبلت و لپتاپ
برای مطالعه و مرور راحتتر
حساب کاربری شخصی
برای دسترسی به دورههای مجاز شما
COURSE COMPLETION CERTIFICATE
گواهی پایان دوره؛ ثبت دستاورد شما
در دورههایی که امکان دریافت گواهی برای آنها فعال است، میتوانید پس از تکمیل شرایط آموزشی، درخواست گواهی پایان دوره ثبت کنید.
شرایط درخواست گواهی
✓ داشتن دسترسی دارای قابلیت گواهی برای دوره مربوطه.
✓ تکمیل اطلاعات لازم در پروفایل، شامل کد ملی معتبر، عکس پرسنلی و نام و نام خانوادگی انگلیسی.
✓ مشاهده تمام فلشکارتهای فعال دوره.
✓ قبولی در آزمونهای پایان فصل، در صورت وجود آزمون برای فصلها.
فارسی و انگلیسی
پس از تأیید و انتشار، نسخههای فارسی و انگلیسی گواهی در دسترس قرار میگیرند.
استعلام آنلاین
گواهی منتشرشده دارای QR Code و لینک اختصاصی برای بررسی آنلاین اعتبار آن است.
دانلود و چاپ
پس از انتشار گواهی، امکان دریافت نسخه PDF فارسی و انگلیسی و چاپ آن فراهم است.
توجه: ثبت درخواست به معنای صدور قطعی نیست. درخواست گواهی پس از بررسی و تأیید ادمین منتشر میشود. این گواهی، گواهی پایان دوره آموزشی است و بهخودیخود معادل مدرک دانشگاهی یا مدرک رسمی مورد تأیید نهادهای دولتی نیست.
یادگیری را شروع کنید؛ پیشرفت را دنبال کنید
با تمرین منظم، مرور هدفمند و پیگیری مسیر آموزشی خود، قدمبهقدم دانش و مهارتهایتان را گسترش دهید.
هر کارت، یک قدم به جلو
امکانات محتوایی، مرور و گواهی بر اساس سطح دسترسی و تنظیمات هر دوره متفاوت است.
نگاهی به محیط سامانه
یادگیری هوشمند، قدمبهقدم
با محیط سامانه آموزشی آشنا شوید و نمونههایی از فضای یادگیری، فلشکارتها و ابزارهای مرور و تمرین را مشاهده کنید.
محیط سامانه آموزشی
برای مشاهده تصویر در اندازه بزرگتر کلیک کنید
یادگیری و مرور مطالب
برای مشاهده تصویر در اندازه بزرگتر کلیک کنید
تجربه مطالعه تعاملی
برای مشاهده تصویر در اندازه بزرگتر کلیک کنید
امکانات بیشتر سامانه
برای مشاهده تصویر در اندازه بزرگتر کلیک کنید
یادگیری فراتر از مطالعه معمولی
با فلشکارتهای آموزشی، مرور هدفمند و تمرین مستمر، مطالب را فعالانه یاد بگیرید و مسیر پیشرفت خود را دنبال کنید.
تگها:
AI
Apache Spark
Big Data
Data Science
Distributed computing
Hadoop
Machine Learning
Python
Scala
برنامه نویسی
پردازش توزیع شده
تحلیل داده
دادههای بزرگ
هوش مصنوعی
یادگیری ماشین
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.