اکسپرس 24
کتاب پردازش بیگ دیتا با Apache Spark و PySpark در پایتون

کتاب پردازش بیگ دیتا با Apache Spark و PySpark در پایتون

تگ‌ها: Apache Spark PySpark Spark SQL پایتون پردازش بیگ دیتا تحلیل داده دیتافریم کلان داده مهندسی داده یادگیری ماشین

انتخاب پلن

افزودنی‌های اختیاری

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش بیگ دیتا با Apache Spark و PySpark در پایتون

موضوع کلی: برنامه نویسی

موضوع میانی: پایتون (Python)

📋 سرفصل‌های دوره

  • 1. پردازش بیگ دیتا با Apache Spark و PySpark در پایتون
  • 2. مفاهیم بنیادی بیگ دیتا و چالش‌های پردازش آن
  • 3. معرفی Apache Spark و مزایای آن نسبت به Hadoop MapReduce
  • 4. نصب و راه‌اندازی Spark در محیط محلی و ابری
  • 5. معماری Spark: درایور، اجراکننده و خوشه
  • 6. آشنایی با RDD و عملیات‌های Transformation و Action
  • 7. کار با SparkSession و SparkContext
  • 8. ایجاد و دستکاری RDD از منابع مختلف
  • 9. عملیات‌های Transformation پایه: map, filter, flatMap
  • 10. عملیات‌های Transformation پیشرفته: groupByKey, reduceByKey, sortBy
  • 11. عملگرهای Action: collect, count, take, reduce, saveAsTextFile
  • 12. مدیریت پارتیشن‌بندی و بهینه‌سازی RDD
  • 13. معرفی دیتافریم (DataFrame) در Spark
  • 14. ایجاد دیتافریم از فایل‌ها و آرایه‌ها
  • 15. انتخاب، فیلتر و تغییر ستون‌ها در دیتافریم
  • 16. انجام عملیات GroupBy و Aggregation روی دیتافریم
  • 17. پیوستن (Join) دیتافریم‌ها به روش‌های مختلف
  • 18. کار با توابع پنجره (Window Functions) در Spark
  • 19. مدیریت داده‌های گمشده و تکراری در دیتافریم
  • 20. معرفی دیتاست (Dataset) و تفاوت آن با دیتافریم
  • 21. برنامه‌نویسی با PySpark و استفاده از توابع UDF
  • 22. کار با توابع تاریخ، رشته و اعداد در Spark SQL
  • 23. پرس‌وجوی داده‌ها با Spark SQL و جداول مجازی
  • 24. بهینه‌سازی پرس‌وجوها و مدیریت پلن اجرایی
  • 25. خواندن و نوشتن داده از فایل‌های CSV, JSON, Parquet
  • 26. اتصال به پایگاه‌های داده و خواندن داده با JDBC
  • 27. مدیریت فرمت‌های فشرده و سریال‌سازی در Spark
  • 28. معرفی جریان‌های داده (Streaming) با Spark Structured Streaming
  • 29. خواندن جریان داده از سوکت و فایل
  • 30. پردازش پنجره‌ای و حالت‌دار در جریان‌های داده
  • 31. خروجی‌گیری از جریان داده به کنسول و فایل
  • 32. معرفی MLlib و یادگیری ماشین توزیع‌شده
  • 33. آماده‌سازی ویژگی‌ها با Pipeline و VectorAssembler
  • 34. پیاده‌سازی رگرسیون خطی و لجستیک با MLlib
  • 35. خوشه‌بندی با K-Means و مدل‌های مبتنی بر درخت
  • 36. ارزیابی مدل و تنظیم فراپارامترها با CrossValidator
  • 37. مدیریت حافظه و تنظیم پارامترهای اجرایی Spark
  • 38. مدیریت خطا و اشکال‌زدایی در Spark
  • 39. بهبود کارایی با کش کردن (Cache) و پایدارسازی (Persist)
  • 40. استفاده از Broadcast Variables و Accumulators
  • 41. اشکال‌زدایی با Spark UI و لاگ‌ها
  • 42. هماهنگی با YARN و Mesos برای مدیریت خوشه
  • 43. پردازش داده‌های حجیم با پارتیشن‌بندی تطبیقی
  • 44. مقایسه Spark با ابزارهای دیگر مانند Flink و Dask
  • 45. بهینه‌سازی کد پایتون برای اجرا روی Spark
  • 46. مدیریت توابع سنگین و سریال‌سازی در PySpark
  • 47. استفاده از کتابخانه‌های پایتون (NumPy, Pandas) در Spark
  • 48. پردازش داده‌های گراف با GraphX (مفاهیم پایه)
  • 49. پروژه عملی: تحلیل لاگ سرور با Spark
  • 50. پروژه عملی: پردازش داده‌های مالی با Spark SQL
  • 51. پروژه عملی: تحلیل احساسات با MLlib
  • 52. پروژه عملی: پردازش جریان داده از API
  • 53. پروژه عملی: بهینه‌سازی یک Pipeline بزرگ
  • 54. مدیریت نسخه‌ها و هماهنگی تیمی با Spark

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.