فلش‌کارت‌های آموزشی کار با داده‌های بزرگ در پایتون با استفاده از کتابخانه‌های تخصصی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کار با داده‌های بزرگ در پایتون با استفاده از کتابخانه‌های تخصصی

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر برنامه‌نویسی پایتون برای داده
• 2. نصب و راه‌اندازی محیط توسعه پایتون (Anaconda/Miniconda)
• 3. مرور ساختارهای داده بنیادین پایتون (لیست، تاپل، دیکشنری، ست)
• 4. توابع، ماژول‌ها و پکیج‌ها در پایتون
• 5. مفاهیم اساسی برنامه‌نویسی شی‌گرا (OOP)
• 6. ورودی/خروجی فایل در پایتون
• 7. مدیریت خطاها و اشکال‌زدایی کد پایتون
• 8. مقدمه‌ای بر تحلیل داده و چالش‌های آن
• 9. داده‌های بزرگ (Big Data) چیست؟ تعریف و ویژگی‌ها
• 10. چالش‌ها و فرصت‌ها در کار با داده‌های بزرگ
• 11. مقدمه‌ای بر محاسبات با کارایی بالا (HPC)
• 12. اهمیت کتابخانه‌های تخصصی در پایتون برای داده‌های بزرگ
• 13. تفکر محاسباتی برای مجموعه‌داده‌های حجیم
• 14. آشنایی با مفهوم پیچیدگی زمانی و فضایی (Big O Notation)
• 15. استفاده از Iterators و Generators برای بهینه‌سازی حافظه
• 16. مقدمه‌ای بر NumPy: آرایه‌ها در مقابل لیست‌های پایتون
• 17. ایجاد آرایه‌های NumPy و انواع داده (dtypes)
• 18. شاخص‌گذاری، برش‌زنی و فیلتر کردن آرایه‌ها
• 19. عملیات ریاضی بر روی آرایه‌های NumPy: Broadcasting
• 20. توابع ریاضی و تجمعی در NumPy
• 21. عملیات جبر خطی با NumPy
• 22. تولید اعداد تصادفی و توزیع‌ها در NumPy
• 23. ماسک‌گذاری منطقی و فیلتر کردن پیشرفته
• 24. تغییر شکل (Reshaping) و ترکیب (Concatenation) آرایه‌ها
• 25. نکات عملکردی و بهینه‌سازی در NumPy
• 26. مقدمه‌ای بر Pandas: Series و DataFrame
• 27. ایجاد و انتخاب داده در Pandas DataFrames
• 28. شاخص‌گذاری و انتخاب پیشرفته با `loc` و `iloc`
• 29. مدیریت داده‌های گمشده (Missing Data)
• 30. پاکسازی و آماده‌سازی داده با Pandas
• 31. عملیات گروهی (Group By) و تجمیع داده‌ها
• 32. ادغام (Merging)، اتصال (Joining) و ترکیب (Concatenating) DataFrames
• 33. تغییر شکل (Reshaping) و Pivot کردن DataFrames
• 34. کار با داده‌های سری زمانی (Time Series)
• 35. داده‌های دسته‌ای (Categorical Data)
• 36. عملیات رشته‌ای کارآمد در Pandas
• 37. استفاده از `apply` در مقابل عملیات Vectorized
• 38. بهینه‌سازی مصرف حافظه در Pandas DataFrames
• 39. بهبود عملکرد کدهای Pandas
• 40. Pandas Best Practices برای داده‌های بزرگ
• 41. قفل سراسری مفسر (GIL) و پیامدهای آن
• 42. درک مدیریت حافظه در پایتون
• 43. ابزارهای پروفایلینگ کد پایتون (cProfile, line_profiler)
• 44. بنچمارکینگ و اندازه‌گیری عملکرد کد (timeit)
• 45. مقدمه‌ای بر همروندی (Concurrency): ماژول `threading`
• 46. چالش‌ها و محدودیت‌های `threading` با GIL
• 47. مقدمه‌ای بر موازی‌سازی (Parallelism): ماژول `multiprocessing`
• 48. استفاده از Pools پردازشی و ارتباط بین فرآیندها
• 49. برنامه‌نویسی ناهمگام (Asynchronous) با `asyncio`
• 50. Coroutines و حلقه‌های رویداد (Event Loops)
• 51. `asyncio` برای وظایف I/O-bound
• 52. معرفی Numba: کامپایل در زمان اجرا (JIT Compilation)
• 53. استفاده از Numba برای عملیات آرایه‌های NumPy
• 54. مبانی Cython برای نوشتن کد سریع
• 55. فایل‌های Memory-Mapped برای داده‌های حجیم
• 56. مقدمه‌ای بر Dask: مقیاس‌پذیری پایتون
• 57. معماری Dask: زمان‌بندها (Schedulers) و کارگران (Workers)
• 58. Dask Arrays: NumPy خارج از حافظه (Out-of-Core)
• 59. Dask DataFrames: Pandas خارج از حافظه (Out-of-Core)
• 60. Dask Bags: موازی‌سازی داده‌های نامنظم
• 61. Dask Futures: زمان‌بندی وظایف دلخواه
• 62. راه‌اندازی و استفاده از خوشه‌های محلی Dask
• 63. داشبورد Dask برای نظارت بر محاسبات
• 64. بهینه‌سازی محاسبات Dask
• 65. استفاده از `map_partitions` و توابع سفارشی در Dask
• 66. خواندن و نوشتن داده با Dask (Parquet, CSV, Zarr)
• 67. موارد استفاده پیشرفته Dask
• 68. ادغام Dask با دیگر کتابخانه‌ها
• 69. مقدمه‌ای بر Modin: اجرای Pandas روی Dask/Ray
• 70. Vaex: DataFrames خارج از حافظه برای مصورسازی
• 71. مقدمه‌ای بر Apache Spark و PySpark
• 72. معماری Spark: Driver, Executors, Cluster Manager
• 73. مجموعه داده‌های توزیع‌شده انعطاف‌پذیر (RDDs)
• 74. Transformations و Actions در RDDs
• 75. Spark DataFrames: پردازش داده‌های ساختاریافته
• 76. Spark SQL برای پرس‌وجو از DataFrames
• 77. توابع تعریف‌شده توسط کاربر (UDFs) در PySpark
• 78. بهینه‌سازی عملکرد PySpark
• 79. Caching و Persistence در Spark
• 80. کار با منابع داده مختلف در PySpark (HDFS, S3, دیتابیس‌ها)
• 81. فرمت‌های ذخیره‌سازی کارآمد داده: Parquet و ORC
• 82. فرمت‌های Feather و HDF5 برای تبادل سریع داده
• 83. Zarr: آرایه‌های چندبعدی chunked و فشرده
• 84. مفاهیم رایانش ابری برای داده‌های بزرگ (AWS, GCP, Azure)
• 85. راه‌اندازی و مدیریت خوشه‌های ابری (مثلاً EMR, Dataproc)
• 86. مقدمه‌ای بر Ray: چارچوب محاسبات توزیع‌شده یکپارچه
• 87. Ray Core API برای وظایف موازی
• 88. Ray Actors برای اشیاء توزیع‌شده با حالت
• 89. یادگیری ماشین توزیع‌شده با Ray (بررسی اجمالی)
• 90. ادغام با پایگاه‌های داده NoSQL و Columnar
• 91. پردازش جریانی (Stream Processing) با Kafka/Pulsar (مفاهیم)
• 92. مانیتورینگ و اشکال‌زدایی سیستم‌های توزیع‌شده
• 93. مصورسازی داده‌های بزرگ (Datashader, Holoviews)
• 94. استفاده از GPU برای محاسبات موازی (CUDA/CuPy - مقدمه)
• 95. اصول SOLID در توسعه HPC
• 96. امنیت در محیط‌های داده بزرگ
• 97. بهترین روش‌ها (Best Practices) برای پایتون با کارایی بالا
• 98. مطالعه موردی: پردازش داده‌های سنسورها
• 99. مطالعه موردی: تحلیل لاگ‌های وب
• 100. پروژه پایانی: ساخت یک پایپ‌لاین داده بزرگ مقیاس‌پذیر