دوره راهنمای عملی ساخت پایپ‌لاین‌های تبدیل داده با Pandas از صفر تا محصول همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای عملی ساخت پایپ‌لاین‌های تبدیل داده با Pandas از صفر تا محصول

موضوع کلی: پردازش و مهندسی داده

موضوع میانی: ساخت پایپ‌لاین‌های تبدیل داده با Pandas

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پایپ‌لاین‌های تبدیل داده
• 2. راه‌اندازی محیط پایتون و نصب Pandas
• 3. ساختار DataFrame و Series در Pandas
• 4. خواندن داده از فایل‌های CSV و Excel
• 5. وارد کردن داده از پایگاه‌های داده SQL
• 6. بارگذاری داده‌های JSON و XML
• 7. دریافت داده از APIها و منابع وب
• 8. کاوش و بررسی اولیهٔ دیتاست
• 9. مدیریت مقادیر گمشده و Null
• 10. شناسایی و حذف رکوردهای تکراری
• 11. تبدیل نوع داده و بهینه‌سازی حافظه
• 12. فیلتر ردیف‌ها با شرایط بولین
• 13. مرتب‌سازی و رتبه‌بندی داده‌ها
• 14. تغییر نام و بازفهرست‌بندی ستون‌ها
• 15. اعمال توابع روی ستون‌ها و ردیف‌ها
• 16. عملیات رشته‌ای و پاک‌سازی متن
• 17. تحلیل تاریخ و عملیات مبتنی بر زمان
• 18. گروه‌بندی داده با groupby
• 19. توابع تجمیع‌ی و آمار خلاصه
• 20. جداول پیوت و Cross-Tabulation
• 21. الحاق داده‌ها با merge
• 22. الحاق و ترکیب Datasetها
• 23. تغییر شکل داده با Melt و Pivot
• 24. تابع پنجره‌ای و محاسبات Rolling
• 25. منطق شرطی با np.where و Mask
• 26. ساخت توابع سفارشی برای تبدیل داده
• 27. مقدمه‌ای بر Method Chaining
• 28. طراحی پایپ‌لاین‌های مدولار با Pandas
• 29. استفاده از Pipe برای خوانایی بالا
• 30. مدیریت خطا در فرآیند تبدیل داده
• 31. اعتبارسنجی کیفیت داده با Assert
• 32. کار با داده‌های بزرگ و Chunking
• 33. برداری‌سازی برای بهینه‌سازی سرعت
• 34. پروفایلینگ و سنجش عملکرد پایپ‌لاین
• 35. کش‌کردن نتایج میانی
• 36. خودکارسازی وظایف تبدیل مکرر
• 37. ساخت پایپ‌لاین‌های قابل پیکربندی و بازاستفاده
• 38. خروجی داده به CSV و Excel و Parquet
• 39. نوشتن نتایج به پایگاه داده SQL
• 40. تولید گزارش از داده‌های تبدیل‌شده
• 41. یکپارچه‌سازی Pandas با Airflow برای زمان‌بندی
• 42. اتصال Pandas به ذخیره‌سازی ابری (S3, GCS)
• 43. پردازش جریانی با Pandas و Dask
• 44. اعتبارسنجی داده با Great Expectations
• 45. ساخت پایپ‌لاین ETL کامل از صفر
• 46. مطالعهٔ واقعی: پایپ‌لاین دادهٔ فروش
• 47. مطالعهٔ واقعی: پایپ‌لاین دادهٔ لاگ
• 48. تست و دیباگ پایپ‌لاین‌های داده
• 49. بهترین شیوه‌ها برای پایپ‌لاین‌های تولیدی
• 50. پروژهٔ نهایی: ساخت پایپ‌لاین تبدیل دادهٔ کامل