فلش‌کارت‌های آموزشی پیاده‌سازی انبار داده‌های حجیم با پایتون و PostgreSQL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی انبار داده‌های حجیم با پایتون و PostgreSQL

موضوع کلی: کلان‌داده و ذخیره‌سازی اطلاعات

موضوع میانی: معماری انبار داده و پایگاه‌های تحلیلی

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر انبار داده و تفاوت آن با پایگاه عملیاتی
• 2. معماری لایه‌ای انبار داده (Staging، EDW، Data Mart)
• 3. طراحی مدل ستاره‌ای (Star Schema) و مدل دانه برفی
• 4. جدول‌های واقعیت (Fact Tables) و انواع آن
• 5. جدول‌های ابعاد (Dimension Tables) و ویژگی‌های آن
• 6. استخراج، تبدیل و بارگذاری (ETL) در انبار داده
• 7. ابزارهای ETL در پایتون و معرفی کتابخانه‌های مرتبط
• 8. اتصال پایتون به PostgreSQL با Psycopg2
• 9. مدیریت اتصالات و Connection Pooling در PostgreSQL
• 10. طراحی اسکیمای پایگاه داده برای انبار داده
• 11. ایجاد جدول‌های واقعیت و ابعاد با SQL در PostgreSQL
• 12. بارگذاری داده‌های حجیم (Bulk Loading) با COPY در PostgreSQL
• 13. مدیریت ایندکس‌ها برای بهبود عملکرد جستجو در انبار داده
• 14. پارتیشن‌بندی (Partitioning) جدول‌ها در PostgreSQL
• 15. فشرده‌سازی داده‌ها و ذخیره‌سازی ستونی (Columnar Storage)
• 16. معرفی و نصب Citus یا TimescaleDB برای مقیاس‌پذیری
• 17. خوشه‌بندی پایگاه داده (Database Clustering) در PostgreSQL
• 18. تکرار (Replication) و Failover در PostgreSQL
• 19. پشتیبان‌گیری و بازیابی (Backup and Restore) انبار داده
• 20. پایپ لاین استخراج داده از فایل‌های CSV و JSON با پایتون
• 21. پایپ لاین استخراج داده از وب سرویس‌ها و APIها
• 22. پایپ لاین استخراج داده از پایگاه‌های عملیاتی (OLTP)
• 23. پاکسازی و اعتبارسنجی داده‌ها در مرحله Staging
• 24. تبدیل داده‌ها (Data Transformation) با کتابخانه Pandas
• 25. مدیریت داده‌های تکراری و خطاهای رایج در ETL
• 26. تغییرات تدریجی ابعاد (SCD Type 1، 2، 3)
• 27. پیاده‌سازی SCD Type 2 با SQL و پایتون
• 28. بارگذاری تدریجی (Incremental Load) به جای بارگذاری کامل
• 29. مدیریت خطا و لاگ‌گیری در فرآیند ETL
• 30. برنامه‌ریز (Scheduler) برای اجرای خودکار ETL
• 31. معرفی معماری Data Lakehouse و تفاوت آن با انبار داده
• 32. ذخیره‌سازی فایل‌های پارکت (Parquet) و آوورو (Avro)
• 33. یکپارچه‌سازی انبار داده با Apache Spark
• 34. نوشتن Queryهای تحلیلی پیچیده با SQL
• 35. استفاده از توابع پنجره (Window Functions) در PostgreSQL
• 36. بهینه‌سازی Queryها با EXPLAIN و ANALYZE
• 37. ایجاد Materialized View در PostgreSQL
• 38. ایجاد Aggregate Table برای سرعت بخشی به گزارش‌ها
• 39. اتصال پایتون به انبار داده و اجرای Query
• 40. ساخت داشبورد ساده با پایتون از داده‌های انبار
• 41. مدیریت امنیت و دسترسی کاربران در PostgreSQL
• 42. رمزنگاری داده‌ها در حال انتقال و ذخیره (TLS و TDE)
• 43. مدیریت حافظه و تنظیمات PostgreSQL برای داده‌های حجیم
• 44. تنظیم پارامترهای Work_mem و Shared_buffers
• 45. مانیتورینگ عملکرد انبار داده با pg_stat_statements
• 46. مدیریت نسخه (Versioning) اسکیمای پایگاه داده
• 47. تست واحد (Unit Test) برای فرآیندهای ETL در پایتون
• 48. مستندسازی خط لوله داده و معماری انبار
• 49. مدیریت دیکشنری داده (Data Dictionary) و متادیتا
• 50. معرفی ابزارهای BI و اتصال به PostgreSQL
• 51. مقیاس‌پذیری افقی با Sharding در PostgreSQL
• 52. مدیریت تراکنش‌های طولانی و قفل‌ها در انبار داده
• 53. بهبود سرعت بارگذاری با Parallel Workers
• 54. مدیریت فایل WAL و تنظیمات آن در PostgreSQL
• 55. استفاده از Foreign Data Wrappers (FDW) برای یکپارچه‌سازی
• 56. مدیریت داده‌های تاریخی و آرشیو کردن
• 57. طراحی معماری Lambda و Kappa در انبار داده
• 58. مدیریت جریان داده (Data Streaming) با Kafka و PostgreSQL
• 59. پایپ لاین بلادرنگ (Real-time ETL) با پایتون
• 60. بهینه‌سازی هزینه ذخیره‌سازی در فضای ابری
• 61. مهاجرت از انبار داده سنتی به معماری مدرن
• 62. عیب‌یابی مشکلات رایج در انبار داده با PostgreSQL
• 63. مدیریت پروژه پیاده‌سازی انبار داده در سازمان