فلش‌کارت‌های آموزشی پایتون برای مهندسی داده: از مبانی برنامه‌نویسی تا خط‌لوله‌های پردازش اطلاعات

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پایتون برای مهندسی داده: از مبانی برنامه‌نویسی تا خط‌لوله‌های پردازش اطلاعات

موضوع کلی: علوم داده و تحلیل کلان‌داده‌ها

موضوع میانی: مهندسی داده و زیرساخت‌های نرم‌افزاری

📋 سرفصل‌های دوره

• 1. مبانی برنامه‌نویسی پایتون برای مهندسین داده
• 2. نصب و پیکربندی محیط توسعه و مدیریت بسته‌ها در پایتون
• 3. انواع داده‌های پایه و ساختارهای کنترلی در تحلیل داده
• 4. کار با لیست‌ها، تاپل‌ها و دیکشنری‌ها برای ذخیره‌سازی داده‌های ساختاریافته
• 5. توابع و ماژول‌ها در توسعه کدهای مقیاس‌پذیر
• 6. مدیریت خطاها و اشکال‌زدایی در خط‌لوله‌های داده
• 7. کار با فایل‌های متنی و استانداردهای تبادل داده مانند CSV و JSON
• 8. مبانی شی‌گرایی در پایتون با تمرکز بر مدل‌سازی داده‌ها
• 9. کار با کتابخانه NumPy برای محاسبات عددی سریع
• 10. مدیریت و تحلیل داده‌های جدولی با کتابخانه Pandas
• 11. پاک‌سازی داده‌های ناقص و پیش‌پردازش مجموعه‌داده‌های حجیم
• 12. کار با داده‌های زمانی و تقویم در مهندسی داده
• 13. اتصال به پایگاه‌های داده رابطه‌ای با استفاده از SQL و SQLAlchemy
• 14. عملیات پرس‌وجو و استخراج داده از دیتابیس‌های حجیم
• 15. مبانی کار با داده‌های غیررابطه‌ای و NoSQL در پایتون
• 16. کار با کتابخانه‌های درخواست برای استخراج داده از وب‌سرویس‌ها (API)
• 17. مفاهیم اولیه خط‌لوله‌های داده (Data Pipelines) و جریان‌های کاری
• 18. استفاده از کتابخانه Requests برای فراخوانی سرویس‌های داده‌ای
• 19. مقدمه‌ای بر پردازش موازی و چندنخی در پایتون
• 20. بهینه‌سازی مصرف حافظه در پردازش مجموعه‌داده‌های بزرگ
• 21. مبانی مصورسازی داده‌ها برای گزارش‌گیری مهندسی
• 22. آشنایی با فرمت‌های ذخیره‌سازی بهینه داده مانند Parquet و Avro
• 23. تکنیک‌های خواندن و نوشتن داده در سیستم‌های فایل توزیع‌شده
• 24. آشنایی با مفاهیم تزریق داده (Data Ingestion) به انباره‌های داده
• 25. کار با ابزارهای زمان‌بندی وظایف (Task Scheduling) در پایتون
• 26. مبانی مدل‌سازی داده و طراحی طرح‌واره (Schema) برای انبار داده
• 27. تست‌نویسی برای خط‌لوله‌های داده و اطمینان از صحت اطلاعات
• 28. مستندسازی کدهای مهندسی داده و استانداردهای نگارش
• 29. امنیت در تبادل داده و مدیریت کلیدهای دسترسی در کدهای پایتون
• 30. آشنایی با محیط‌های پردازش ابری و استقرار کدهای داده‌محور
• 31. مقدمه‌ای بر معماری‌های داده مدرن و نقش پایتون در آن‌ها
• 32. پروژه عملی: طراحی یک خط‌لوله کامل برای استخراج، تبدیل و بارگذاری داده (ETL)