فلش‌کارت‌های آموزشی مسترکلاس برنامه‌نویسی ترکیبی برای ساخت و بهینه‌سازی خط لوله‌های یادگیری ماشین

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مسترکلاس برنامه‌نویسی ترکیبی برای ساخت و بهینه‌سازی خط لوله‌های یادگیری ماشین

موضوع کلی: یادگیری ماشین و مهندسی داده

موضوع میانی: برنامه‌نویسی ترکیبی در خط لوله‌های یادگیری ماشین

📋 سرفصل‌های دوره

• 1. مبانی برنامه‌نویسی ترکیبی و معماری خط لوله ML
• 2. انتخاب زبان‌های مناسب: پایتون، C++، Julia و Rust
• 3. مدیریت وابستگی‌ها و محیط‌های مجازی برای پروژه‌های ترکیبی
• 4. طراحی Prinzipهای ماژولار و قابل تست برای کامپوننت‌های خط لوله
• 5. کار با فریم‌ورک‌های оркеستراسیون: Airflow، Prefect، Dagster
• 6. استفاده از DVC و MLflow برای نسخه‌گذاری داده و مدل
• 7. پیاده‌سازی ingest داده‌های ساختاری و غیرساختاری به صورت موازی
• 8. پیش‌پردازش داده با کتابخانه‌های высокو کارایی (Polars، Vaex، Arrow)
• 9. مهندسی ویژگی‌ها در محیط‌های توزیع‌شده
• 10. استفاده از ONNX و TorchScript برای انتقال مدل بین زبان‌ها
• 11. ساخت لایه‌های استنتاج (inference) با C++ برای تأخیر پایین
• 12. ادغام کتابخانه‌های محاسبه عددی (Eigen، BLAS، MKL) در پایتون عبر pybind11
• 13. برنامه‌نویسی GPU با CUDA و درهم‌سازی با کد میزبان پایتون
• 14. استفاده از Triton Inference Server برای سرویس‌دهی چندمدلی
• 15. استراتژی‌های بatching و pipelining برای بهینه‌سازی throughput
• 16. مدیریت حافظه و_zero-copy بین پردازش‌های مختلف
• 17. پیاده‌سازی Feature Store با Feast و اتصال به خط لوله
• 18. تست واحد، یکپارچگی و قرارداد برای کامپوننت‌های ترکیبی
• 19. CI/CD برای خط لوله‌های ML با GitHub Actions و GitLab CI
• 20. استفاده از Kubernetes و KServe برای استقرار مقیاس‌پذیر
• 21. مانیتورینگ مدل با Prometheus، Grafana و Evidently AI
• 22. تشخیص درفت داده و مدل و راهکارهای بازآموزی خودکار
• 23. امنیت و حریم خصوصی در خط لوله‌های ترکیبی
• 24. بهینه‌سازی هزینه‌های محاسباتی در ابری و On-premise
• 25. الگوهای طراحی برای خط لوله‌های Real-time و Batch
• 26. استفاده از Ray و Dask برای محاسبه توزیع‌شده در خط لوله
• 27. پیاده‌سازی AutoML در محیط ترکیبی
• 28. مدیریت متاداده و خطا با OpenLineage
• 29. استفاده از WebAssembly برای اجرای مدل در مرورگر و Edge
• 30. توسعه APIهای gRPC و REST برای سرویس‌دهی مدل
• 31. استفاده از GraphQL برای کوئری‌های انعطاف‌پذیر ویژگی‌ها
• 32. استراتژی‌های Canary و Blue‑Green Deploy برای مدل‌ها
• 33. تولید مستندات خودکار برای خط لوله با Sphinx و MkDocs
• 34. استفاده از Terraform برای فراهم‌سازی زیرساخت خط لوله
• 35. بهینه‌سازی کامپایلر (LLVM، TVM) برای مدل‌های عمیق
• 36. پروفایلینگ و تحلیل عملکرد با perf، VTune، Nsight
• 37. مدیریت تنظیمات (Config) با Hydra و OmegaConf
• 38. استفاده از NVIDIA RAPIDS برای پردازش داده روی GPU
• 39. پیاده‌سازی خط لوله‌های یادگیری تقویتی (RL) ترکیبی
• 40. استفاده از MLIR برای بهینه‌سازی گراف محاسبه
• 41. توسعه پلاگین‌های سفارشی برای فریم‌ورک‌های оркеستراسیون
• 42. استفاده از Apache Arrow برای اشتراک داده بدون کپی
• 43. مدیریت چرخه حیات مدل با Model Registry
• 44. استفاده از Feature Flags برای کنترل رفتار مدل در تولید
• 45. پیاده‌سازی خط لوله‌های Federated Learning ترکیبی
• 46. استفاده از OpenTelemetry برای ردیابی توزیع‌شده
• 47. استراتژی‌های Rollback و Disaster Recovery برای خط لوله
• 48. بهینه‌سازی شبکه و serialization با Protocol Buffers و FlatBuffers
• 49. استفاده از JAX برای محاسبه خودکار مشتق در خط لوله
• 50. پیاده‌سازی خط لوله‌های چندمرحله‌ای (Multi‑stage) با Dependency Graph
• 51. استفاده از MLCommons برای بنچمارک و مقایسه عملکرد
• 52. توسعه کتابخانه‌های مشترک (Shared Libraries) برای کدهای حیاتی
• 53. استفاده از Bazel برای بیلد سریع و تکرارپذیر پروژه‌های ترکیبی
• 54. مدیریت سیکل‌های داده (Data Lineage) با DataHub
• 55. پیاده‌سازی خط لوله‌های یادگیری عمیق با PyTorch Lightning و C++ Extensions
• 56. استفاده از TensorRT برای بهینه‌سازی استنتاج روی GPU
• 57. استفاده از Hugging Face Transformers در محیط ترکیبی
• 58. تولید داده‌های مصنوعی برای تست خط لوله
• 59. استفاده از Chaos Engineering برای تست استقامت خط لوله