فلش‌کارت‌های آموزشی بهینه‌سازی مدل‌های NLP برای سرعت

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی مدل‌های NLP برای سرعت

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 2. اصول برنامه نویسی موازی
• 3. مفاهیم پردازش توزیع شده
• 4. آشنایی با پردازنده‌های CPU و GPU
• 5. معماری‌های سخت‌افزاری HPC
• 6. حافظه نهان (Cache) و سلسله مراتب حافظه
• 7. دستورالعمل‌هایSIMD
• 8. برنامه نویسی برداری (Vector Programming)
• 9. مقدمه‌ای بر یادگیری عمیق
• 10. شبکه‌های عصبی کانولوشنی (CNN)
• 11. شبکه‌های عصبی بازگشتی (RNN)
• 12. حافظه کوتاه‌مدت طولانی (LSTM)
• 13. واحدهای بازگشتی دروازه‌ای (GRU)
• 14. مدل‌های ترنسفورمر (Transformer)
• 15. مکانیزم توجه (Attention Mechanism)
• 16. ترنسفورمرهای نسل اول
• 17. مدل‌های زبانی بزرگ (LLMs)
• 18. کاربرد LLMs در پردازش زبان طبیعی (NLP)
• 19. چالش‌های سرعت در مدل‌های NLP
• 20. معرفی ابزارهای پروفایلینگ (Profiling)
• 21. تکنیک‌های پروفایلینگ CPU
• 22. تکنیک‌های پروفایلینگ GPU
• 23. تحلیل گلوگاه‌های اجرایی (Bottlenecks)
• 24. بهینه‌سازی کد C/C++
• 25. بهینه‌سازی کد Python
• 26. استفاده از کتابخانه‌های بهینه‌سازی مانند NumPy
• 27. برنامه نویسی CUDA برای GPU
• 28. اصول برنامه نویسی CUDA
• 29. مدل حافظه CUDA
• 30. مدیریت هسته‌ها (Kernel Management) در CUDA
• 31. بهینه‌سازی حافظه در CUDA
• 32. همگام‌سازی نخ‌ها (Thread Synchronization) در CUDA
• 33. مدیریت خطا در CUDA
• 34. معرفی کتابخانه cuDNN
• 35. استفاده از cuDNN برای شبکه‌های عصبی
• 36. معرفی کتابخانه TensorRT
• 37. مراحل بهینه‌سازی با TensorRT
• 38. کوانتیزاسیون (Quantization) مدل‌ها
• 39. انواع کوانتیزاسیون (INT8, FP16)
• 40. تکنیک‌های کوانتیزاسیون پس از آموزش (Post-Training Quantization)
• 41. تکنیک‌های کوانتیزاسیون حین آموزش (Quantization-Aware Training)
• 42. تزریق نویز (Noise Injection) در کوانتیزاسیون
• 43. دقت و سرعت در کوانتیزاسیون
• 44. ادغام لایه‌ها (Layer Fusion)
• 45. بهینه‌سازی عملیات ماتریسی
• 46. کاهش ابعاد (Dimensionality Reduction)
• 47. استفاده از تکنیک‌های تنک‌سازی (Sparsity)
• 48. بهینه‌سازی مدل‌های ترنسفورمر
• 49. ترنسفورمرهای سبک (Lightweight Transformers)
• 50. مدل‌های DistilBERT
• 51. مدل‌های MobileBERT
• 52. تکنیک‌های تقطیر دانش (Knowledge Distillation)
• 53. پیاده‌سازی تقطیر دانش
• 54. معرفی کتابخانه Hugging Face Transformers
• 55. بارگذاری مدل‌های از پیش آموزش دیده
• 56. تنظیم دقیق (Fine-tuning) مدل‌ها
• 57. بهینه‌سازی برای استنتاج (Inference)
• 58. بهینه‌سازی برای آموزش (Training)
• 59. استفاده از Mixed Precision Training
• 60. استراتژی‌های کاهش اندازه مدل
• 61. پری-ترینینگ (Pre-training) بهینه
• 62. فشرده‌سازی مدل (Model Compression)
• 63. پرونده‌سازی (Pruning) مدل‌ها
• 64. مراحل پرونده‌سازی
• 65. انواع پرونده‌سازی (unstructured, structured)
• 66. ارزیابی تاثیر پرونده‌سازی بر عملکرد
• 67. فریز کردن وزن‌ها (Weight Freezing)
• 68. تکنیک‌های انتقال یادگیری (Transfer Learning)
• 69. استفاده از پردازش موازی در آموزش
• 70. آموزش موازی داده (Data Parallelism)
• 71. آموزش موازی مدل (Model Parallelism)
• 72. آموزش ترکیبی (Hybrid Parallelism)
• 73. مدل‌های موازی نمودار محاسباتی (Computational Graph Parallelism)
• 74. استفاده از کتابخانه PyTorch Distributed
• 75. استفاده از کتابخانه TensorFlow Distributed
• 76. مدیریت توزیع داده در آموزش
• 77. همگام‌سازی گرادیان‌ها (Gradient Synchronization)
• 78. بهینه‌سازی ارتباطات در سیستم‌های توزیع شده
• 79. استفاده از MPI
• 80. پروتکل‌های ارتباطی در HPC
• 81. مدیریت صف وظایف (Job Scheduling)
• 82. سیستم‌های مدیریت خوشه‌ای (Cluster Management Systems)
• 83. مدیریت منابع سخت‌افزاری
• 84. استفاده از Docker برای محیط‌های تکرارپذیر
• 85. کانتینرسازی (Containerization) برنامه‌های HPC
• 86. اورکستراسیون (Orchestration) با Kubernetes
• 87. میکروسرویس‌ها در HPC
• 88. APIهای بهینه‌سازی شده برای NLP
• 89. پلتفرم‌های استقرار مدل (Model Deployment Platforms)
• 90. بهینه‌سازی برای سخت‌افزارهای خاص (ASICs, FPGAs)
• 91. معماری‌های پردازشی نوظهور
• 92. پردازش در حافظه (In-Memory Computing)
• 93. محاسبات کوانتومی (Quantum Computing) و NLP (مقدمه)
• 94. چالش‌های امنیتی در HPC
• 95. پروفایلینگ و بهینه‌سازی چرخه عمر مدل
• 96. نظارت بر عملکرد مدل در زمان اجرا
• 97. تکرارپذیری (Reproducibility) در آزمایشات HPC
• 98. مستندسازی و اشتراک‌گذاری کد بهینه
• 99. ارزیابی معیارهای عملکرد (Latency, Throughput, Memory Usage)
• 100. تحلیل هزینه-عملکرد (Cost-Performance Analysis)