فلش‌کارت‌های آموزشی تکنیک‌های کوانتیزاسیون (Quantization) برای مدل‌های DL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تکنیک‌های کوانتیزاسیون (Quantization) برای مدل‌های DL

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری عمیق و هزینه‌های محاسباتی آن
• 2. چرا به فشرده‌سازی مدل نیاز داریم؟ اهداف و انگیزه‌ها
• 3. مروری بر محاسبات سطح بالا (HPC) و نقش آن در هوش مصنوعی
• 4. کوانتیزاسیون چیست؟ مقدمه‌ای بر مفاهیم اصلی
• 5. تاریخچه و تکامل تکنیک‌های کوانتیزاسیون
• 6. اعداد ممیز شناور: از FP32 تا FP16 و Bfloat16
• 7. اعداد صحیح: مبانی INT8، INT4 و محاسبات کم‌دقت
• 8. مقایسه حساب ممیز ثابت (Fixed-Point) و ممیز شناور (Floating-Point)
• 9. معیارهای کلیدی: دقت، سرعت (Latency & Throughput) و اندازه مدل
• 10. چالش‌ها و بده‌بستان‌ها در کوانتیزاسیون
• 11. معرفی انواع کوانتیزاسیون: ایستا (Static) در مقابل پویا (Dynamic)
• 12. معرفی انواع فرآیندها: کوانتیزاسیون پس از آموزش (PTQ) در مقابل آموزش آگاه از کوانتیزاسیون (QAT)
• 13. مروری بر سخت‌افزارهای پشتیبانی‌کننده از محاسبات کم‌دقت
• 14. معماری مدل‌ها و تأثیر آن بر قابلیت کوانتیزاسیون
• 15. نقشه راه دوره: از مبانی تا تکنیک‌های پیشرفته
• 16. نگاشت کوانتیزاسیون (Quantization Mapping): مفهوم مقیاس (Scale) و نقطه صفر (Zero-Point)
• 17. کوانتیزاسیون متقارن (Symmetric)
• 18. کوانتیزاسیون نامتقارن (Affine/Asymmetric)
• 19. انتخاب بین نگاشت متقارن و نامتقارن
• 20. گرانولاریته کوانتیزاسیون: Per-Tensor
• 21. گرانولاریته کوانتیزاسیون: Per-Channel (Per-Axis)
• 22. گرانولاریته کوانتیزاسیون: Per-Group و کاربردهای آن
• 23. فرآیند کالیبراسیون (Calibration): چرا و چگونه؟
• 24. انتخاب و آماده‌سازی مجموعه داده کالیبراسیون
• 25. تعیین محدوده دینامیکی (Dynamic Range): روش Min-Max
• 26. تعیین محدوده دینامیکی: روش آنتروپی (Entropy)
• 27. تعیین محدوده دینامیکی: روش خطای میانگین مربعات (MSE)
• 28. مفهوم Clipping و تأثیر آن بر دقت
• 29. فرمول‌های ریاضی کوانتیزاسیون و دی‌کوانتیزاسیون
• 30. کوانتیزاسیون شبیه‌سازی شده (Simulated/Fake Quantization)
• 31. نقش دی‌کوانتیزاسیون در محاسبات ترکیبی
• 32. کوانتیزاسیون وزن‌ها (Weights)
• 33. کوانتیزاسیون فعال‌سازی‌ها (Activations)
• 34. مدیریت بایاس‌ها (Biases) در فرآیند کوانتیزاسیون
• 35. ادغام عملگرها (Operator Fusion) برای بهینه‌سازی عملکرد
• 36. مقدمه‌ای جامع بر کوانتیزاسیون پس از آموزش (PTQ)
• 37. جریان کاری PTQ ایستا (Static PTQ)
• 38. کالیبراسیون در PTQ ایستا: گام به گام
• 39. جریان کاری PTQ پویا (Dynamic PTQ)
• 40. مقایسه PTQ ایستا و پویا: چه زمانی از کدام استفاده کنیم؟
• 41. چالش‌های رایج در PTQ و افت دقت
• 42. تکنیک‌های بازیابی دقت در PTQ
• 43. تصحیح بایاس (Bias Correction)
• 44. متعادل‌سازی بین لایه‌ای (Cross-Layer Equalization - CLE)
• 45. AdaRound: گرد کردن تطبیقی برای وزن‌ها
• 46. کوانتیزاسیون بدون داده (Data-Free Quantization)
• 47. پیاده‌سازی یک پایپ‌لاین PTQ ساده
• 48. آنالیز حساسیت لایه‌ها به کوانتیزاسیون
• 49. بهینه‌سازی PTQ برای مدل‌های CNN
• 50. بهینه‌سازی PTQ برای مدل‌های Transformer
• 51. محدودیت‌های PTQ و زمان حرکت به سمت QAT
• 52. ابزارهای خودکارسازی PTQ
• 53. ارزیابی مدل‌های کوانتیزه شده با PTQ
• 54. دیباگ کردن مشکلات دقت در PTQ
• 55. مطالعه موردی: PTQ یک مدل ResNet
• 56. مقدمه‌ای بر آموزش آگاه از کوانتیزاسیون (QAT)
• 57. چرا QAT به بازیابی دقت کمک می‌کند؟
• 58. تخمین‌گر مستقیم (Straight-Through Estimator - STE)
• 59. مدل‌سازی کوانتیزاسیون در گراف محاسباتی
• 60. انتشار رو به جلو (Forward Pass) با کوانتیزاسیون شبیه‌سازی شده
• 61. انتشار رو به عقب (Backward Pass) و محاسبه گرادیان‌ها در QAT
• 62. جریان کاری QAT: از مدل Pre-trained تا مدل کوانتیزه نهایی
• 63. پیاده‌سازی یک پایپ‌لاین QAT ساده
• 64. تکنیک تا کردن نرمال‌سازی دسته‌ای (Batch Normalization Folding)
• 65. آموزش پارامترهای کوانتیزاسیون (Learnable Quantization Parameters)
• 66. تنظیم نرخ یادگیری و فرآیند fine-tuning در QAT
• 67. شروع QAT از ابتدا (Training from Scratch) در مقابل Fine-tuning
• 68. مدیریت لایه‌های حساس در QAT
• 69. QAT برای کوانتیزاسیون فعال‌سازی‌ها
• 70. چالش‌های همگرایی در QAT
• 71. تکنیک‌های پیشرفته در QAT
• 72. مقایسه جامع PTQ و QAT: عملکرد، هزینه و پیچیدگی
• 73. ابزارهای فریمورک‌ها برای QAT
• 74. دیباگ کردن فرآیند آموزش QAT
• 75. مطالعه موردی: QAT یک مدل BERT
• 76. کوانتیزاسیون با دقت ترکیبی (Mixed-Precision Quantization)
• 77. استراتژی‌های خودکار برای انتخاب دقت ترکیبی
• 78. کوانتیزاسیون آگاه از سخت‌افزار (Hardware-Aware Quantization)
• 79. کوانتیزاسیون با بیت‌های بسیار کم: مقدمه‌ای بر INT4 و INT2
• 80. شبکه‌های عصبی باینری (Binary Neural Networks - BNNs)
• 81. تابع XNOR و پیاده‌سازی شبکه‌های باینری
• 82. شبکه‌های عصبی سه‌تایی (Ternary Neural Networks - TNNs)
• 83. کوانتیزاسیون لگاریتمی و غیرخطی
• 84. کوانتیزاسیون برداری (Vector Quantization)
• 85. کوانتیزاسیون K-Means برای فشرده‌سازی وزن‌ها
• 86. کوانتیزاسیون Zero-Shot
• 87. مروری بر الگوریتم‌های پیشرفته: LSQ, PACT
• 88. آینده کوانتیزاسیون: روندهای نوظهور
• 89. کوانتیزاسیون در TensorFlow: ابزار بهینه‌سازی مدل
• 90. استقرار مدل‌های کوانتیزه شده با TensorFlow Lite
• 91. کوانتیزاسیون در PyTorch: ماژول‌های FX و Eager Mode
• 92. پیاده‌سازی PTQ و QAT با استفاده از PyTorch
• 93. فرمت ONNX و نقش آن در کوانتیزاسیون
• 94. بهینه‌سازی با ONNX Runtime
• 95. شتاب‌دهی استنتاج با NVIDIA TensorRT
• 96. نقش هسته‌های Tensor (Tensor Cores) در پردازنده‌های گرافیکی NVIDIA
• 97. بهینه‌سازی برای پردازنده‌های مرکزی با Intel OpenVINO
• 98. پشتیبانی سخت‌افزاری CPU از کوانتیزاسیون (VNNI, AVX512)
• 99. استقرار روی دستگاه‌های لبه (Edge Devices) و موبایل
• 100. جمع‌بندی دوره، بهترین شیوه‌ها و گام‌های بعدی