فلش‌کارت‌های آموزشی آموزش جامع هرس و بهینه‌سازی شبکه‌های عصبی عمیق برای افزایش سرعت و کاهش حجم مدل

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع هرس و بهینه‌سازی شبکه‌های عصبی عمیق برای افزایش سرعت و کاهش حجم مدل

موضوع کلی: هوش مصنوعی و یادگیری ماشین پیشرفته

موضوع میانی: بهینه‌سازی و هرس شبکه‌های عصبی (Neural Network Pruning)

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم پایه‌ای فشرده‌سازی و بهینه‌سازی مدل‌های یادگیری عمیق
• 2. آشنایی با ساختار شبکه‌های عصبی، اضافه‌پارامترها (Overparameterization) و ضرورت هرس
• 3. معیارهای حساسیت‌سنجی و اهمیت‌سنجی وزن‌ها (Magnitude-based Pruning)
• 4. هرس ساختاریافته (Structured Pruning) در برابر هرس غیرساختاریافته (Unstructured Pruning)
• 5. روش‌های هرس در حین آموزش (Pruning during Training) و تنظیم دقیق تکراری (Iterative Pruning)
• 6. هفته‌سازی الگوریتم‌های هرس مبتنی بر مشتق (Gradient-based Pruning) و ماتریس هسین
• 7. استفاده از تنظیم‌کننده‌ها (Regularization) و جریمه‌های L1/L2 در حذف وزن‌های زاید
• 8. حذف نورون‌ها، کانال‌ها و فیلترهای کامل در شبکه‌های کانولوشنال (CNN)
• 9. هرس مدل‌های مبتنی بر توجه (Attention) و ترنسفورمرها (Transformers)
• 10. تکنیک‌های دانش‌پویا (Knowledge Distillation) به عنوان مکمل فرآیند هرس مدل
• 11. کوانتیزاسیون (Quantization) و ترکیب آن با هرس برای حداکثر بهینه‌سازی سخت‌افزاری
• 12. مفاهیم فرضیه بلیت بخت‌آزمایی (Lottery Ticket Hypothesis) و یافتن زیرشبکه‌های بهینه
• 13. کاهش مصرف حافظه، پهنای باند و ردپای کربنی مدل‌های هوش مصنوعی
• 14. پیاده‌سازی عملی هرس مدل با استفاده از کتابخانه‌های پایور، تای‌تورچ (PyTorch) و TensorFlow
• 15. بهینه‌سازی سرعت استنتاج (Inference) روی دستگاه‌های لبه (Edge Devices) و سخت‌افزارهای محدود
• 16. ارزیابی افت دقت (Accuracy Drop) و روش‌های جبران عملکرد مدل پس از هرس
• 17. تنظیم هایپرپارامترهای بهینه‌سازی و خودکارسازی فرآیند هرس (AutoPruning)
• 18. مستندسازی نتایج، بنچمارک‌گیری و مقایسه کارایی مدل اصلی و مدل هرس‌شده
• 19. پیاده‌سازی خطوط لوله (Pipelines) استقرار مدل‌های بهینه‌سازی شده در محیط‌های تولیدی
• 20. پروژه جامع: هرس، بهینه‌سازی و پیاده‌سازی یک شبکه عصبی عمیق سنگین برای اجرا روی سخت‌افزارهای محدود