فلش‌کارت‌های آموزشی فشرده‌سازی مدل‌های زبانی با رویکرد هرس مبتنی بر قابلیت

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره فشرده‌سازی مدل‌های زبانی با رویکرد هرس مبتنی بر قابلیت

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Model Pruning

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ
• 2. معماری ترانسفورمر و نقش آن در مدل‌های زبانی
• 3. مفهوم فشرده‌سازی مدل و ضرورت آن
• 4. روش‌های مختلف فشرده‌سازی مدل‌های زبانی
• 5. هرس وزن: اصول و تکنیک‌ها
• 6. هرس ساختاری: حذف لایه‌ها و نورون‌ها
• 7. هرس مبتنی بر اهمیت: شناسایی و حذف اجزای غیرضروری
• 8. هرس دینامیک در مقابل هرس ایستا
• 9. معیارهای ارزیابی هرس مدل
• 10. تاثیر هرس بر دقت و کارایی مدل
• 11. هرس مبتنی بر آستانه (Threshold-based Pruning)
• 12. هرس مبتنی بر اهمیت L1 و L2
• 13. هرس مبتنی بر گرادیان
• 14. هرس مبتنی بر Hessian
• 15. هرس ساختاریافته با استفاده از الگوریتم‌های جستجو
• 16. هرس با استفاده از یادگیری تقویتی
• 17. هرس مبتنی بر دانش (Knowledge-based Pruning)
• 18. هرس حساس به لایه (Layer-sensitive Pruning)
• 19. هرس تطبیقی (Adaptive Pruning)
• 20. هرس تدریجی (Iterative Pruning)
• 21. تاثیر هرس بر تعمیم‌پذیری مدل
• 22. بهینه‌سازی مدل پس از هرس (Post-Pruning Optimization)
• 23. استفاده از Quantization به همراه هرس
• 24. تقطیر دانش (Knowledge Distillation) و هرس
• 25. هرس در مدل‌های چندزبانه
• 26. هرس در مدل‌های مبتنی بر Attention
• 27. هرس در مدل‌های تولید متن
• 28. هرس در مدل‌های تشخیص گفتار
• 29. هرس در مدل‌های پردازش تصویر
• 30. هرس در مدل‌های ترجمه ماشینی
• 31. پیاده‌سازی هرس با استفاده از TensorFlow
• 32. پیاده‌سازی هرس با استفاده از PyTorch
• 33. استفاده از کتابخانه‌های هرس آماده
• 34. بهینه‌سازی هرس برای سخت‌افزارهای مختلف
• 35. هرس در محیط‌های با منابع محدود (Edge Devices)
• 36. ارزیابی و مقایسه روش‌های مختلف هرس
• 37. چالش‌های هرس مدل‌های زبانی
• 38. آینده هرس مدل‌های زبانی
• 39. مطالعه موردی: فشرده‌سازی BERT با رویکرد هرس
• 40. مطالعه موردی: فشرده‌سازی GPT با رویکرد هرس
• 41. تاثیر هرس بر حافظه و سرعت استنتاج
• 42. روش‌های جلوگیری از افت دقت پس از هرس
• 43. استفاده از Regularization برای تسهیل هرس
• 44. هرس و انتقال یادگیری (Transfer Learning)
• 45. هرس و یادگیری خود نظارتی (Self-Supervised Learning)
• 46. هرس و یادگیری فعال (Active Learning)
• 47. هرس و یادگیری فدرال (Federated Learning)
• 48. مفاهیم پیشرفته در هرس مدل‌های زبانی