فلش‌کارت‌های آموزشی هرس با اولویت‌بندی پارامترهای حائز اهمیت برای تسک خاص

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره هرس با اولویت‌بندی پارامترهای حائز اهمیت برای تسک خاص

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Model Pruning

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هرس مدل‌های زبانی بزرگ
• 2. اهمیت هرس در کاهش حجم و افزایش سرعت مدل‌ها
• 3. بررسی روش‌های سنتی هرس مدل
• 4. معرفی هرس ساختاریافته و غیرساختاریافته
• 5. معیارهای ارزیابی اهمیت پارامترها
• 6. روش‌های مبتنی بر اولویت‌بندی پارامتر برای هرس
• 7. اولویت‌بندی پارامترها بر اساس گرادیان
• 8. اولویت‌بندی پارامترها با استفاده از Hessian
• 9. روش‌های مبتنی بر اطلاعات برای هرس
• 10. اولویت‌بندی پارامترها با استفاده از روش‌های L1 و L2
• 11. هرس حساس به کوانتیزاسیون
• 12. هرس با در نظر گرفتن وابستگی بین پارامترها
• 13. هرس لایه‌ای در مدل‌های ترانسفورمر
• 14. هرس مبتنی بر توجه (Attention-based pruning)
• 15. هرس هدایت‌شده توسط دانش (Knowledge-guided pruning)
• 16. هرس پویا در زمان استنتاج (Dynamic pruning)
• 17. هرس یک‌شاتی (One-shot pruning)
• 18. هرس تکراری (Iterative pruning)
• 19. تاثیر هرس بر دقت مدل
• 20. بازیابی دقت پس از هرس (Accuracy recovery)
• 21. تنظیم دقیق مدل‌های هرس‌شده (Fine-tuning pruned models)
• 22. هرس در مدل‌های زبانی بزرگ پیش‌آموزش‌دیده (Pre-trained LLMs)
• 23. هرس در وظایف مختلف NLP: طبقه‌بندی متن
• 24. هرس در وظایف مختلف NLP: تولید متن
• 25. هرس در وظایف مختلف NLP: ترجمه ماشینی
• 26. هرس در وظایف مختلف NLP: پاسخ به سوال
• 27. هرس در وظایف مختلف NLP: خلاصه‌سازی متن
• 28. هرس مدل‌های چندزبانه
• 29. هرس مدل‌های مبتنی بر ترانسفورمر (Transformer-based models)
• 30. هرس مدل‌های مبتنی بر RNN و LSTM
• 31. بهینه‌سازی هرس با استفاده از الگوریتم‌های تکاملی
• 32. استفاده از یادگیری تقویتی برای هرس
• 33. هرس خودکار (Automated pruning)
• 34. ابزارهای متن‌باز برای هرس مدل
• 35. مقایسه ابزارهای هرس موجود
• 36. پیاده‌سازی هرس در TensorFlow و PyTorch
• 37. استراتژی‌های هرس برای منابع محدود (Edge devices)
• 38. هرس مدل‌های زبانی بزرگ در فضای ابری
• 39. چالش‌ها و محدودیت‌های هرس مدل
• 40. تحقیقات آینده در زمینه هرس مدل
• 41. مطالعه موردی: هرس BERT
• 42. مطالعه موردی: هرس GPT
• 43. مطالعه موردی: هرس T5
• 44. تاثیر هرس بر تعمیم‌پذیری مدل
• 45. هرس و امنیت مدل‌های زبانی بزرگ
• 46. هرس و حریم خصوصی مدل‌های زبانی بزرگ
• 47. استفاده از هرس برای کاهش سوگیری در مدل‌ها
• 48. هرس و پایداری مدل
• 49. ارزیابی هزینه محاسباتی هرس
• 50. بهینه‌سازی حافظه با استفاده از هرس
• 51. هرس و کاهش مصرف انرژی