فلش‌کارت‌های آموزشی فشرده‌سازی مدل‌های زبانی با رویکرد هرس در زمان آموزش مدل (Pruning During Model Training)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره فشرده‌سازی مدل‌های زبانی با رویکرد هرس در زمان آموزش مدل (Pruning During Model Training)

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Model Pruning

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر فشرده‌سازی مدل‌های زبانی
• 2. مبانی شبکه‌های عصبی عمیق
• 3. معماری‌های متداول مدل‌های زبانی (RNN, LSTM, GRU)
• 4. ترنسفورمرها و مکانیزم توجه
• 5. مفهوم هرس (Pruning) در یادگیری ماشین
• 6. انواع هرس: ساختاریافته و غیرساختاریافته
• 7. اهمیت هرس برای کاهش حجم و افزایش سرعت
• 8. کاربرد هرس در مدل‌های زبانی بزرگ (LLMs)
• 9. مراحل کلی فرآیند فشرده‌سازی
• 10. فشرده‌سازی در زمان آموزش (Pruning During Training)
• 11. تفاوت هرس در زمان آموزش با پس از آموزش
• 12. نکات کلیدی هرس در زمان آموزش
• 13. اهمیت انتخاب معیار هرس
• 14. معیارهای هرس مبتنی بر وزن (Weight Magnitude Pruning)
• 15. معیارهای هرس مبتنی بر گرادیان
• 16. معیارهای هرس مبتنی بر اهمیت نورون‌ها
• 17. معیارهای هرس مبتنی بر تأثیر در خروجی
• 18. انتخاب وزن‌های قابل هرس
• 19. تعیین آستانه هرس
• 20. استراتژی‌های هرس تکراری (Iterative Pruning)
• 21. هرس در یک مرحله (One-Shot Pruning)
• 22. هرس تدریجی (Gradual Pruning)
• 23. تکنیک‌های هرس تطبیقی (Adaptive Pruning)
• 24. هرس پارامترهای خاص در مدل‌های زبانی
• 25. هرس اتصالات (Connection Pruning)
• 26. هرس نورون‌ها (Neuron Pruning)
• 27. هرس لایه‌ها (Layer Pruning)
• 28. هرس در لایه‌های توجه (Attention Layer Pruning)
• 29. هرس در لایه‌های پیشخور (Feed-Forward Layer Pruning)
• 30. هرس در لایه‌های جاسازی (Embedding Layer Pruning)
• 31. هرس در لایه‌های خروجی (Output Layer Pruning)
• 32. تأثیر هرس بر دقت مدل
• 33. تأثیر هرس بر حجم مدل
• 34. تأثیر هرس بر سرعت استنتاج
• 35. تأثیر هرس بر مصرف حافظه
• 36. حفظ دقت مدل پس از هرس
• 37. روش‌های بازیابی دقت پس از هرس
• 38. تنظیم دقیق (Fine-tuning) مدل هرس شده
• 39. آموزش مجدد (Re-training) پس از هرس
• 40. تنظیم دقیق با نرخ یادگیری پایین
• 41. استفاده از داده‌های آموزشی برای بازیابی دقت
• 42. مطالعه موردی: فشرده‌سازی مدل‌های BERT با هرس
• 43. مطالعه موردی: فشرده‌سازی مدل‌های GPT با هرس
• 44. مطالعه موردی: فشرده‌سازی مدل‌های T5 با هرس
• 45. تکنیک‌های هرس در مدل‌های زبانی مولد
• 46. ملاحظات عملی پیاده‌سازی هرس
• 47. ابزارها و کتابخانه‌های پشتیبان هرس
• 48. PyTorch Pruning Utilities
• 49. TensorFlow Model Optimization Toolkit
• 50. پیاده‌سازی هرس سفارشی
• 51. مدیریت وابستگی‌های بین پارامترها
• 52. چالش‌های هرس در مدل‌های بسیار بزرگ
• 53. مقایسه هرس با سایر روش‌های فشرده‌سازی
• 54. کوانتیزاسیون (Quantization)
• 55. تقطیر دانش (Knowledge Distillation)
• 56. تجزیه ماتریس (Matrix Factorization)
• 57. ترکیب هرس و کوانتیزاسیون
• 58. ترکیب هرس و تقطیر دانش
• 59. تأثیر هرس بر توان مصرفی
• 60. کاربرد فشرده‌سازی مدل‌های زبانی در دستگاه‌های محدود
• 61. کاربرد در موبایل و دستگاه‌های لبه (Edge Devices)
• 62. کاربرد در سیستم‌های توکار (Embedded Systems)
• 63. کاربرد در سرویس‌های ابری با هزینه کمتر
• 64. ملاحظات امنیتی در مدل‌های فشرده شده
• 65. اهمیت ارزیابی دقیق مدل‌های فشرده شده
• 66. معیارهای ارزیابی مدل‌های زبانی
• 67. معیارهای ارزیابی مدل‌های فشرده شده
• 68. سنجه‌های دقت (Accuracy Metrics)
• 69. سنجه‌های کارایی (Efficiency Metrics)
• 70. سنجه‌های حجم (Size Metrics)
• 71. سنجه‌های سرعت (Speed Metrics)
• 72. بررسی کیفیت خروجی مدل‌های هرس شده
• 73. ارزیابی مدل‌های فشرده شده بر روی مجموعه داده‌های استاندارد
• 74. چالش‌های ارزیابی در مقیاس بزرگ
• 75. آینده پژوهش در زمینه هرس مدل‌های زبانی
• 76. روش‌های هرس خودکار (Auto-Pruning)
• 77. هرس پویا (Dynamic Pruning)
• 78. هرس مبتنی بر یادگیری تقویتی (Reinforcement Learning-based Pruning)
• 79. هرس در معماری‌های جدید مدل‌های زبانی
• 80. کاربرد هرس در مدل‌های زبانی چندوجهی (Multimodal)
• 81. تأثیر هرس بر جنبه‌های اخلاقی مدل‌های زبانی
• 82. مسئولیت‌پذیری در توسعه مدل‌های فشرده
• 83. توسعه پایدار و فشرده‌سازی مدل‌ها
• 84. نکات حقوقی و مقرراتی در فشرده‌سازی مدل‌ها (با رعایت قوانین ایران)
• 85. ملاحظات مربوط به داده‌های آموزشی در فشرده‌سازی
• 86. اهمیت مستندسازی فرآیند فشرده‌سازی
• 87. ارتباط هرس با بهینه‌سازی سخت‌افزار
• 88. طراحی سخت‌افزار برای اجرای کارآمد مدل‌های هرس شده
• 89. تست و اعتبارسنجی مدل‌های فشرده شده
• 90. برنامه‌ریزی برای به‌روزرسانی مدل‌های فشرده
• 91. درس‌هایی از تجربیات موفق در فشرده‌سازی
• 92. چشم‌انداز فشرده‌سازی مدل‌های زبانی در ایران