دوره ابزارهای عملی فشرده‌سازی مدل‌های زبانی همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ابزارهای عملی فشرده‌سازی مدل‌های زبانی

موضوع کلی: بهینه‌سازی و فشرده‌سازی مدل‌های زبان بزرگ (LLM)

موضوع میانی: پلتفرم‌های متمرکز بر فشرده‌سازی مدل

📋 سرفصل‌های دوره

• 1. مبانی مدل‌های زبانی بزرگ
• 2. معماری ترانسفورمر و کاربرد آن
• 3. توکن‌سازی و لغت‌نامه در مدل‌های زبانی
• 4. روش‌های Embedding کلمات و عبارات
• 5. مفهوم Attention و انواع آن
• 6. مکانیزم Self-Attention در ترانسفورمر
• 7. لایه‌های Feed Forward در مدل‌های زبانی
• 8. نرمال‌سازی لایه‌ها و اهمیت آن
• 9. روش‌های Regularization برای جلوگیری از Overfitting
• 10. بهینه‌سازی مدل‌های زبانی با Gradient Descent
• 11. روش‌های پیشرفته بهینه‌سازی مانند Adam و SGD
• 12. ارزیابی مدل‌های زبانی: معیارها و روش‌ها
• 13. متریک‌های Perplexity و BLEU Score
• 14. Fine-tuning مدل‌های زبانی از پیش آموزش‌دیده
• 15. انتقال یادگیری در مدل‌های زبانی
• 16. روش‌های کاهش حجم مدل‌های زبانی
• 17. Quantization و انواع آن
• 18. Pruning و تکنیک‌های حذف وزن‌ها
• 19. Knowledge Distillation و انتقال دانش
• 20. تکنیک‌های Low-Rank Approximation
• 21. روش‌های Matrix Factorization برای فشرده‌سازی
• 22. Sparse Matrices و کاربرد آن‌ها در فشرده‌سازی
• 23. Hashing Tricks و کاهش ابعاد
• 24. روش‌های فشرده‌سازی مبتنی بر Quantization Aware Training
• 25. Pruning مبتنی بر اهمیت وزن‌ها
• 26. Distillation با استفاده از Teacher-Student Networks
• 27. تقسیم‌بندی مدل به بخش‌های مستقل
• 28. استفاده از معماری‌های سبک‌تر مانند MobileBERT
• 29. بهینه‌سازی حافظه در مدل‌های زبانی
• 30. Hardware Acceleration و کاربرد آن
• 31. فشرده‌سازی مدل‌های زبانی برای دستگاه‌های موبایل
• 32. فشرده‌سازی مدل‌های زبانی برای Edge Computing
• 33. تکنیک‌های فشرده‌سازی برای مدل‌های چندزبانه
• 34. روش‌های فشرده‌سازی برای مدل‌های زبانی مبتنی بر گراف
• 35. استفاده از Tensor Decomposition برای فشرده‌سازی
• 36. فشرده‌سازی مدل‌های زبانی با استفاده از روش‌های Compression الگوریتمی
• 37. مقایسه روش‌های مختلف فشرده‌سازی
• 38. تاثیر فشرده‌سازی بر دقت و کارایی مدل
• 39. انتخاب روش فشرده‌سازی مناسب بر اساس کاربرد
• 40. ابزارهای متن‌باز برای فشرده‌سازی مدل‌های زبانی
• 41. پیکربندی و استفاده از TensorFlow Model Optimization Toolkit
• 42. استفاده از PyTorch برای فشرده‌سازی مدل‌های زبانی
• 43. کاربرد فشرده‌سازی در پردازش زبان طبیعی
• 44. فشرده‌سازی مدل‌ها برای تشخیص هوشمندانه متن
• 45. فشرده‌سازی مدل‌ها برای خلاصه‌سازی متن