دوره کاهش حجم LLM: تکنیک‌های کوانتیزاسیون همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کاهش حجم LLM: تکنیک‌های کوانتیزاسیون

موضوع کلی: بهینه‌سازی و فشرده‌سازی مدل‌های زبان بزرگ (LLM)

موضوع میانی: پلتفرم‌های متمرکز بر فشرده‌سازی مدل

📋 سرفصل‌های دوره

• 1. کوانتیزاسیون: مفاهیم پایه و ضرورت
• 2. انواع داده در یادگیری ماشین و اثر آن‌ها بر حجم مدل
• 3. معرفی کوانتیزاسیون پس از آموزش (Post-Training Quantization)
• 4. کوانتیزاسیون آگاه از آموزش (Quantization Aware Training)
• 5. بررسی دقیق روش‌های گرد کردن (Rounding Methods) در کوانتیزاسیون
• 6. کوانتیزاسیون خطی (Linear Quantization): اصول و کاربردها
• 7. کوانتیزاسیون غیرخطی (Non-Linear Quantization): بررسی روش‌ها
• 8. تأثیر کوانتیزاسیون بر دقت مدل
• 9. ارزیابی عملکرد مدل‌های کوانتیزه شده
• 10. کوانتیزاسیون وزن‌ها (Weight Quantization): تکنیک‌ها و مزایا
• 11. کوانتیزاسیون فعال‌سازی‌ها (Activation Quantization): چالش‌ها و راهکارها
• 12. کوانتیزاسیون ترکیبی (Mixed-Precision Quantization)
• 13. استفاده از کوانتیزاسیون برای مدل‌های ترانسفورمر
• 14. کوانتیزاسیون در پردازش زبان طبیعی (NLP)
• 15. کوانتیزاسیون در بینایی کامپیوتر (Computer Vision)
• 16. کوانتیزاسیون در مدل‌های گفتار (Speech Models)
• 17. کوانتیزاسیون برای دستگاه‌های لبه (Edge Devices)
• 18. بهینه‌سازی حافظه با استفاده از کوانتیزاسیون
• 19. کاهش مصرف انرژی با کوانتیزاسیون
• 20. کوانتیزاسیون و سخت‌افزار شتاب‌دهنده (Accelerators)
• 21. ابزارهای متن‌باز برای کوانتیزاسیون مدل‌ها
• 22. کوانتیزاسیون با استفاده از TensorFlow Lite
• 23. کوانتیزاسیون با استفاده از PyTorch Mobile
• 24. کوانتیزاسیون با استفاده از ONNX Runtime
• 25. کوانتیزاسیون پویا (Dynamic Quantization) در مقابل کوانتیزاسیون ایستا (Static Quantization)
• 26. کوانتیزاسیون بر اساس خوشه (Clustering-Based Quantization)
• 27. کوانتیزاسیون با استفاده از الگوریتم‌های تکاملی (Evolutionary Algorithms)
• 28. کوانتیزاسیون و امنیت مدل
• 29. تأثیر کوانتیزاسیون بر حریم خصوصی مدل
• 30. کوانتیزاسیون و یادگیری فدرال (Federated Learning)
• 31. روش‌های کاهش خطا در کوانتیزاسیون
• 32. کالیبراسیون (Calibration) برای کوانتیزاسیون دقیق‌تر
• 33. بررسی روش‌های کوانتیزاسیون در مدل‌های بزرگ زبان (LLM)
• 34. کوانتیزاسیون 8 بیتی (INT8) و عملکرد آن
• 35. کوانتیزاسیون 4 بیتی (INT4) و محدودیت‌ها
• 36. کوانتیزاسیون باینری (Binary Quantization): اصول و کاربردها
• 37. کوانتیزاسیون ترنری (Ternary Quantization): بررسی روش‌ها
• 38. کوانتیزاسیون پویا با استفاده از داده‌های آموزشی
• 39. کوانتیزاسیون با استفاده از تقطیر دانش (Knowledge Distillation)
• 40. تکنیک‌های بهینه‌سازی مدل قبل از کوانتیزاسیون
• 41. بررسی خطاهای کوانتیزاسیون و راهکارهای مقابله با آن‌ها
• 42. کوانتیزاسیون و انتقال یادگیری (Transfer Learning)
• 43. کوانتیزاسیون و یادگیری تقویتی (Reinforcement Learning)
• 44. تأثیر کوانتیزاسیون بر سرعت استنتاج (Inference Speed)
• 45. کوانتیزاسیون و استقرار مدل در محیط‌های تولید (Production Deployment)