فلش‌کارت‌های آموزشی کوانتیزاسیون مدل‌های زبانی بزرگ: کاهش حجم و افزایش سرعت در مدل‌های زبانی مدرن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون مدل‌های زبانی بزرگ: کاهش حجم و افزایش سرعت در مدل‌های زبانی مدرن

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر کوانتیزاسیون در مدل‌های زبانی بزرگ
• 2. اهمیت کوانتیزاسیون: کاهش حجم و افزایش سرعت
• 3. بررسی روش‌های ذخیره‌سازی وزن‌ها در مدل‌های زبانی
• 4. معماری‌های مدل زبانی بزرگ و تأثیر آن‌ها بر کوانتیزاسیون
• 5. کوانتیزاسیون پس از آموزش (Post-Training Quantization)
• 6. کوانتیزاسیون آگاه از آموزش (Quantization-Aware Training)
• 7. کوانتیزاسیون پویا (Dynamic Quantization)
• 8. کوانتیزاسیون ایستا (Static Quantization)
• 9. مقایسه کوانتیزاسیون پویا و ایستا
• 10. کوانتیزاسیون وزن‌ها به int8
• 11. کوانتیزاسیون وزن‌ها به int4 و کمتر
• 12. روش‌های کالیبراسیون در کوانتیزاسیون
• 13. تأثیر کوانتیزاسیون بر دقت مدل
• 14. ارزیابی مدل کوانتیزه شده
• 15. کوانتیزاسیون لایه‌های مختلف مدل زبانی
• 16. کوانتیزاسیون لایه‌های Embedding
• 17. کوانتیزاسیون لایه‌های Attention
• 18. کوانتیزاسیون لایه‌های Feedforward
• 19. کوانتیزاسیون فعال‌سازی‌ها (Activations)
• 20. تکنیک‌های Quantization-Aware Training
• 21. تنظیم هایپرپارامترها در Quantization-Aware Training
• 22. کوانتیزاسیون در سخت‌افزارهای مختلف (CPU, GPU, TPU)
• 23. کوانتیزاسیون با استفاده از کتابخانه TensorFlow Lite
• 24. کوانتیزاسیون با استفاده از کتابخانه PyTorch
• 25. کوانتیزاسیون با استفاده از کتابخانه ONNX Runtime
• 26. بهینه‌سازی مدل‌های کوانتیزه شده برای استنتاج (Inference)
• 27. کوانتیزاسیون و فشرده‌سازی مدل‌های ترنسفورمر
• 28. کوانتیزاسیون و مدل‌های تولید متن
• 29. کوانتیزاسیون و مدل‌های طبقه‌بندی متن
• 30. کوانتیزاسیون و مدل‌های پاسخ به سؤال
• 31. کوانتیزاسیون و مدل‌های ترجمه ماشینی
• 32. کوانتیزاسیون و مدل‌های خلاصه‌سازی متن
• 33. کوانتیزاسیون و مدل‌های تشخیص گفتار
• 34. کوانتیزاسیون و مدل‌های تولید صدا
• 35. کوانتیزاسیون و مدل‌های چندوجهی (Multimodal)
• 36. کوانتیزاسیون و یادگیری فدرال (Federated Learning)
• 37. کوانتیزاسیون و حریم خصوصی تفاضلی (Differential Privacy)
• 38. استفاده از کوانتیزاسیون برای کاهش مصرف انرژی
• 39. کوانتیزاسیون و استقرار مدل‌ها روی دستگاه‌های لبه (Edge Devices)
• 40. کوانتیزاسیون و مدل‌های سبک (Lightweight Models)
• 41. کوانتیزاسیون و معماری‌های مدل کم‌دقت (Low-Precision Architectures)
• 42. روش‌های پیشرفته کوانتیزاسیون: Binary/Ternary Quantization
• 43. روش‌های پیشرفته کوانتیزاسیون: Group Quantization
• 44. روش‌های پیشرفته کوانتیزاسیون: SmoothQuant
• 45. کوانتیزاسیون و آموزش تقطیری (Knowledge Distillation)
• 46. کوانتیزاسیون و هرس کردن (Pruning)
• 47. کوانتیزاسیون و بهینه‌سازی گراف محاسباتی (Graph Optimization)
• 48. چالش‌ها و محدودیت‌های کوانتیزاسیون
• 49. آینده کوانتیزاسیون در مدل‌های زبانی بزرگ
• 50. مطالعه موردی: کوانتیزاسیون BERT
• 51. مطالعه موردی: کوانتیزاسیون GPT
• 52. ابزارهای خودکار کوانتیزاسیون
• 53. استراتژی‌های انتخاب لایه‌ها برای کوانتیزاسیون
• 54. کوانتیزاسیون و معماری‌های sparse
• 55. کوانتیزاسیون و کاهش تأثیر نویز کوانتیزاسیون