فلش‌کارت‌های آموزشی کوانتیزاسیون مدل‌های زبانی بزرگ: فشرده‌سازی مدل‌ها با حفظ عملکرد

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون مدل‌های زبانی بزرگ: فشرده‌سازی مدل‌ها با حفظ عملکرد

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مهندسی کوانتیزاسیون در مدل‌های زبانی بزرگ
• 2. تعریف کوانتیزاسیون و معیارهای کیفیت
• 3. مفاهیم پایهٔ ارتقا عددی در محاسبات مکثرسازی
• 4. تفاوت کوانتیزاسیون قبل از و پس از آموزش
• 5. روش‌های کوانتیزاسیون پس از آموزش (PTQ)
• 6. کوانتیزاسیون همراه با آموزش (QAT)
• 7. انتخاب دقت (Bit-width) برای مدل‌های LLM
• 8. مکانیزم‌های کوانتیزاسیون صحیح (Integer Quantization)
• 9. کوانتیزاسیون مخلوط و ترکیبی
• 10. کاهش داده‌های ورودی و مدل در کوانتیزاسیون
• 11. تکنیک‌های هماهنگی دقت در لایه‌های مختلف
• 12. استراتژی‌های کالیبراسیون برای حفظ عملکرد
• 13. اختیار دقت در ساختار مدل‌های زبانی بزرگ
• 14. تأثیر کوانتیزاسیون بر طولِ تولید متن
• 15. مقایسهٔ زمان و حافظه بین کوانتیزاسیون‌های مختلف
• 16. بهینه‌سازی جریان داده در سخت‌افزار مقیاس‌دار
• 17. کوانتیزاسیون در مدل‌های چند زبانی
• 18. تحسین عملکرد پس از کاهش دقت عددی
• 19. استفادهٔ کوانتیزاسیون در سیستم‌های Edge
• 20. مقایسهٔ کوانتیزاسیون با پراین کردن (Pruning)
• 21. ارتباط کوانتیزاسیون با بسته‌بندی مدل برای تولید
• 22. مدیریت فشار عددی و عدم استحکام در محاسبات
• 23. تست‌های مقاومت در برابر نویز و خطا
• 24. بهینه‌سازی پایایی مدل پس از کوانتیزاسیون
• 25. اعتبارسنجی عملکرد در دقت‌آوری و طولِ تولید
• 26. راهنمایی برای انتخاب ابزار و فریم‌ورک
• 27. قراردادهای Kaggle و مسابقات در حوزهٔ کوانتیزاسیون