فلش‌کارت‌های آموزشی کوانتیزاسیون پیشرفته برای مدل‌های زبانی بزرگ مبتنی بر ترانسفورمر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون پیشرفته برای مدل‌های زبانی بزرگ مبتنی بر ترانسفورمر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر کوانتیزاسیون در مدل‌های زبانی بزرگ
• 2. پایه‌های نظری کوانتیزاسیون: تقریب پست‌ترین بیت
• 3. دقت عدد شناور و محدودیت‌های حافظه در ترانسفورمرها
• 4. کوانتیزاسیون یک‌پارامتره و چندپارامتره
• 5. تکنیک‌های تزریق دما و مقیاس‌دهی
• 6. Round-to-Nearest و Round-to-Zero در کوانتیزاسیون
• 7. پارامترهای آماری: میانه، میانگین، درصدی و MAD
• 8. کوانتیزاسیون پست-آموزشی PTQ: مفهوم و جریان کار
• 9. کوانتیزاسیون آگاهانه از آموزش QAT در مدل‌های ترانسفورمر
• 10. GPTQ: کوانتیزاسیون مبتنی بر کوچک‌ترین مربعات
• 11. AWQ: وزن‌های مهم‌تر و حفاظت از دقت
• 12. LLM.int8() و کوانتیزاسیون هیبرید ۸ بیتی
• 13. NF4 و کوانتیزاسیون نرمال‌فریم ۴ بیتی
• 14. Double Quantization و KV Cache
• 15. bitsandbytes: پیاده‌سازی ۸ و ۴ بیت در PyTorch
• 16. llama.cpp و فرمت GGUF: استفاده در CPU/GPU حاشیه‌ای
• 17. vLLM و TensorRT-LLM: استنتاج سریع با مدل‌های کوانتیزه
• 18. AutoGPTQ و AutoAWQ: یکپارچگی با Hugging Face
• 19. SmoothQuant: کوانتیزاسیون وزن‌ها و فعال‌سازی‌ها
• 20. RTN, ABS, OOMQ: روش‌های رتبه‌بندی بیت
• 21. Mixture-of-Quantization MoQ و ترکیب بیت‌ها
• 22. کوانتیزاسیون لایه‌های توجه Attention
• 23. کوانتیزاسیون FFN و لایه‌های Feed-Forward
• 24. کوانتیزاسیون Embedding و LayerNorm
• 25. کوانتیزاسیون KV Cache و Attention Head
• 26. کوانتیزاسیون در مدل‌های چندزبانه و چندوجهی
• 27. کوانتیزاسیون برای مدل‌های رمزگشا و رمزنگار
• 28. کوانتیزاسیون در مدل‌های ترکیبی Encoder-Decoder
• 29. تحلیل دقت: Perplexity و benchmark های استاندارد
• 30. بازیابی دقت: Knowledge Distillation پس از کوانتیزاسیون
• 31. تصحیح خطا و Calibration Set بهینه
• 32. کوانتیزاسیون واکنش‌گراً بر اساس محتوا Outlier-aware
• 33. کوانتیزاسیون چندحافظه‌ای و ترکیب دستگاه‌ها
• 34. بهینه‌سازی حافظه: VRAM, RAM, SSD-offload
• 35. مقایسه عملکرد: سرعت، تأخیر، توان مصرفی
• 36. کوانتیزاسیون در لبه Edge AI و دستگاه‌های موبایل
• 37. کوانتیزاسیون برای استنتاج روی Apple Silicon
• 38. کوانتیزاسیون و امنیت: مدل‌های فشرده و محافظت مالکیتی
• 39. کوانتیزاسیون مدل‌های ترکیبی Mixture of Experts
• 40. کوانتیزاسیون در مدل‌های چندزبانه بزرگ
• 41. کوانتیزاسیون و RLHF: تنظیم دقیق پس از فشرده‌سازی
• 42. کوانتیزاسیون در زنجیره‌های ابزار Tool-Use و Agent
• 43. کوانتیزاسیون برای Fine-tuning و LoRA روی مدل‌های کوانتیزه
• 44. بهینه‌سازی Kernel و Quantized MatMul
• 45. کوانتیزاسیون گراف محاسباتی و Graph Optimization
• 46. پیش‌پردازش داده و Calibration Strategy
• 47. ارزیابی کیفیت خروجی پس از کوانتیزاسیون
• 48. خطای کوانتیزاسیون و تحلیل ابعاد
• 49. کوانتیزاسیون ۳ بیتی و ۲ بیتی: چالش‌ها و راه‌حل‌ها
• 50. کوانتیزاسیون در مدل‌های واقعی: LLaMA, Mistral, Qwen, Phi
• 51. پوشش عملی: پیاده‌سازی کامل یک پروژه کوانتیزاسیون
• 52. ترکیب کوانتیزاسیون با Pruning و Sparsity
• 53. کوانتیزاسیون و Compression: ترکیب تکنیک‌ها
• 54. مستقبل کوانتیزاسیون: ۱ بیت و سایرکید ترکیبی