فلش‌کارت‌های آموزشی بهینه‌سازی مدل‌های زبان بزرگ با روش‌های حداکثر مطلق و نقطه صفر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی مدل‌های زبان بزرگ با روش‌های حداکثر مطلق و نقطه صفر

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: مدل‌های زبان بزرگ (LLMs)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هوش مصنوعی و یادگیری ماشین
• 2. مبانی یادگیری ماشین
• 3. انواع یادگیری ماشین
• 4. یادگیری عمیق و شبکه‌های عصبی
• 5. مقدمه‌ای بر مدل‌های زبان بزرگ (LLMs)
• 6. معماری ترنسفورمرها در LLMs
• 7. نحوه عملکرد مدل‌های زبان بزرگ
• 8. کاربردهای مدل‌های زبان بزرگ
• 9. چالش‌های مدل‌های زبان بزرگ
• 10. مفهوم کوانتیزاسیون در یادگیری ماشین
• 11. چرا کوانتیزاسیون برای LLMs ضروری است؟
• 12. فواید کوانتیزاسیون LLMs
• 13. مقدمه‌ای بر کوانتیزاسیون مدل‌های زبان بزرگ
• 14. کوانتیزاسیون و کاهش حجم مدل
• 15. کوانتیزاسیون و افزایش سرعت استنتاج
• 16. کوانتیزاسیون و کاهش مصرف حافظه
• 17. مفهوم دقت (Precision) در اعداد ممیز شناور
• 18. مفهوم کوانتیزاسیون به اعداد صحیح
• 19. انواع کوانتیزاسیون: ثابت و متغیر
• 20. کوانتیزاسیون ثابت (Fixed-Point Quantization)
• 21. کوانتیزاسیون متغیر (Floating-Point Quantization)
• 22. کوانتیزاسیون باینری و ترنری
• 23. کوانتیزاسیون برداری (Vector Quantization)
• 24. کوانتیزاسیون تنسوری (Tensor Quantization)
• 25. روش‌های کوانتیزاسیون: پس از آموزش (Post-Training Quantization)
• 26. روش‌های کوانتیزاسیون: در طول آموزش (Quantization-Aware Training)
• 27. مزایا و معایب کوانتیزاسیون پس از آموزش
• 28. مزایا و معایب کوانتیزاسیون در طول آموزش
• 29. کوانتیزاسیون بدون افت دقت
• 30. مفهوم حداکثر مطلق (Absolute Max)
• 31. نحوه محاسبه حداکثر مطلق
• 32. کاربرد حداکثر مطلق در کوانتیزاسیون
• 33. کوانتیزاسیون با استفاده از روش حداکثر مطلق
• 34. مثال عملی کوانتیزاسیون با حداکثر مطلق
• 35. اثر حداکثر مطلق بر دقت مدل
• 36. محدودیت‌های روش حداکثر مطلق
• 37. کاهش خطای کوانتیزاسیون با حداکثر مطلق
• 38. بهبود کارایی با حداکثر مطلق
• 39. مفهوم نقطه صفر (Zero Point)
• 40. نحوه محاسبه نقطه صفر
• 41. کاربرد نقطه صفر در کوانتیزاسیون
• 42. کوانتیزاسیون با استفاده از روش نقطه صفر
• 43. مثال عملی کوانتیزاسیون با نقطه صفر
• 44. اثر نقطه صفر بر دقت مدل
• 45. محدودیت‌های روش نقطه صفر
• 46. ترکیب حداکثر مطلق و نقطه صفر
• 47. روش‌های کوانتیزاسیون ترکیبی
• 48. کوانتیزاسیون تنسور با حداکثر مطلق و نقطه صفر
• 49. کوانتیزاسیون لایه‌های مختلف مدل
• 50. کوانتیزاسیون لایه‌های خطی (Linear Layers)
• 51. کوانتیزاسیون لایه‌های کانولوشن (Convolutional Layers)
• 52. کوانتیزاسیون لایه‌های توجه (Attention Layers)
• 53. کوانتیزاسیون خروجی مدل
• 54. تأثیر کوانتیزاسیون بر دقت در لایه‌های مختلف
• 55. ارزیابی دقت مدل پس از کوانتیزاسیون
• 56. معیارهای ارزیابی کوانتیزاسیون
• 57. شاخص‌های ارزیابی دقت (Accuracy Metrics)
• 58. شاخص‌های ارزیابی سرعت (Speed Metrics)
• 59. شاخص‌های ارزیابی مصرف حافظه (Memory Metrics)
• 60. ابزارهای کوانتیزاسیون موجود
• 61. کتابخانه‌های کوانتیزاسیون در پایتون
• 62. استفاده از PyTorch برای کوانتیزاسیون
• 63. استفاده از TensorFlow برای کوانتیزاسیون
• 64. راهنمای عملی کوانتیزاسیون مدل‌های زبان بزرگ
• 65. مراحل پیاده‌سازی کوانتیزاسیون
• 66. تنظیم پارامترهای کوانتیزاسیون
• 67. بهینه‌سازی پارامترهای کوانتیزاسیون
• 68. اعمال کوانتیزاسیون بر روی یک LLM نمونه
• 69. کوچک‌سازی مدل‌های زبان بزرگ
• 70. فشرده‌سازی مدل‌های زبان بزرگ
• 71. کاهش پیچیدگی محاسباتی LLMs
• 72. کاربرد کوانتیزاسیون در دستگاه‌های کم‌توان
• 73. کوانتیزاسیون در موبایل و دستگاه‌های لبه
• 74. بهینه‌سازی LLMs برای اجرا در سخت‌افزارهای مختلف
• 75. ملاحظات اخلاقی در کوانتیزاسیون LLMs
• 76. تأثیر کوانتیزاسیون بر سوگیری‌های مدل
• 77. حفظ انصاف (Fairness) در مدل‌های کوانتیزه شده
• 78. شفافیت در فرآیند کوانتیزاسیون
• 79. آینده کوانتیزاسیون مدل‌های زبان بزرگ
• 80. روش‌های نوین کوانتیزاسیون
• 81. کوانتیزاسیون با دقت متغیر (Mixed-Precision Quantization)
• 82. کوانتیزاسیون تطبیقی (Adaptive Quantization)
• 83. کوانتیزاسیون مبتنی بر یادگیری (Learned Quantization)
• 84. مقایسه روش‌های مختلف کوانتیزاسیون
• 85. انتخاب بهترین روش کوانتیزاسیون برای کاربرد خاص
• 86. پروژه‌های عملی و کاربردی کوانتیزاسیون LLMs
• 87. بررسی موارد استفاده واقعی از LLMs کوانتیزه شده
• 88. ارائه نتایج و تحلیل‌ها
• 89. جمع‌بندی و نتیجه‌گیری
• 90. جهت‌گیری‌های تحقیقاتی آینده در کوانتیزاسیون LLMs