دوره کوانتیزاسیون خودکار مدل‌های زبانی بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون خودکار مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ و کوانتیزاسیون
• 2. مفاهیم پایه کوانتیزاسیون در پردازش سیگنال
• 3. انواع کوانتیزاسیون: خطی و غیرخطی
• 4. تکنیک‌های کوانتیزاسیون: گرد کردن، برش
• 5. کوانتیزاسیون برداری و کاربردهای آن
• 6. مقدمه‌ای بر شبکه‌های عصبی عمیق
• 7. معماری ترنسفورمر و مکانیزم توجه
• 8. مدل‌های زبانی بزرگ (LLMs): معماری و آموزش
• 9. کاربردهای مدل‌های زبانی بزرگ
• 10. چالش‌های استقرار مدل‌های زبانی بزرگ
• 11. نیاز به کاهش حجم مدل‌های زبانی بزرگ
• 12. مقدمه‌ای بر کوانتیزاسیون مدل‌های زبانی بزرگ
• 13. کوانتیزاسیون وزنی در مدل‌های ترنسفورمر
• 14. کوانتیزاسیون فعال‌سازی‌ها
• 15. تکنیک‌های کوانتیزاسیون کم‌بیت (مثلاً ۸-بیت، ۴-بیت)
• 16. مزایای کوانتیزاسیون: کاهش حجم و افزایش سرعت
• 17. معایب کوانتیزاسیون: افت دقت
• 18. روش‌های حفظ دقت در کوانتیزاسیون
• 19. کوانتیزاسیون پس از آموزش (Post-Training Quantization)
• 20. کوانتیزاسیون در حین آموزش (Quantization-Aware Training)
• 21. مقایسه PTQ و QAT
• 22. کوانتیزاسیون انتگرالی (Integer Quantization)
• 23. کوانتیزاسیون ممیز شناور (Floating-Point Quantization)
• 24. کوانتیزاسیون با دقت متغیر (Mixed-Precision Quantization)
• 25. کوانتیزاسیون گسسته (Discretized Quantization)
• 26. کوانتیزاسیون نمایی (Exponential Quantization)
• 27. کوانتیزاسیون بر اساس آمار داده‌ها
• 28. کوانتیزاسیون بر اساس اهمیت پارامترها
• 29. کوانتیزاسیون لایه‌به‌لایه
• 30. کوانتیزاسیون سراسری
• 31. روش‌های نرمال‌سازی پس از کوانتیزاسیون
• 32. بهینه‌سازی پارامترهای کوانتیزاسیون
• 33. ارزیابی دقت مدل‌های کوانتیزه شده
• 34. معیارهای ارزیابی: Perplexity, BLEU, ROUGE
• 35. اثر کوانتیزاسیون بر وظایف مختلف LLM
• 36. کوانتیزاسیون برای تولید متن
• 37. کوانتیزاسیون برای خلاصه‌سازی متن
• 38. کوانتیزاسیون برای ترجمه ماشینی
• 39. کوانتیزاسیون برای پاسخ به پرسش
• 40. کوانتیزاسیون برای طبقه‌بندی متن
• 41. کوانتیزاسیون برای تحلیل احساسات
• 42. کوانتیزاسیون مدل‌های بزرگ روی دستگاه‌های محدود
• 43. پیاده‌سازی کوانتیزاسیون در فریم‌ورک‌های یادگیری عمیق (TensorFlow, PyTorch)
• 44. کتابخانه‌های تخصصی کوانتیزاسیون (مثلاً bitsandbytes, AutoGPTQ)
• 45. کوانتیزاسیون با استفاده از کتابخانه bitsandbytes
• 46. کوانتیزاسیون با استفاده از کتابخانه AutoGPTQ
• 47. کوانتیزاسیون مدل‌های LLAMA
• 48. کوانتیزاسیون مدل‌های GPT-2
• 49. کوانتیزاسیون مدل‌های BERT
• 50. کوانتیزاسیون مدل‌های T5
• 51. کوانتیزاسیون مدل‌های Mistral
• 52. کوانتیزاسیون مدل‌های Falcon
• 53. کوانتیزاسیون مدل‌های Llama 2
• 54. کوانتیزاسیون مدل‌های Llama 3
• 55. بهینه‌سازی سخت‌افزاری برای مدل‌های کوانتیزه شده
• 56. نقش شتاب‌دهنده‌های سخت‌افزاری
• 57. کوانتیزاسیون و اجرای مدل‌ها روی CPU
• 58. کوانتیزاسیون و اجرای مدل‌ها روی GPU
• 59. کوانتیزاسیون و اجرای مدل‌ها روی TPU
• 60. کوانتیزاسیون و اجرای مدل‌ها روی NPU
• 61. کوانتیزاسیون برای سناریوهای Real-time
• 62. کوانتیزاسیون برای کاربردهای موبایل
• 63. کوانتیزاسیون برای کاربردهای Edge Computing
• 64. کوانتیزاسیون در سیستم‌های توزیع شده
• 65. چالش‌های کوانتیزاسیون در مقیاس بزرگ
• 66. روش‌های کاهش خطای کوانتیزاسیون
• 67. تکنیک‌های جبران افت دقت
• 68. استفاده از داده‌های کالیبراسیون
• 69. تنظیم پارامترهای کوانتیزاسیون با داده‌های کالیبراسیون
• 70. کوانتیزاسیون با استفاده از الگوریتم‌های بهینه‌سازی
• 71. یادگیری کوانتیزاسیون (Learnable Quantization)
• 72. کوانتیزاسیون تطبیقی (Adaptive Quantization)
• 73. کوانتیزاسیون سلسله مراتبی (Hierarchical Quantization)
• 74. کوانتیزاسیون فشرده (Compressed Quantization)
• 75. کوانتیزاسیون ماتریس پراکنده (Sparse Matrix Quantization)
• 76. کوانتیزاسیون برای مدل‌های کوچک‌تر
• 77. کوانتیزاسیون برای مدل‌های با پارامترهای کم
• 78. کوانتیزاسیون و تاثیر آن بر قابلیت تفسیرپذیری مدل
• 79. کوانتیزاسیون و امنیت مدل‌های زبانی
• 80. کوانتیزاسیون و مسائل اخلاقی در هوش مصنوعی
• 81. آینده کوانتیزاسیون مدل‌های زبانی بزرگ
• 82. پیشرفت‌های اخیر در زمینه کوانتیزاسیون
• 83. مطالعات موردی موفق در کوانتیزاسیون LLM
• 84. چالش‌های عملیاتی در پیاده‌سازی کوانتیزاسیون
• 85. کاربرد کوانتیزاسیون در صنایع مختلف
• 86. کوانتیزاسیون در حوزه سلامت و پزشکی
• 87. کوانتیزاسیون در حوزه آموزش و پرورش
• 88. کوانتیزاسیون در حوزه مالی و بانکی
• 89. کوانتیزاسیون در حوزه حقوق و قضایی
• 90. کوانتیزاسیون در حوزه رسانه و اطلاع‌رسانی
• 91. کوانتیزاسیون در حوزه صنعت و تولید
• 92. کوانتیزاسیون در حوزه حمل و نقل
• 93. کوانتیزاسیون در حوزه انرژی
• 94. کوانتیزاسیون در حوزه محیط زیست
• 95. کوانتیزاسیون در حوزه گردشگری
• 96. کوانتیزاسیون در حوزه دفاعی و امنیتی
• 97. کوانتیزاسیون در حوزه فرهنگ و هنر
• 98. کوانتیزاسیون در حوزه سیاست داخلی
• 99. کوانتیزاسیون در حوزه روابط بین‌الملل
• 100. کوانتیزاسیون در حوزه پژوهش و توسعه