کتاب صوتی دموکراتیزه کردن LLM: از بهینه‌سازی‌های مقیاس بزرگ تا استقرار جهانی و فراگیر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره دموکراتیزه کردن LLM: از بهینه‌سازی‌های مقیاس بزرگ تا استقرار جهانی و فراگیر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ (LLMs)

موضوع میانی: بهینه‌سازی و استقرار LLM برای عموم

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ (LLM)
• 2. LLMها: تحول در هوش مصنوعی و کاربردها
• 3. چرا بهینه‌سازی LLMها حیاتی است؟
• 4. چالش‌های مقیاس‌پذیری LLM: هزینه، حافظه، محاسبات
• 5. دموکراتیزه کردن LLM: چشم‌انداز و هدف دوره
• 6. مروری بر مقاله "Democratizing LLM Efficiency"
• 7. معماری ترانسفورمر: قلب LLMها
• 8. ساختار Attention و اهمیت آن در LLM
• 9. انواع LLM: Decoder-Only، Encoder-Decoder
• 10. مدل‌های پایه (Foundation Models) و اهمیت آن‌ها
• 11. آموزش LLM: مفاهیم کلی و چالش‌ها
• 12. پیش‌آموزش (Pre-training) در مقیاس بزرگ
• 13. تنظیم دقیق (Fine-tuning) و تطبیق مدل
• 14. استراتژی‌های یادگیری: انتقال و چندوظیفه‌ای
• 15. اندازه‌گیری عملکرد LLM: معیارها و متدولوژی
• 16. معرفی ابزارهای اولیه برای کار با LLMها (Hugging Face)
• 17. سخت‌افزار مورد نیاز برای LLM: GPU، TPU، CPU
• 18. گلوگاه‌های محاسباتی در Inference LLM
• 19. مصرف انرژی LLM: یک چالش زیست‌محیطی
• 20. امنیت و حریم خصوصی در LLMها
• 21. فشرده‌سازی مدل: رویکردی برای کارایی
• 22. کوانتیزاسیون (Quantization): کاهش دقت برای سرعت
• 23. انواع کوانتیزاسیون: Post-Training Quantization (PTQ)
• 24. کوانتیزاسیون آگاه از آموزش (Quantization-Aware Training - QAT)
• 25. تکنیک‌های مختلف کوانتیزاسیون: INT8، FP8
• 26. هرس کردن (Pruning): حذف اتصالات اضافی
• 27. انواع هرس: ساختاریافته و نامنظم
• 28. تقطیر مدل (Knowledge Distillation): آموزش یک مدل کوچک‌تر
• 29. انتخاب معماری مناسب برای مدل‌های فشرده
• 30. ارزیابی کیفیت مدل‌های فشرده‌شده
• 31. بهینه‌سازی استنتاج (Inference Optimization) LLM
• 32. پردازش دسته‌ای (Batching) و افزایش بهره‌وری
• 33. پردازش دسته‌ای پیوسته (Continuous Batching)
• 34. کش کردن کلید-مقدار (KV Cache) و بهینه‌سازی حافظه
• 35. PagedAttention: مدیریت حافظه KV Cache
• 36. کدگشایی حدسی (Speculative Decoding)
• 37. استفاده از شتاب‌دهنده‌های سخت‌افزاری (e.g., NVIDIA TensorRT)
• 38. بهینه‌سازی هسته‌های محاسباتی (Kernel Optimization)
• 39. کامپایلرهای بهینه‌سازی گراف (Graph Optimizing Compilers)
• 40. زمان‌بندی پویا (Dynamic Scheduling) برای استنتاج
• 41. تنظیم دقیق کارآمد پارامتر (Parameter-Efficient Fine-Tuning - PEFT)
• 42. معرفی LoRA (Low-Rank Adaptation of Large Language Models)
• 43. QLoRA: کوانتیزاسیون با LoRA برای مدل‌های بزرگ
• 44. Prefix-Tuning و Prompt-Tuning
• 45. Adapters و ترکیب آن‌ها با LLMها
• 46. مزایای PEFT: کاهش حافظه و زمان آموزش
• 47. انتخاب روش PEFT مناسب برای کاربردهای مختلف
• 48. پیاده‌سازی PEFT با کتابخانه‌های موجود (e.g., PEFT library)
• 49. بهینه‌سازی Hyperparameters در PEFT
• 50. ترکیب PEFT با کوانتیزاسیون برای کارایی حداکثری
• 51. استقرار LLM بر روی دستگاه‌های محدود (On-device/Edge)
• 52. چالش‌های استقرار LLM در محیط Edge
• 53. استراتژی‌های کاهش حافظه برای Edge Computing
• 54. استفاده از شتاب‌دهنده‌های Edge AI
• 55. مدل‌های LLM مخصوص Edge (e.g., MobileLLMs)
• 56. بهینه‌سازی مصرف توان در Edge LLM
• 57. استقرار LLM در مرورگر و WebAssembly
• 58. اجرای LLM روی گوشی‌های هوشمند
• 59. موارد استفاده از LLM در Edge (Robotics, IoT)
• 60. امنیت و حفظ حریم خصوصی در Edge Deployment
• 61. چارچوب‌های نرم‌افزاری برای بهینه‌سازی LLM
• 62. PyTorch، TensorFlow و JAX برای LLM
• 63. Hugging Face Transformers و Ecosystem آن
• 64. Hugging Face TGI (Text Generation Inference)
• 65. vLLM: فریم‌ورک برای استنتاج با سرعت بالا
• 66. ONNX Runtime و تبدیل مدل‌ها
• 67. OpenVINO و بهینه‌سازی برای Intel Hardware
• 68. MLIR و کامپایلرهای مدل
• 69. Ray و توزیع محاسبات LLM
• 70. DeepSpeed و بهینه‌سازی‌های مقیاس بزرگ
• 71. معماری‌های استقرار LLM در مقیاس بزرگ
• 72. استقرار LLM در فضای ابری (Cloud Deployment)
• 73. سرویس‌های LLM مدیریت شده (Managed LLM Services)
• 74. Kubernetes و ارکستراسیون کانتینرها برای LLM
• 75. استقرار On-premise و مدیریت سخت‌افزار
• 76. انتخاب بین Cloud و On-premise برای LLM
• 77. API Gatewayها و مدیریت دسترسی به LLM
• 78. بارگذاری توزیع‌شده (Load Balancing) برای LLM
• 79. مانیتورینگ عملکرد و لاگینگ در زمان استقرار
• 80. MLOps برای LLM: چرخه‌ی حیات و مدیریت
• 81. استراتژی‌های بهینه‌سازی حافظه در LLM
• 82. مدیریت حافظه GPU برای مدل‌های بزرگ
• 83. تخلیه حافظه (Offloading) به CPU یا دیسک
• 84. تقسیم مدل (Model Parallelism)
• 85. موازی‌سازی داده (Data Parallelism)
• 86. موازی‌سازی خط لوله (Pipeline Parallelism)
• 87. FlexGen و مدیریت حافظه پویا
• 88. ترکیب Parallelism برای حداکثر کارایی
• 89. تکنیک‌های Swap و Paging حافظه
• 90. ارزیابی اثرات بهینه‌سازی حافظه بر عملکرد
• 91. معیارهای ارزیابی کارایی LLM: Latency، Throughput، Memory
• 92. بنچمارکینگ LLM: ابزارها و استانداردها
• 93. TCO (Total Cost of Ownership) در استقرار LLM
• 94. انرژی کارآمدی و پایداری در LLM
• 95. مقایسه LLMهای بهینه‌شده: کیفیت در برابر کارایی
• 96. چالش‌های آینده در دموکراتیزه کردن LLM
• 97. LLMهای چندوجهی (Multimodal LLMs) و بهینه‌سازی آن‌ها
• 98. سخت‌افزارهای نوظهور برای LLM (Neuromorphic, AI Chips)
• 99. ملاحظات اخلاقی در استقرار فراگیر LLM
• 100. جمع‌بندی: آینده دموکراتیزه شدن و فراگیری LLM