دوره ماتریس‌های پراکنده: بهینه‌سازی حافظه LLM همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ماتریس‌های پراکنده: بهینه‌سازی حافظه LLM

موضوع کلی: بهینه‌سازی و فشرده‌سازی مدل‌های زبان بزرگ (LLM)

موضوع میانی: پلتفرم‌های متمرکز بر فشرده‌سازی مدل

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر ماتریس‌های پراکنده
• 2. ذخیره‌سازی ماتریس‌های پراکنده
• 3. فرمت‌های ذخیره‌سازی متداول ماتریس‌های پراکنده
• 4. فرمت COO (Coordinate List)
• 5. فرمت CSR (Compressed Sparse Row)
• 6. فرمت CSC (Compressed Sparse Column)
• 7. مزایا و معایب فرمت‌های ذخیره‌سازی
• 8. انتخاب فرمت مناسب برای کاربردهای مختلف
• 9. عملیات پایه روی ماتریس‌های پراکنده
• 10. ضرب اسکالر در ماتریس پراکنده
• 11. جمع و تفریق ماتریس‌های پراکنده
• 12. ضرب ماتریس‌های پراکنده
• 13. ترانسپوز ماتریس پراکنده
• 14. نرمال‌سازی ماتریس‌های پراکنده
• 15. کاربردهای ماتریس‌های پراکنده در یادگیری ماشین
• 16. ماتریس‌های پراکنده در سیستم‌های توصیه‌گر
• 17. ماتریس‌های پراکنده در پردازش زبان طبیعی (NLP)
• 18. ماتریس‌های پراکنده در گراف‌ها و شبکه‌های اجتماعی
• 19. ماتریس‌های پراکنده در تحلیل تصاویر
• 20. بهینه‌سازی حافظه در مدل‌های زبانی بزرگ (LLM)
• 21. چالش‌های حافظه در LLMها
• 22. استفاده از ماتریس‌های پراکنده برای کاهش مصرف حافظه LLM
• 23. فشرده‌سازی وزن‌های LLM با استفاده از روش‌های ماتریس پراکنده
• 24. کوانتیزاسیون و ماتریس‌های پراکنده
• 25. تقطیر دانش و ماتریس‌های پراکنده
• 26. روش‌های هرس کردن (Pruning) وزن‌های LLM
• 27. اثر هرس کردن بر دقت مدل
• 28. بهینه‌سازی سخت‌افزاری برای ماتریس‌های پراکنده
• 29. استفاده از GPU برای محاسبات ماتریس پراکنده
• 30. شتاب‌دهنده‌های سخت‌افزاری اختصاصی برای ماتریس‌های پراکنده
• 31. معماری‌های حافظه برای ماتریس‌های پراکنده
• 32. کتابخانه‌های نرم‌افزاری برای ماتریس‌های پراکنده
• 33. SparseML: یک کتابخانه برای یادگیری ماشین پراکنده
• 34. SciPy Sparse: ماتریس‌های پراکنده در پایتون
• 35. CUDA Sparse: ماتریس‌های پراکنده در CUDA
• 36. TensorFlow SparseTensor
• 37. PyTorch SparseTensor
• 38. مقایسه عملکرد کتابخانه‌های مختلف ماتریس پراکنده
• 39. تکنیک‌های پیشرفته برای کاهش حافظه LLM
• 40. ماتریس‌های کم‌رتبه (Low-Rank Matrices)
• 41. تجزیه تکین‌مقدار (SVD) و ماتریس‌های پراکنده
• 42. روش‌های مبتنی بر دیکشنری (Dictionary Learning)
• 43. ماتریس‌های بلوکی پراکنده (Block Sparse Matrices)
• 44. تخمین رتبه ماتریس
• 45. روش‌های مرتب‌سازی و ساختاردهی ماتریس‌های پراکنده