کتاب صوتی پلتفرم‌های توسعه مدل‌های زبانی بزرگ روی دستگاه: اکوسیستم و ابزارها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پلتفرم‌های توسعه مدل‌های زبانی بزرگ روی دستگاه: اکوسیستم و ابزارها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: On-device LLMs

📋 سرفصل‌های دوره

• 1. مفاهیم پایه مدل‌های زبانی بزرگ و چالش‌های اجرای روی دستگاه
• 2. معماری ترنسفورمر و سازوکار توجه در مدل‌های زبانی
• 3. تفاوت On-device LLMs با مدل‌های مبتنی بر ابر: مزایا، محدودیت‌ها و سناریوهای کاربرد
• 4. مروری بر اکوسیستم ابزارهای توسعه On-device LLMs
• 5. معرفی پلتفرم TensorFlow Lite و کاربرد آن برای مدل‌های زبانی
• 6. آشنایی با پلتفرم ONNX Runtime و قابلیت‌های بهینه‌سازی آن برای دستگاه‌های لبه
• 7. معرفی پلتفرم Apache TVM و نقش آن در کامپایل و بهینه‌سازی مدل‌ها
• 8. پلتفرم MediaPipe از گوگل و قابلیت‌های اجرای LLM روی دستگاه‌های موبایل
• 9. معرفی پلتفرم llama.cpp و کارایی آن در اجرای مدل‌های Llama روی سی‌پی‌یو
• 10. پلتفرم MLX از اپل و کاربرد آن برای دستگاه‌های دارای تراشه Silicon
• 11. معرفی پلتفرم ExecuTorch از متا برای استقرار مدل‌های PyTorch روی لبه
• 12. مقایسه عملکرد پلتفرم‌های مختلف از نظر سرعت، حافظه و مصرف انرژی
• 13. معیارهای انتخاب پلتفرم مناسب برای یک پروژه خاص On-device
• 14. آشنایی با مدل‌های کوچک‌شده و کارآمد: DistilBERT، TinyBERT، ALBERT
• 15. معرفی خانواده مدل‌های Gemma و Phi برای اجرای روی دستگاه‌های محدود
• 16. مدل‌های Gemini Nano، Llama 2 و 3 در نسخه‌های کوچک و بهینه‌شده
• 17. تکنیک‌های کاهش اندازه مدل: Pruning، Quantization و Knowledge Distillation
• 18. پیاده‌سازی Quantization در پلتفرم‌های مختلف (INT8، FP16، و 4-bit)
• 19. آشنایی با ابزارهای Neural Compressor اینتل و اعمال آن روی LLM
• 20. کمپرسورهای مدل: ساختار و پیاده‌سازی با استفاده از کتابخانه‌های متن‌باز
• 21. تبدیل مدل به فرمت TensorFlow Lite و بهینه‌سازی برای موبایل
• 22. تبدیل مدل به فرمت ONNX و اجرای آن با ONNX Runtime روی دستگاه
• 23. تبدیل مدل با استفاده از llama.cpp و اجرای آن روی سی‌پی‌یو و جی‌پی‌یو
• 24. روش‌های ارزیابی کارایی مدل‌های On-device: معیارهای سرعت و دقت
• 25. آشنایی با معیار MLPerf Tiny و استانداردهای ارزیابی برای دستگاه‌های لبه
• 26. روش‌های مدیریت حافظه در هنگام بارگذاری مدل‌های بزرگ روی دستگاه
• 27. تکنیک‌های Memory Mapping و استفاده از حافظه اشتراکی برای کاهش مصرف رم
• 28. استفاده از تکنیک PagedAttention و FlashAttention برای کاهش مصرف حافظه
• 29. پیاده‌سازی سیستم‌های ساده تولید متن (Text Generation) با LLM روی گوشی
• 30. پیاده‌سازی سیستم پرسش‌وپاسخ (QA) با مدل‌های کوچک روی دستگاه
• 31. پیاده‌سازی سیستم خلاصه‌سازی متن (Summarization) با LLM روی لبه
• 32. ایجاد یک اپلیکیشن ساده چت‌بات با استفاده از Gemma یا Phi روی دستگاه
• 33. مدیریت ورودی‌های طولانی و Tokenization در دستگاه‌های با حافظه محدود
• 34. استفاده از تکنیک‌های Prompt Engineering برای کاهش مصرف منابع
• 35. معرفی ابزارهای مانیتورینگ مصرف CPU، GPU و RAM در زمان اجرا
• 36. روش‌های Debugging و Profiling برای مدل‌های On-device
• 37. آشنایی با ابزارهای Android Studio Profiler و Xcode Instruments
• 38. شیوه‌های تست و اعتبارسنجی یکسان در محیط‌های متفاوت سخت‌افزاری
• 39. ملاحظات امنیتی: ذخیره‌سازی امن مدل، جلوگیری از دستکاری و حفظ حریم خصوصی
• 40. رمزنگاری مدل و استفاده از Android Keystore و iOS Keychain
• 41. پیاده‌سازی مکانیزم به‌روزرسانی مدل روی دستگاه (OTA Update)
• 42. روش‌های کاهش مصرف باتری در اجرای مدل‌های زبانی روی موبایل
• 43. استفاده از Neural Processing Unit (NPU) و DSP برای شتاب‌دهی
• 44. آشنایی با Qualcomm SNPE، Apple Neural Engine و Google Edge TPU
• 45. چالش‌های چندزبانه بودن در مدل‌های On-device و راه‌کارهای آن
• 46. مدیریت دیکشنری و توکن‌های زبان فارسی در مدل‌های کوچک
• 47. ارائه یک پروژه جامع: استقرار یک مدل دوزبانه (فارسی-انگلیسی) روی موبایل
• 48. بهینه‌سازی کد و کاهش زمان اولین پاسخ (Time To First Token)
• 49. ارائه کیس‌استادی از برنامه‌های واقعی با رویکرد On-device LLM (مثل Grammarly Keyboard)
• 50. جمع‌بندی پلتفرم‌ها و ارائه نقشه راه برای انتخاب و توسعه