فلش‌کارت‌های آموزشی ترنسفورمرهای سبک (Lightweight Transformers)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرهای سبک (Lightweight Transformers)

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر ترنسفورمرها
• 2. معماری ترنسفورمر: یک نمای کلی
• 3. مکانیسم توجه (Attention Mechanism)
• 4. توجه مقیاس‌بندی شده نقطه‌ای (Scaled Dot-Product Attention)
• 5. توجه چندگانه (Multi-Head Attention)
• 6. انکودر در ترنسفورمرها
• 7. دیکدر در ترنسفورمرها
• 8. اتصالات باقیمانده و نرمال‌سازی لایه (Residual Connections & Layer Normalization)
• 9. موقعیت‌یابی در ترنسفورمرها
• 10. انکودینگ موقعیتی (Positional Encoding)
• 11. کاربردهای ترنسفورمرها در پردازش زبان طبیعی
• 12. ترنسفورمرها در ترجمه ماشینی
• 13. ترنسفورمرها در خلاصه‌سازی متن
• 14. ترنسفورمرها در پاسخ به سؤال
• 15. ترنسفورمرها در تولید متن
• 16. مدل BERT و معماری آن
• 17. پیش‌آموزش و تنظیم دقیق مدل BERT
• 18. مدل GPT و معماری آن
• 19. تولید متن با استفاده از GPT
• 20. تفاوت‌های کلیدی بین BERT و GPT
• 21. ترنسفورمرهای سبک: ضرورت و مزایا
• 22. تقطیر دانش (Knowledge Distillation)
• 23. هرس وزن (Weight Pruning)
• 24. کوانتیزاسیون (Quantization)
• 25. بهینه‌سازی مدل برای دستگاه‌های موبایل
• 26. ترنسفورمرهای سبک برای پردازش زبان طبیعی
• 27. مدل DistilBERT: یک ترنسفورمر سبک وزن
• 28. مدل MobileBERT: بهینه‌سازی برای دستگاه‌های موبایل
• 29. ترنسفورمرهای سبک در تشخیص گفتار
• 30. ترنسفورمرهای سبک در بینایی کامپیوتر
• 31. استفاده از ترنسفورمرهای سبک در تشخیص اشیاء
• 32. ترنسفورمرهای سبک در تقسیم‌بندی تصویر
• 33. بهینه‌سازی حافظه در ترنسفورمرها
• 34. استفاده از معماری‌های کم‌دقت (Low-Precision Architectures)
• 35. فشرده‌سازی ترنسفورمرها با استفاده از ماتریس‌های پراکنده (Sparse Matrices)
• 36. معماری‌های مبتنی بر هسته (Kernel-based Architectures)
• 37. ترنسفورمرهای مبتنی بر فضا (Space-based Transformers)
• 38. ترنسفورمرهای مبتنی بر زمان (Time-based Transformers)
• 39. ترنسفورمرهای بازگشتی (Recurrent Transformers)
• 40. ترنسفورمرهای کانولوشنی (Convolutional Transformers)
• 41. ترنسفورمرهای ترکیبی (Hybrid Transformers)
• 42. ارزیابی عملکرد ترنسفورمرهای سبک
• 43. معیارهای ارزیابی در پردازش زبان طبیعی
• 44. معیارهای ارزیابی در بینایی کامپیوتر
• 45. مقایسه ترنسفورمرهای سبک با مدل‌های سنتی
• 46. ابزارهای پیاده‌سازی ترنسفورمرهای سبک
• 47. TensorFlow و Keras
• 48. PyTorch
• 49. Transformers library
• 50. بهینه‌سازی ترنسفورمرها برای استقرار در لبه (Edge Deployment)
• 51. چالش‌ها و راهکارهای استقرار ترنسفورمرها در لبه
• 52. آینده ترنسفورمرهای سبک
• 53. تحقیقات فعلی در زمینه ترنسفورمرهای سبک
• 54. کاربردهای نوظهور ترنسفورمرهای سبک
• 55. ترنسفورمرهای سبک و یادگیری خودنظارتی (Self-Supervised Learning)
• 56. ترنسفورمرهای سبک و یادگیری انتقالی (Transfer Learning)
• 57. ترنسفورمرهای سبک و چندزبانه بودن (Multilingualism)
• 58. ترنسفورمرهای سبک و کم‌برخوردی داده (Low-Resource Settings)
• 59. تنظیم هایپرپارامترهای ترنسفورمرهای سبک
• 60. روش‌های بهینه‌سازی گرادیان (Gradient Optimization Methods)
• 61. تکنیک‌های جلوگیری از بیش‌برازش (Overfitting Prevention Techniques)
• 62. ترنسفورمرهای سبک و مسائل اخلاقی
• 63. حریم خصوصی و امنیت در ترنسفورمرها
• 64. تبعیض و انصاف در مدل‌های زبانی
• 65. تفسیرپذیری ترنسفورمرها
• 66. روش‌های توضیح‌پذیری مدل (Model Explainability Methods)
• 67. استفاده از ترنسفورمرهای سبک در رباتیک
• 68. ترنسفورمرهای سبک در سیستم‌های توصیه گر (Recommender Systems)
• 69. ترنسفورمرهای سبک و پردازش سیگنال
• 70. ترنسفورمرهای سبک و تحلیل سری‌های زمانی
• 71. ترنسفورمرهای سبک در حوزه سلامت
• 72. ترنسفورمرهای سبک در امور مالی
• 73. ترنسفورمرهای سبک و تحلیل احساسات
• 74. ترنسفورمرهای سبک و تشخیص اخبار جعلی
• 75. ترنسفورمرهای سبک و پردازش تصویر پزشکی
• 76. ترنسفورمرهای سبک و تشخیص ناهنجاری
• 77. ترنسفورمرهای سبک و پردازش ویدئو