فلش‌کارت‌های آموزشی معماری ترنسفورمر: ستون فقرات LLMها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری ترنسفورمر: ستون فقرات LLMها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ (LLMs) - مفاهیم و اصول**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری ترنسفورمر
• 2. مبانی شبکه‌های عصبی بازگشتی (RNN)
• 3. محدودیت‌های RNN در پردازش دنباله‌ها
• 4. معرفی مکانیزم توجه (Attention Mechanism)
• 5. انواع مکانیزم توجه: Additive و Multiplicative
• 6. توجه خودی (Self-Attention) چیست؟
• 7. مزایای توجه خودی نسبت بر RNN
• 8. ساختار کلی مدل ترنسفورمر
• 9. لایه ورودی و جاسازی (Embedding)
• 10. جاسازی موقعیتی (Positional Encoding)
• 11. ضرورت جاسازی موقعیتی
• 12. لایه رمزگذار (Encoder Layer)
• 13. لایه رمزگشا (Decoder Layer)
• 14. مکانیزم توجه چندسر (Multi-Head Attention)
• 15. عملکرد Multi-Head Attention
• 16. لایه پیشخور (Feed-Forward Network)
• 17. اتصالات باقی‌مانده (Residual Connections)
• 18. نرمال‌سازی لایه (Layer Normalization)
• 19. جزئیات معماری رمزگذار
• 20. جزئیات معماری رمزگشا
• 21. تفاوت رمزگذار و رمزگشا
• 22. آموزش مدل ترنسفورمر
• 23. توابع زیان (Loss Functions)
• 24. بهینه‌سازها (Optimizers)
• 25. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 26. روش‌های منظم‌سازی (Regularization Techniques)
• 27. کاربرد ترنسفورمر در ترجمه ماشینی
• 28. مدل‌های پیش‌آموزش‌دیده (Pre-trained Models)
• 29. معرفی مدل BERT
• 30. معماری BERT (Encoder-only)
• 31. آموزش BERT: Masked Language Model (MLM)
• 32. آموزش BERT: Next Sentence Prediction (NSP)
• 33. کاربردهای BERT: طبقه‌بندی متن
• 34. کاربردهای BERT: استخراج اطلاعات
• 35. کاربرد BERT: پاسخ به پرسش
• 36. معرفی مدل GPT
• 37. معماری GPT (Decoder-only)
• 38. آموزش GPT: پیش‌بینی کلمه بعدی
• 39. کاربردهای GPT: تولید متن
• 40. کاربردهای GPT: خلاصه‌سازی متن
• 41. کاربردهای GPT: مکالمه
• 42. معرفی مدل T5
• 43. معماری T5 (Encoder-Decoder)
• 44. آموزش T5: رویکرد Text-to-Text
• 45. کاربردهای T5: ترجمه، خلاصه‌سازی، پرسش و پاسخ
• 46. معماری‌های پیشرفته‌تر ترنسفورمر
• 47. Reformer: کارایی بالا با حافظه کمتر
• 48. Linformer: کاهش پیچیدگی محاسباتی
• 49. Performer: تقریبی از مکانیزم توجه
• 50. BigBird: توجه پراکنده (Sparse Attention)
• 51. Longformer: پردازش متن‌های طولانی
• 52. Transformer-XL: حافظه بلندمدت
• 53. مدل‌های مولد مبتنی بر ترنسفورمر
• 54. VAEها و ترنسفورمر
• 55. GANها و ترنسفورمر
• 56. ملاحظات اخلاقی در LLMها
• 57. سوگیری در داده‌های آموزشی
• 58. روش‌های کاهش سوگیری
• 59. شفافیت و توضیح‌پذیری مدل‌ها
• 60. امنیت و حریم خصوصی در LLMها
• 61. کاربرد ترنسفورمر در پردازش تصویر (Vision Transformers)
• 62. معماری ViT
• 63. کاربردهای ViT
• 64. ترنسفورمر در پردازش صوت
• 65. کاربرد ترنسفورمر در سیستم‌های توصیه‌گر
• 66. مقایسه ترنسفورمر با شبکه‌های دیگر
• 67. محدودیت‌های ترنسفورمر
• 68. آینده معماری ترنسفورمر
• 69. ترنسفورمرهای ترکیبی (Hybrid Transformers)
• 70. مدل‌های کوچک‌تر و کارآمدتر
• 71. بهینه‌سازی ترنسفورمر برای سخت‌افزارهای خاص
• 72. جنبه‌های فقهی و شرعی در پردازش اطلاعات
• 73. ملاحظات شرعی در استفاده از داده‌های متنی
• 74. حفظ حریم خصوصی و محرمانگی اطلاعات
• 75. اصول اخلاقی در تولید و انتشار محتوا
• 76. قوانین و مقررات مربوط به محتوای دیجیتال
• 77. مسئولیت تولیدکننده محتوا در قبال محتوای تولیدی
• 78. تطابق محتوای آموزشی با مبانی دینی و ملی
• 79. چارچوب‌های شرعی در حوزه اقتصاد و بانکداری
• 80. بانکداری بدون ربا در نظام اقتصادی
• 81. عقود اسلامی و کاربرد آن‌ها
• 82. مقررات ناظر بر رمزارزها از دیدگاه شرعی و قانونی
• 83. اصول حقوقی در قراردادهای فناوری اطلاعات
• 84. نکات حقوقی در استفاده از نرم‌افزارها و خدمات آنلاین
• 85. مبانی حقوقی مسئولیت مدنی در فضای مجازی
• 86. ملاحظات شرعی در حوزه روانشناسی و خانواده
• 87. خانواده ایرانی-اسلامی و الگوهای رفتاری
• 88. روابط بین فردی در چارچوب شرع
• 89. اصول مشاوره و روان‌درمانی منطبق با مبانی دینی
• 90. نکات حقوقی در حوزه روابط خانوادگی و ازدواج
• 91. مبانی حقوقی در حوزه سلامت و پزشکی
• 92. پروتکل‌های وزارت بهداشت و درمان
• 93. پوشش اسلامی و الزامات شرعی در محیط کار
• 94. ملاحظات شرعی در حوزه هنر و رسانه
• 95. محدودیت‌های شرعی در تولید آثار هنری
• 96. پوشش و حجاب در رسانه‌ها
• 97. مبانی حقوقی حاکم بر صنعت سینما و تئاتر
• 98. ارزیابی و نقد رویکردهای غربی در حوزه خانواده و روابط
• 99. نقد فمینیسم رادیکال و پیامدهای آن
• 100. اصول اخلاقی در برخورد با اقوام و نژادها