فلش‌کارت‌های آموزشی ترنسفورمرها: درک معماری و ساخت مدل‌های پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: درک معماری و ساخت مدل‌های پیشرفته

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ
• 2. آشنایی با معماری ترنسفورمر
• 3. مکانیزم توجه (Attention Mechanism)
• 4. توجه خودی (Self-Attention)
• 5. توجه چندسر (Multi-Head Attention)
• 6. رمزگذار ترنسفورمر (Transformer Encoder)
• 7. رمزگشا ترنسفورمر (Transformer Decoder)
• 8. کدگذاری موقعیتی (Positional Encoding)
• 9. مجموعه‌ داده‌های متنی برای آموزش
• 10. پیش‌پردازش داده‌های متنی
• 11. توکن‌سازی (Tokenization)
• 12. واژگان (Vocabulary) و اندازه‌های آن
• 13. امبدینگ کلمات (Word Embeddings)
• 14. آشنایی با مدل‌های زبانی پیشین (Pre-trained Language Models)
• 15. مدل‌های ترنسفورمر اولیه (مانند BERT)
• 16. کاربردهای BERT
• 17. مدل‌های زبانی تولیدکننده (Generative Language Models)
• 18. آشنایی با GPT
• 19. معماری GPT
• 20. آموزش مدل‌های ترنسفورمر
• 21. تابع هزینه (Loss Function)
• 22. بهینه‌سازها (Optimizers)
• 23. نرخ یادگیری (Learning Rate)
• 24. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 25. بک‌پروپگیشن (Backpropagation) در ترنسفورمرها
• 26. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 27. اعتبارسنجی مدل (Model Validation)
• 28. معیارهای ارزیابی مدل‌های زبانی
• 29. دقت (Accuracy)، دقت و بازیابی (Precision & Recall)
• 30. امتیاز F1 (F1 Score)
• 31. Perplexity
• 32. مدل‌های زبانی در پردازش زبان طبیعی
• 33. طبقه‌بندی متن (Text Classification)
• 34. تشخیص موجودیت نام‌گذاری شده (Named Entity Recognition - NER)
• 35. برچسب‌گذاری اجزای کلام (Part-of-Speech Tagging)
• 36. تجزیه نحوی (Parsing)
• 37. استخراج رابطه (Relation Extraction)
• 38. خلاصه‌سازی متن (Text Summarization)
• 39. ترجمه ماشینی (Machine Translation)
• 40. تولید متن (Text Generation)
• 41. پاسخگویی به پرسش (Question Answering)
• 42. تحلیل احساسات (Sentiment Analysis)
• 43. مدل‌های ترنسفورمر برای ترجمه ماشینی
• 44. مدل‌های ترنسفورمر برای خلاصه‌سازی
• 45. مدل‌های ترنسفورمر برای تولید متن خلاقانه
• 46. مدل‌های ترنسفورمر برای چت‌بات‌ها
• 47. مدل‌های ترنسفورمر برای درک مطلب
• 48. بهینه‌سازی مدل‌های ترنسفورمر
• 49. کوانتیزاسیون (Quantization)
• 50. تقطیر دانش (Knowledge Distillation)
• 51. هرس کردن (Pruning)
• 52. موازی‌سازی و توزیع آموزش
• 53. استفاده از سخت‌افزارهای شتاب‌دهنده (GPU, TPU)
• 54. مدل‌های ترنسفورمر کوچک و کارآمد
• 55. معماری‌های جدیدتر ترنسفورمر
• 56. ترنسفورمرهای کارآمد (Efficient Transformers)
• 57. آشنایی با مدل‌های مبتنی بر حافظه
• 58. ترنسفورمرهای مبتنی بر گراف
• 59. ترنسفورمرهای مبتنی بر شبکه‌های عصبی کانولوشنال
• 60. ترنسفورمرهای مبتنی بر شبکه‌های عصبی بازگشتی
• 61. ترنسفورمرهای برای داده‌های ساختاریافته
• 62. ترنسفورمرهای برای داده‌های چندوجهی (Multimodal Transformers)
• 63. کاربردهای پیشرفته ترنسفورمرها
• 64. یادگیری تقویتی با ترنسفورمرها
• 65. ترنسفورمرها در بینایی ماشین
• 66. ترنسفورمرها در پردازش سیگنال
• 67. ترنسفورمرها در زیست‌شناسی محاسباتی
• 68. ترنسفورمرها در علوم مالی
• 69. ترنسفورمرها در امنیت سایبری
• 70. ترنسفورمرها در آموزش مجازی
• 71. مدل‌های زبانی بزرگ و مسئولیت‌پذیری
• 72. سوگیری در مدل‌های زبانی
• 73. کاهش سوگیری در مدل‌های زبانی
• 74. شفافیت و تفسیرپذیری مدل‌ها
• 75. اخلاق در هوش مصنوعی
• 76. حریم خصوصی داده‌ها
• 77. امنیت مدل‌های زبانی
• 78. ملاحظات قانونی و شرعی در استفاده از مدل‌های زبانی
• 79. نحوه انطباق مدل‌های زبانی با قوانین جمهوری اسلامی ایران
• 80. کاربرد مدل‌های زبانی در نظام آموزشی کشور
• 81. طراحی دوره‌های آموزشی با استفاده از مدل‌های زبانی
• 82. تولید محتوای آموزشی سازگار با چارچوب‌های رسمی
• 83. ارزیابی و اعتبارسنجی محتوای تولید شده
• 84. مدیریت دانش با استفاده از مدل‌های زبانی
• 85. سیستم‌های توصیه‌گر مبتنی بر ترنسفورمر
• 86. پایگاه‌های دانش و استخراج اطلاعات
• 87. توسعه ابزارهای پردازش زبان فارسی
• 88. تحلیل کلان‌داده‌های متنی فارسی
• 89. کاربرد مدل‌های زبانی در پژوهش‌های علمی
• 90. کاربرد مدل‌های زبانی در صنعت
• 91. آینده مدل‌های ترنسفورمر
• 92. ترنسفورمرهای خودآموز (Self-Supervised Transformers)
• 93. ترنسفورمرهای خودتنظیم (Self-Attentive Transformers)
• 94. ترنسفورمرهای چندزبانه (Multilingual Transformers)
• 95. ترنسفورمرهای با حافظه بلندمدت
• 96. ترنسفورمرهای با قابلیت استدلال
• 97. ترنسفورمرهای برای کارهای خاص (Fine-tuning)
• 98. ساخت مدل‌های ترنسفورمر سفارشی
• 99. پیاده‌سازی مدل‌های ترنسفورمر با PyTorch
• 100. پیاده‌سازی مدل‌های ترنسفورمر با TensorFlow