فلش‌کارت‌های آموزشی معماری ترنسفورمر: قلب تپنده مدل‌های زبانی مدرن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری ترنسفورمر: قلب تپنده مدل‌های زبانی مدرن

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری ترنسفورمر
• 2. تاریخچه و تکامل مدل‌های زبانی
• 3. محدودیت‌های مدل‌های ترتیبی (RNN, LSTM)
• 4. مفهوم توجه (Attention) در پردازش زبان طبیعی
• 5. مکانیسم توجه خودی (Self-Attention)
• 6. مکانیسم توجه چندسر (Multi-Head Attention)
• 7. ساختار انکودر در ترنسفورمر
• 8. ساختار دیکودر در ترنسفورمر
• 9. لایه نرمال‌سازی (Layer Normalization)
• 10. اتصالات باقی‌مانده (Residual Connections)
• 11. کدگذاری موقعیتی (Positional Encoding)
• 12. تعبیه‌های کلمه (Word Embeddings)
• 13. تعبیه‌های موقعیتی (Positional Embeddings)
• 14. مقایسه انکودر-دیکودر با سایر معماری‌ها
• 15. نحوه عملکرد ترنسفورمر در ترجمه ماشینی
• 16. ترنسفورمر برای خلاصه‌سازی متن
• 17. ترنسفورمر در پاسخ به پرسش
• 18. ترنسفورمر برای تولید متن
• 19. مدل‌های زبانی مبتنی بر ترنسفورمر (GPT)
• 20. مدل‌های زبانی مبتنی بر ترنسفورمر (BERT)
• 21. مفاهیم پایه‌ای در BERT
• 22. مفاهیم پایه‌ای در GPT
• 23. آموزش پیش‌فرض (Pre-training)
• 24. تنظیم دقیق (Fine-tuning)
• 25. تکنیک‌های Masked Language Modeling (MLM)
• 26. تکنیک‌های Next Sentence Prediction (NSP)
• 27. کاربرد BERT در طبقه‌بندی متن
• 28. کاربرد BERT در تشخیص موجودیت نام‌دار (NER)
• 29. کاربرد BERT در تحلیل احساسات
• 30. کاربرد GPT در تولید محتوای خلاقانه
• 31. کاربرد GPT در چت‌بات‌ها
• 32. کاربرد GPT در تکمیل کد
• 33. مقایسه BERT و GPT
• 34. محدودیت‌های معماری ترنسفورمر
• 35. بهینه‌سازی مصرف حافظه در ترنسفورمر
• 36. تکنیک‌های کارآمدتر توجه
• 37. ترنسفورمرهای خطی (Linear Transformers)
• 38. ترنسفورمرهای پراکنده (Sparse Transformers)
• 39. ترنسفورمرهای مبتنی بر درخت (Tree-based Transformers)
• 40. معماری‌های ترکیبی (Hybrid Architectures)
• 41. ترنسفورمر برای پردازش تصاویر (Vision Transformer)
• 42. کاربرد Vision Transformer در تشخیص اشیاء
• 43. کاربرد Vision Transformer در بخش‌بندی تصاویر
• 44. ترنسفورمر برای پردازش صدا
• 45. ترنسفورمر در رباتیک
• 46. ترنسفورمر در سیستم‌های توصیه‌گر
• 47. ترنسفورمر در تحلیل داده‌های سری زمانی
• 48. ملاحظات اخلاقی در مدل‌های زبانی بزرگ
• 49. سوگیری در مدل‌های زبانی
• 50. روش‌های کاهش سوگیری
• 51. حفظ حریم خصوصی در مدل‌های زبانی
• 52. امنیت مدل‌های زبانی
• 53. قابلیت تفسیرپذیری مدل‌های زبانی
• 54. معیارهای ارزیابی مدل‌های زبانی
• 55. ارزیابی کیفیت ترجمه ماشینی
• 56. ارزیابی کیفیت خلاصه‌سازی متن
• 57. ارزیابی کیفیت تولید متن
• 58. مبانی آمار و احتمالات برای یادگیری ماشین
• 59. مبانی جبر خطی برای یادگیری ماشین
• 60. مبانی حساب دیفرانسیل و انتگرال برای یادگیری ماشین
• 61. نکات کلیدی در طراحی معماری ترنسفورمر
• 62. چالش‌های آموزش مدل‌های ترنسفورمر
• 63. استفاده از GPU و TPU برای آموزش
• 64. مدیریت داده‌های بزرگ برای آموزش
• 65. پیش‌پردازش داده‌ها برای ترنسفورمر
• 66. پاکسازی متن و حذف نویز
• 67. توکنیزاسیون (Tokenization)
• 68. انواع توکنیزاسیون (WordPiece, BPE)
• 69. روش‌های انکودینگ متن
• 70. استفاده از کتابخانه‌های محبوب (TensorFlow, PyTorch)
• 71. پیاده‌سازی ترنسفورمر با TensorFlow
• 72. پیاده‌سازی ترنسفورمر با PyTorch
• 73. استفاده از Hugging Face Transformers
• 74. بارگذاری مدل‌های از پیش آموزش‌دیده
• 75. تنظیم پارامترهای مدل
• 76. بهینه‌سازی هایپرپارامترها
• 77. تکنیک‌های منظم‌سازی (Regularization)
• 78. یادگیری انتقالی (Transfer Learning)
• 79. کاربرد یادگیری انتقالی در NLP
• 80. تنظیم دقیق مدل برای وظایف خاص
• 81. مراحل پیاده‌سازی یک پروژه ترنسفورمر
• 82. انتخاب مدل مناسب برای وظیفه
• 83. جمع‌آوری و آماده‌سازی داده‌های سفارشی
• 84. آموزش و ارزیابی مدل
• 85. استقرار مدل
• 86. مباحث پیشرفته در معماری ترنسفورمر
• 87. ترنسفورمرهای مبتنی بر گراف (Graph Transformers)
• 88. ترنسفورمرهای برای داده‌های چندوجهی (Multimodal Transformers)
• 89. کاربرد ترنسفورمر در پزشکی
• 90. کاربرد ترنسفورمر در امور مالی
• 91. کاربرد ترنسفورمر در حقوق
• 92. آینده تحقیقات در معماری ترنسفورمر
• 93. مدل‌های زبانی کوچک‌تر و کارآمدتر
• 94. ترنسفورمرهای خود-نظارتی (Self-Supervised Transformers)
• 95. تکنیک‌های تولید متن کنترل‌شده
• 96. ترنسفورمرهای با قابلیت استدلال
• 97. ارزیابی جامع مدل‌های زبانی
• 98. مباحث مربوط به بانکداری بدون ربا در مدل‌های زبانی
• 99. کاربرد هوش مصنوعی در اقتصاد اسلامی
• 100. چارچوب‌های شرعی در تحلیل داده‌ها