فلش‌کارت‌های آموزشی پیاده‌سازی و بهینه‌سازی ترنسفورمرها برای کاربردهای متنوع

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی و بهینه‌سازی ترنسفورمرها برای کاربردهای متنوع

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری ترنسفورمر
• 2. مبانی شبکه‌های عصبی بازگشتی (RNN)
• 3. شبکه‌های حافظه طولانی کوتاه-مدت (LSTM)
• 4. شبکه‌های حافظه طولانی کوتاه-مدت (GRU)
• 5. مکانیسم توجه (Attention Mechanism)
• 6. توجه خودی (Self-Attention)
• 7. معماری ترنسفورمر: جزئیات
• 8. رمزگذار ترنسفورمر (Transformer Encoder)
• 9. رمزگشا ترنسفورمر (Transformer Decoder)
• 10. رمزگذاری موقعیتی (Positional Encoding)
• 11. تعبیه‌های کلمه (Word Embeddings)
• 12. تعبیه‌های موقعیتی (Positional Embeddings)
• 13. مدل‌های زبانی ترنسفورمر
• 14. BERT: مدل زبانی دوطرفه
• 15. GPT: مدل زبانی مولد
• 16. کاربردهای ترنسفورمر در پردازش زبان طبیعی
• 17. ترجمه ماشینی با ترنسفورمر
• 18. خلاصه‌سازی متن با ترنسفورمر
• 19. پاسخ به پرسش با ترنسفورمر
• 20. تحلیل احساسات با ترنسفورمر
• 21. تشخیص موجودیت نام‌گذاری شده (NER)
• 22. برچسب‌گذاری اجزای کلام (POS Tagging)
• 23. تولید متن با ترنسفورمر
• 24. مدل‌های ترنسفورمر بزرگ (LLMs)
• 25. معماری GPT-3
• 26. معماری PaLM
• 27. معماری LaMDA
• 28. آموزش مدل‌های زبانی بزرگ
• 29. تنظیم دقیق (Fine-tuning) مدل‌های ترنسفورمر
• 30. تنظیم دقیق برای وظایف خاص
• 31. تنظیم دقیق با داده‌های کم
• 32. روش‌های یادگیری انتقالی (Transfer Learning)
• 33. بهینه‌سازی مدل‌های ترنسفورمر
• 34. کوانتیزاسیون (Quantization) مدل‌ها
• 35. تقطیر دانش (Knowledge Distillation)
• 36. هرس کردن (Pruning) مدل‌ها
• 37. کاهش ابعاد تعبیه‌ها
• 38. بهینه‌سازی زمان استنتاج
• 39. استفاده از سخت‌افزارهای تخصصی (GPU, TPU)
• 40. پیاده‌سازی ترنسفورمر با PyTorch
• 41. پیاده‌سازی ترنسفورمر با TensorFlow
• 42. کتابخانه Hugging Face Transformers
• 43. استفاده از مدل‌های از پیش آموزش‌دیده
• 44. بارگذاری مدل‌ها و توکنایزرها
• 45. پیش‌پردازش متن برای ترنسفورمرها
• 46. توکنایزیشن (Tokenization)
• 47. ساخت واژگان (Vocabulary Building)
• 48. تولید داده‌های آموزشی
• 49. ارزیابی مدل‌های ترنسفورمر
• 50. معیارهای ارزیابی در NLP
• 51. متریک BLEU برای ترجمه ماشینی
• 52. متریک ROUGE برای خلاصه‌سازی
• 53. متریک F1 برای NER و طبقه‌بندی
• 54. متریک Perplexity برای مدل‌های زبانی
• 55. مفاهیم پیشرفته در ترنسفورمرها
• 56. ترنسفورمرهای کارآمد (Efficient Transformers)
• 57. ترنسفورمرهای خطی (Linear Transformers)
• 58. ترنسفورمرهای مبتنی بر هسته (Kernel-based Transformers)
• 59. ترنسفورمرهای اسپارس (Sparse Transformers)
• 60. ترنسفورمرهای چند وجهی (Multimodal Transformers)
• 61. پردازش تصویر با ترنسفورمرها
• 62. Vision Transformer (ViT)
• 63. کاربردهای ViT در بینایی ماشین
• 64. ترنسفورمرها در پردازش صدا
• 65. ترنسفورمرها برای داده‌های جدولی
• 66. ترنسفورمرها در یادگیری تقویتی
• 67. ترنسفورمرها در سیستم‌های توصیه‌گر
• 68. ترنسفورمرها در گراف‌های دانش
• 69. ملاحظات اخلاقی و مسئولیت‌پذیری در LLMs
• 70. سوگیری در مدل‌های زبانی
• 71. تفسیرپذیری (Interpretability) مدل‌های ترنسفورمر
• 72. امنیت و حریم خصوصی در مدل‌های ترنسفورمر
• 73. کاربردهای صنعتی ترنسفورمرها
• 74. ترنسفورمرها در حوزه سلامت
• 75. ترنسفورمرها در حوزه مالی
• 76. ترنسفورمرها در حوزه آموزش
• 77. ترنسفورمرها در حوزه حقوقی
• 78. ترنسفورمرها در حوزه تولید محتوا
• 79. ترنسفورمرها در حوزه خدمات مشتریان
• 80. ترنسفورمرها در حوزه پژوهش و توسعه
• 81. تکنیک‌های پیشرفته تنظیم دقیق
• 82. Prompt Engineering
• 83. Few-shot learning و Zero-shot learning
• 84. Parameter-Efficient Fine-Tuning (PEFT)
• 85. LoRA (Low-Rank Adaptation)
• 86. Adapter Layers
• 87. Prompt Tuning
• 88. استفاده از مدل‌های کوچک‌تر و کارآمدتر
• 89. DistilBERT
• 90. TinyBERT
• 91. MobileBERT
• 92. معماری‌های ترکیبی
• 93. ترنسفورمر به همراه CNN
• 94. ترنسفورمر به همراه RNN
• 95. ترنسفورمرها برای داده‌های سری زمانی
• 96. ترنسفورمرها برای پردازش گراف
• 97. ترنسفورمرها برای تحلیل شبکه‌های اجتماعی
• 98. ترنسفورمرها در حوزه علم داده
• 99. آینده ترنسفورمرها و تحقیقات آتی
• 100. ترنسفورمرهای نسل بعدی