فلش‌کارت‌های آموزشی آموزش مدل‌های زبان بزرگ با استفاده از زبان برنامه‌نویسی جولیا (Julia)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش مدل‌های زبان بزرگ با استفاده از زبان برنامه‌نویسی جولیا (Julia)

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: مدل‌های زبان بزرگ (LLMs)

📋 سرفصل‌های دوره

• 1. مبانی یادگیری ماشین با جولیا
• 2. مقدمه‌ای بر مدل‌های زبان بزرگ
• 3. نصب و راه‌اندازی محیط جولیا
• 4. ساختارهای داده در جولیا برای LLM
• 5. آشنایی با کتابخانه‌های هوش مصنوعی در جولیا
• 6. مفاهیم اولیه شبکه‌های عصبی
• 7. تابع فعال‌سازی و پس‌انتشار
• 8. بهینه‌سازی مدل‌های یادگیری عمیق
• 9. مقدمه‌ای بر معماری ترنسفورمر
• 10. اجزای اصلی ترنسفورمر: توجه (Attention)
• 11. مکانیزم توجه خودی (Self-Attention)
• 12. توجه چندسر (Multi-Head Attention)
• 13. رمزگذار (Encoder) و رمزگشا (Decoder)
• 14. مدل‌های زبان مبتنی بر ترنسفورمر
• 15. معماری Llama 2: مقدمه
• 16. آماده‌سازی داده‌ها برای آموزش LLM
• 17. پاکسازی و پیش‌پردازش متن
• 18. توکن‌سازی (Tokenization) و واژگان (Vocabulary)
• 19. ایجاد مجموعه داده‌های آموزشی
• 20. تنظیمات سخت‌افزاری برای آموزش مدل‌های بزرگ
• 21. مقدمه‌ای بر آموزش توزیع‌شده
• 22. تکنیک‌های موازی‌سازی داده
• 23. تکنیک‌های موازی‌سازی مدل
• 24. تکنیک‌های موازی‌سازی پایپ‌لاین
• 25. پیاده‌سازی ترنسفورمر در جولیا
• 26. ساخت بلوک‌های ترنسفورمر با جولیا
• 27. پیاده‌سازی مکانیزم توجه در جولیا
• 28. ساخت لایه‌های رمزگذار و رمزگشا
• 29. تولید مدل ترنسفورمر کامل
• 30. مقدمه‌ای بر آموزش Llama 2
• 31. تنظیم پارامترهای مدل Llama 2
• 32. انتخاب بهینه‌ساز مناسب
• 33. تنظیم نرخ یادگیری (Learning Rate)
• 34. مدیریت اندازه دسته‌ها (Batch Size)
• 35. آموزش مدل Llama 2 روی داده‌های نمونه
• 36. نظارت بر فرآیند آموزش
• 37. معیارهای ارزیابی مدل‌های زبان
• 38. محاسبه Perplexity
• 39. ارزیابی مدل بر روی وظایف زبانی
• 40. تنظیم دقیق (Fine-tuning) مدل‌های زبان
• 41. آموزش با نظارت (Supervised Fine-tuning)
• 42. یادگیری تقویتی از بازخورد انسانی (RLHF)
• 43. مقدمه‌ای بر RLHF
• 44. جمع‌آوری داده‌های مقایسه‌ای
• 45. آموزش مدل پاداش (Reward Model)
• 46. تنظیم مدل زبان با الگوریتم‌های RL
• 47. پیاده‌سازی RLHF در جولیا
• 48. ارزیابی مدل تنظیم‌شده
• 49. تکنیک‌های بهینه‌سازی حافظه
• 50. کوانتیزاسیون مدل (Model Quantization)
• 51. تقطیر دانش (Knowledge Distillation)
• 52. کاربرد مدل‌های زبان بزرگ
• 53. تولید متن خلاقانه
• 54. خلاصه‌سازی متون
• 55. پاسخ به پرسش‌ها
• 56. ترجمه ماشینی
• 57. تحلیل احساسات
• 58. طبقه‌بندی متون
• 59. مباحث اخلاقی در مدل‌های زبان بزرگ
• 60. تعصب در داده‌ها و مدل‌ها
• 61. حریم خصوصی و امنیت داده‌ها
• 62. مسئولیت‌پذیری در توسعه LLM
• 63. تولید محتوای سازگار با ارزش‌های اسلامی
• 64. کاربرد LLM در آموزش و پژوهش
• 65. معرفی مدل‌های زبان بزرگ متن‌باز
• 66. معرفی کتابخانه‌های پیشرفته جولیا برای LLM
• 67. پیکربندی پیشرفته ترنسفورمر
• 68. بهینه‌سازی لایه‌های توجه
• 69. تنظیمات پیشرفته بهینه‌سازها
• 70. مدیریت مقادیر گرادیان
• 71. تکنیک‌های منظم‌سازی (Regularization)
• 72. کاهش افتادگی (Dropout)
• 73. نرمال‌سازی دسته‌ای (Batch Normalization)
• 74. نرمال‌سازی لایه‌ای (Layer Normalization)
• 75. معرفی معماری‌های نوین LLM
• 76. مدل‌های مبتنی بر Mixture-of-Experts
• 77. مدل‌های بازگشتی (Recurrent Models)
• 78. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 79. کاربرد NLP در تحلیل متن
• 80. استخراج اطلاعات از متن
• 81. مدل‌سازی موضوعی (Topic Modeling)
• 82. تشخیص موجودیت نام‌دار (NER)
• 83. پردازش گفتار در جولیا
• 84. تبدیل گفتار به متن
• 85. تبدیل متن به گفتار
• 86. کاربرد LLM در سیستم‌های توصیه‌گر
• 87. تولید توصیه‌های شخصی‌سازی شده
• 88. ارزیابی عملکرد سیستم‌های توصیه‌گر
• 89. کاربرد LLM در ربات‌های گفتگو (Chatbots)
• 90. طراحی معماری ربات گفتگو
• 91. توسعه مکالمه طبیعی
• 92. مدیریت وضعیت مکالمه
• 93. تست و ارزیابی ربات‌های گفتگو
• 94. مباحث پیشرفته در آموزش LLM
• 95. یادگیری مداوم (Continual Learning)
• 96. یادگیری چندوظیفه‌ای (Multi-task Learning)
• 97. تکنیک‌های افزایش داده (Data Augmentation)
• 98. آموزش مدل‌های کوچک‌تر و کارآمدتر
• 99. معرفی چارچوب‌های توسعه LLM در جولیا
• 100. کاربرد LLM در حوزه علمی و پژوهشی