فلش‌کارت‌های آموزشی یادگیری عمیق و مدل‌های زبانی بزرگ: اصول و کاربردها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری عمیق و مدل‌های زبانی بزرگ: اصول و کاربردها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ (LLMs) - مفاهیم و اصول**

📋 سرفصل‌های دوره

• 1. مبانی یادگیری عمیق و جایگاه آن در هوش مصنوعی
• 2. مفاهیم پایه شبکه‌های عصبی مصنوعی
• 3. نورون مصنوعی و ساختار لایه‌های شبکه عصبی
• 4. توابع فعال‌سازی و نقش آن‌ها در یادگیری
• 5. تابع هزینه و مفهوم خطای مدل
• 6. الگوریتم پس‌انتشار خطا
• 7. بهینه‌سازی مدل با Gradient Descent
• 8. بهینه‌سازهای رایج در یادگیری عمیق
• 9. تنظیم نرخ یادگیری و پارامترهای آموزشی
• 10. مفهوم Overfitting و روش‌های مقابله با آن
• 11. Regularization در شبکه‌های عصبی
• 12. Dropout و نقش آن در تعمیم مدل
• 13. Batch Normalization و پایداری آموزش
• 14. داده‌های آموزشی و آماده‌سازی آن‌ها برای یادگیری عمیق
• 15. تقسیم داده به مجموعه آموزش، اعتبارسنجی و آزمون
• 16. مفهوم Embedding در پردازش زبان طبیعی
• 17. نمایش عددی کلمات و توکن‌های متنی
• 18. مبانی پردازش زبان طبیعی برای مدل‌های زبانی
• 19. توکن‌سازی و ساخت Vocabulary
• 20. انواع Tokenization در مدل‌های زبانی
• 21. محدودیت‌های مدل‌های زبانی سنتی
• 22. مفهوم مدل زبانی و پیش‌بینی توکن بعدی
• 23. معماری شبکه‌های عصبی بازگشتی در پردازش متن
• 24. محدودیت‌های RNN و مشکل وابستگی‌های بلندمدت
• 25. LSTM و GRU برای مدل‌سازی توالی‌های متنی
• 26. مبانی معماری Transformer
• 27. مفهوم Attention در مدل‌های زبانی
• 28. Self-Attention و محاسبه وابستگی میان توکن‌ها
• 29. Multi-Head Attention
• 30. Positional Encoding و اطلاعات موقعیتی
• 31. معماری Encoder و Decoder در Transformer
• 32. مقایسه Encoder-only و Decoder-only و Encoder-Decoder
• 33. معماری مدل‌های زبانی بزرگ
• 34. مفهوم پارامتر و مقیاس مدل در LLMها
• 35. ارتباط مقیاس مدل با توانایی‌های زبانی
• 36. پیش‌آموزش مدل‌های زبانی بزرگ
• 37. ساخت و آماده‌سازی داده برای Pretraining
• 38. هدف‌های آموزشی در پیش‌آموزش LLM
• 39. Causal Language Modeling
• 40. Masked Language Modeling
• 41. مفهوم Context Window
• 42. پردازش متن‌های طولانی در مدل‌های زبانی
• 43. محاسبه هزینه و منابع موردنیاز آموزش LLM
• 44. GPU و شتاب‌دهی آموزش مدل‌های زبانی
• 45. موازی‌سازی داده و مدل در آموزش LLM
• 46. Fine-Tuning مدل‌های زبانی بزرگ
• 47. انتخاب داده مناسب برای Fine-Tuning
• 48. تنظیم ابرپارامترهای Fine-Tuning
• 49. Parameter-Efficient Fine-Tuning
• 50. روش LoRA در تنظیم مدل‌های زبانی
• 51. روش‌های Quantization برای کاهش هزینه مدل
• 52. مقایسه Fine-Tuning کامل و روش‌های کم‌هزینه
• 53. Instruction Tuning و آموزش دنبال‌کردن دستور
• 54. مدل‌های زبانی Instruction-Following
• 55. Preference Optimization در مدل‌های زبانی
• 56. بازخورد انسانی و هم‌راستاسازی مدل
• 57. مفهوم RLHF در توسعه LLM
• 58. ارزیابی کیفیت و توانایی‌های مدل زبانی
• 59. معیارهای ارزیابی مدل‌های زبانی
• 60. ارزیابی Perplexity و تفسیر نتایج
• 61. ارزیابی توانایی مدل در درک و تولید متن
• 62. آزمون‌های بنچمارک برای LLMها
• 63. مقایسه مدل‌ها با روش ارزیابی استاندارد
• 64. Prompt و نقش آن در تعامل با LLM
• 65. ساختار Prompt مؤثر
• 66. Zero-Shot و Few-Shot Prompting
• 67. Chain-of-Thought و استدلال مرحله‌ای
• 68. Prompt Engineering برای وظایف مختلف
• 69. کنترل خروجی و قالب پاسخ مدل
• 70. مدیریت Context در تعامل با مدل
• 71. تولید متن با مدل‌های زبانی بزرگ
• 72. خلاصه‌سازی خودکار متون
• 73. پاسخ‌گویی به پرسش‌های متنی
• 74. ترجمه ماشینی با LLMها
• 75. استخراج اطلاعات از متن
• 76. طبقه‌بندی متن با مدل‌های زبانی
• 77. تولید و تکمیل کد با LLM
• 78. استفاده از LLM در تحلیل داده و محتوا
• 79. Retrieval-Augmented Generation و اصول RAG
• 80. اتصال LLM به منابع دانش خارجی
• 81. Embedding و جست‌وجوی معنایی در RAG
• 82. طراحی Pipeline کامل RAG
• 83. Chunking و انتخاب قطعات متنی
• 84. بازیابی اسناد مرتبط برای تولید پاسخ
• 85. کاهش خطاهای بازیابی و تولید در RAG
• 86. مفهوم Hallucination در مدل‌های زبانی
• 87. روش‌های شناسایی و کاهش Hallucination
• 88. امنیت مدل‌های زبانی و Prompt Injection
• 89. حریم خصوصی داده‌ها در کاربردهای LLM
• 90. سوگیری و Fairness در مدل‌های زبانی
• 91. تفسیرپذیری و تحلیل رفتار مدل‌های زبانی
• 92. بهینه‌سازی استنتاج و کاهش Latency
• 93. Quantization و فشرده‌سازی برای اجرای سریع‌تر
• 94. مدیریت حافظه در زمان اجرای LLM
• 95. استقرار مدل زبانی در محیط عملیاتی
• 96. طراحی سرویس مبتنی بر API برای LLM
• 97. معماری برنامه‌های کاربردی مبتنی بر LLM
• 98. انتخاب مدل مناسب برای یک کاربرد مشخص
• 99. تحلیل هزینه و کارایی مدل‌های زبانی
• 100. طراحی سیستم پرسش‌وپاسخ مبتنی بر LLM