فلش‌کارت‌های آموزشی مبانی یادگیری عمیق برای مدل‌های زبانی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی یادگیری عمیق برای مدل‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: یادگیری عمیق (Deep Learning)

📋 سرفصل‌های دوره

• 1. مفاهیم پایه شبکه‌های عصبی مصنوعی
• 2. نورون مصنوعی و مدل پرسپترون
• 3. توابع فعال‌سازی رایج در یادگیری عمیق
• 4. لایه‌های کاملاً متصل و ساختار شبکه عصبی
• 5. تابع زیان و معیارهای ارزیابی مدل
• 6. الگوریتم پس‌انتشار خطا
• 7. گرادیان نزولی و انواع آن
• 8. بهینه‌سازهای پیشرفته مانند Adam و RMSProp
• 9. مقداردهی اولیه وزن‌ها
• 10. بیش‌برازش و روش‌های جلوگیری از آن
• 11. نرمال‌سازی دسته‌ای و لایه‌ای
• 12. دراپ‌اوت و تکنیک‌های منظم‌سازی
• 13. شبکه‌های عصبی پیش‌خور برای داده‌های متنی
• 14. بازنمایی کلمات با Word2Vec و GloVe
• 15. تعبیه کلمات و فضای برداری معنایی
• 16. شبکه‌های عصبی بازگشتی پایه
• 17. مشکل محو و انفجار گرادیان در RNN
• 18. شبکه‌های LSTM و ساختار دروازه‌ها
• 19. شبکه‌های GRU و مقایسه با LSTM
• 20. مدل‌های sequence-to-sequence پایه
• 21. مکانیزم توجه ساده
• 22. توجه چندسر و اهمیت آن
• 23. معماری ترنسفورمر پایه
• 24. لایه رمزگذار در ترنسفورمر
• 25. لایه رمزگشا در ترنسفورمر
• 26. موقعیت‌گذاری مکانی و positional encoding
• 27. ماسک‌گذاری در توجه خودی
• 28. نرمال‌سازی و اتصال باقیمانده در ترنسفورمر
• 29. پیش‌آموزش مدل‌های زبانی
• 30. هدف پیش‌بینی کلمه بعدی
• 31. مدل‌سازی زبان masked
• 32. توکنایزیشن و روش‌های زیرکلمه
• 33. Byte-Pair Encoding و WordPiece
• 34. آماده‌سازی داده متنی برای آموزش
• 35. دسته‌بندی و پدینگ توالی‌ها
• 36. تابع زیان در مدل‌های زبانی
• 37. معیارهای ارزیابی مانند Perplexity
• 38. آموزش با دسته‌های بزرگ و تکنیک‌های مرتبط
• 39. یادگیری نرخ تطبیقی در آموزش مدل‌های زبانی
• 40. انتقال یادگیری در مدل‌های زبانی
• 41. تنظیم دقیق پایه مدل‌های ازپیش‌آموزش‌دیده
• 42. لایه‌های خروجی و تولید متن
• 43. نمونه‌برداری از توزیع احتمال توکن‌ها
• 44. دما و کنترل تولید متن
• 45. مشکلات رایج در آموزش مدل‌های زبانی
• 46. اشباع گرادیان و راه‌های مقابله
• 47. مدیریت حافظه در آموزش شبکه‌های عمیق متنی
• 48. استفاده از GPU برای آموزش مدل‌های زبانی
• 49. مفاهیم پایه مقیاس‌پذیری مدل
• 50. تفاوت مدل‌های رمزگذار و رمزگشا
• 51. معماری‌های ترکیبی رمزگذار-رمزگشا
• 52. بررسی جریان داده در یک مدل زبانی ساده
• 53. پیاده‌سازی یک شبکه عصبی ساده برای طبقه‌بندی متن
• 54. پیاده‌سازی RNN برای مدل‌سازی زبان
• 55. پیاده‌سازی لایه توجه ساده
• 56. ساخت یک ترنسفورمر کوچک از پایه
• 57. آزمایش تأثیر اندازه مدل بر عملکرد
• 58. تحلیل اثر عمق و عرض شبکه
• 59. روش‌های کاهش ابعاد تعبیه‌ها
• 60. مفاهیم پایه انتقال دانش بین مدل‌ها
• 61. ارزیابی کیفیت تعبیه‌های آموخته‌شده
• 62. تشخیص و رفع بایاس در داده‌های متنی
• 63. ملاحظات اخلاقی پایه در مدل‌های زبانی
• 64. آماده‌سازی محیط برنامه‌نویسی برای یادگیری عمیق متنی
• 65. کتابخانه‌های رایج مانند PyTorch برای مدل‌های زبانی
• 66. ساختار داده تانسوری برای ورودی متن
• 67. مدیریت واژگان و دیکشنری توکن‌ها
• 68. تکنیک‌های افزایش داده متنی پایه
• 69. آموزش تدریجی و curriculum learning ساده
• 70. مانیتورینگ فرآیند آموزش مدل
• 71. ذخیره و بارگذاری وزن‌های مدل
• 72. اشکال‌زدایی مدل‌های یادگیری عمیق متنی
• 73. تحلیل فعال‌سازی‌ها و وزن‌ها
• 74. مفاهیم پایه قابلیت تفسیر مدل‌های زبانی
• 75. مقایسه عملکرد معماری‌های مختلف پایه
• 76. انتقال از مدل‌های کلاسیک به یادگیری عمیق در NLP
• 77. چالش‌های داده‌های کم‌منبع برای مدل‌های زبانی
• 78. روش‌های پایه بهبود تعمیم‌پذیری
• 79. آینده‌نگری مبانی یادگیری عمیق در مدل‌های زبانی