فلش‌کارت‌های آموزشی ساخت مدل‌های زبان سفارشی با ترنسفورمرها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت مدل‌های زبان سفارشی با ترنسفورمرها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی
• 2. پردازش زبان طبیعی و کاربردهای آن
• 3. مبانی شبکه‌های عصبی
• 4. شبکه‌های عصبی بازگشتی (RNN)
• 5. مشکلات شبکه‌های RNN و راه‌حل‌ها
• 6. معماری ترنسفورمر: یک معرفی
• 7. مکانیسم توجه (Attention) در ترنسفورمرها
• 8. خود-توجهی (Self-Attention) و اهمیت آن
• 9. انکودر و دیکودر در ترنسفورمرها
• 10. موقعیت‌یابی (Positional Encoding) در ترنسفورمرها
• 11. لایه‌های نرمال‌سازی (Layer Normalization)
• 12. اتصالات باقیمانده (Residual Connections)
• 13. آموزش ترنسفورمرها: بهینه‌سازها و نرخ یادگیری
• 14. مجموعه‌داده‌های متنی برای آموزش مدل‌های زبانی
• 15. پیش‌پردازش متن: توکنایز کردن و پاکسازی
• 16. واژه‌نامه‌ها و نمایش برداری کلمات (Word Embeddings)
• 17. معماری BERT و کاربردهای آن
• 18. Fine-tuning مدل‌های BERT از پیش آموزش‌دیده
• 19. معماری GPT و تولید متن
• 20. روش‌های نمونه‌برداری از مدل‌های زبانی
• 21. ارزیابی مدل‌های زبانی: معیارها و روش‌ها
• 22. Perplexity به عنوان معیار ارزیابی
• 23. مقدمه‌ای بر Hugging Face Transformers
• 24. استفاده از Transformers برای طبقه‌بندی متن
• 25. استفاده از Transformers برای تشخیص موجودیت نام‌دار (NER)
• 26. استفاده از Transformers برای خلاصه‌سازی متن
• 27. استفاده از Transformers برای ترجمه ماشینی
• 28. مدل‌های زبانی مبتنی بر ترنسفورمر برای پاسخ به سوال
• 29. مقدمه‌ای بر مدل‌های زبانی چندزبانه
• 30. استفاده از مدل‌های زبانی برای تولید کد
• 31. تولید متن خلاقانه با مدل‌های زبانی
• 32. کنترل تولید متن با استفاده از ویژگی‌ها
• 33. مدل‌های زبانی و اخلاق: سوگیری و انصاف
• 34. تکنیک‌های کاهش سوگیری در مدل‌های زبانی
• 35. مدل‌های زبانی و حفظ حریم خصوصی
• 36. مقدمه‌ای بر دانش‌نامه‌های برداری (Vector Databases)
• 37. استفاده از دانش‌نامه‌های برداری با مدل‌های زبانی
• 38. بهینه‌سازی مدل‌های زبانی برای استقرار
• 39. تکنیک‌های کوانتیزاسیون مدل (Model Quantization)
• 40. تکنیک‌های تقطیر دانش (Knowledge Distillation)
• 41. استقرار مدل‌های زبانی در محیط‌های ابری
• 42. استقرار مدل‌های زبانی در دستگاه‌های لبه (Edge Devices)
• 43. نظارت و نگهداری مدل‌های زبانی
• 44. یادگیری انتقالی (Transfer Learning) در مدل‌های زبانی
• 45. تطبیق دامنه (Domain Adaptation) برای مدل‌های زبانی
• 46. آموزش تقویتی با بازخورد انسانی (RLHF)
• 47. مقدمه‌ای بر مدل‌های زبانی بزرگ (LLMs)
• 48. چالش‌ها و فرصت‌های مدل‌های زبانی بزرگ
• 49. تکنیک‌های افزایش حافظه مدل
• 50. مدل‌های زبانی و استدلال
• 51. مدل‌های زبانی و درک زبان طبیعی
• 52. مدل‌های زبانی و تولید زبان طبیعی
• 53. آینده مدل‌های زبانی و ترنسفورمرها
• 54. کاربردهای نوظهور مدل‌های زبانی
• 55. مدل‌های زبانی در حوزه سلامت
• 56. مدل‌های زبانی در حوزه مالی
• 57. مدل‌های زبانی در حوزه حقوقی
• 58. مدل‌های زبانی و آموزش
• 59. مدل‌های زبانی و خدمات مشتری
• 60. مدل‌های زبانی و تولید محتوا
• 61. مدل‌های زبانی و تحقیقات علمی
• 62. روش‌های دیباگینگ مدل‌های زبانی
• 63. بهبود پایداری مدل‌های زبانی
• 64. مقایسه معماری‌های مختلف ترنسفورمر
• 65. تحلیل خطا در مدل‌های زبانی
• 66. استفاده از مدل‌های زبانی برای تحلیل احساسات
• 67. شناسایی و مقابله با اطلاعات نادرست با استفاده از مدل‌های زبانی
• 68. مدل‌های زبانی و ایمنی سایبری
• 69. توسعه ابزارهای ارزیابی خودکار مدل‌های زبانی