کتاب صوتی از آماتور تا استاد: ساخت LLMهای خبره دامنه با یادگیری برنامه‌درسی خودکار (ACER)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره از آماتور تا استاد: ساخت LLMهای خبره دامنه با یادگیری برنامه‌درسی خودکار (ACER)

موضوع کلی: توسعه و بهینه‌سازی مدل‌های زبانی بزرگ (LLM)

موضوع میانی: یادگیری برنامه‌درسی خودکار برای تخصص‌سازی LLM

📋 سرفصل‌های دوره

• 1. بخش ۱: مبانی و مقدمات (فصل ۱ تا ۲۰)
• 2. مقدمه‌ای بر مدل‌های زبانی بزرگ (LLM)
• 3. معماری ترنسفورمر: ستون فقرات LLMهای مدرن
• 4. فرآیند پیش‌آموزش (Pre-training): چگونه LLMها دانش عمومی کسب می‌کنند
• 5. محدودیت‌های LLMهای عمومی: شکاف دانش در دامنه‌های تخصصی
• 6. نیاز به تخصص‌سازی دامنه (Domain Specialization)
• 7. یادگیری انتقالی (Transfer Learning) و نقش آن در سفارشی‌سازی LLM
• 8. آشنایی با Fine-Tuning: رایج‌ترین روش برای تخصص‌سازی
• 9. چالش‌های Fine-Tuning سنتی: فراموشی فاجعه‌بار و یادگیری سطحی
• 10. معرفی مقاله الهام‌بخش: "From Amateur to Master"
• 11. فلسفه اصلی مقاله: از دانش عمومی به خبرگی عمیق
• 12. مفهوم یادگیری برنامه‌درسی (Curriculum Learning) چیست؟
• 13. تاریخچه و مبانی روانشناختی یادگیری برنامه‌درسی
• 14. چرا یادگیری برنامه‌درسی برای LLMها مؤثر است؟
• 15. مقایسه یادگیری برنامه‌درسی با نمونه‌برداری تصادفی (Random Sampling)
• 16. معرفی چارچوب ACER (Automated Curriculum learning for domain ExpERtise)
• 17. اهداف دوره: ساخت یک LLM متخصص با استفاده از ACER
• 18. نقشه راه دوره: از تئوری تا پیاده‌سازی عملی
• 19. ابزارها و پیش‌نیازهای دوره
• 20. انتخاب مدل پایه (Base Model) برای شروع پروژه
• 21. محیط کار: آماده‌سازی کتابخانه‌ها و پلتفرم‌های مورد نیاز
• 22. بخش ۲: دانش دامنه و استخراج آن (فصل ۲۱ تا ۳۵)
• 23. دانش دامنه چیست؟ انواع و اشکال آن
• 24. دانش صریح (Explicit) در مقابل دانش ضمنی (Implicit)
• 25. منابع دانش دامنه: از متون تا پایگاه‌های داده ساختاریافته
• 26. اهمیت گراف‌های دانش (Knowledge Graphs) در تخصص‌سازی
• 27. تکنیک‌های استخراج اطلاعات (Information Extraction)
• 28. شناسایی موجودیت‌های نام‌دار (Named Entity Recognition) در متون تخصصی
• 29. استخراج روابط (Relation Extraction) بین مفاهیم
• 30. ساخت یک پیکره متنی (Corpus) تخصصی برای دامنه هدف
• 31. پاک‌سازی و پیش‌پردازش داده‌های متنی دامنه
• 32. چالش‌های کار با داده‌های تخصصی: اصطلاحات فنی و ابهام
• 33. استفاده از آنتولوژی‌ها برای ساختاردهی به دانش دامنه
• 34. نمایش دانش برای LLMها: از متن ساده تا ساختارهای پیچیده
• 35. گام اول ACER: شناسایی و استخراج مفاهیم کلیدی دامنه
• 36. ساختاردهی به دانش استخراج‌شده برای ایجاد وابستگی‌ها
• 37. پروژه عملی: ساخت یک پایگاه دانش کوچک از یک متن تخصصی
• 38. بخش ۳: طراحی برنامه‌درسی خودکار (فصل ۳۶ تا ۵۵)
• 39. مبانی نظری یادگیری برنامه‌درسی در یادگیری ماشین
• 40. اجزای اصلی یک برنامه‌درسی: معیار دشواری و ترتیب‌دهی
• 41. گام دوم ACER: ارزیابی خودکار دشواری دانش
• 42. معیار اول دشواری: پیچیدگی مفهومی (Conceptual Complexity)
• 43. نحوه محاسبه پیچیدگی مفهومی بر اساس ویژگی‌های متن
• 44. معیار دوم دشواری: وابستگی دانش (Knowledge Dependency)
• 45. استفاده از گراف دانش برای مدل‌سازی وابستگی‌ها
• 46. نحوه محاسبه امتیاز وابستگی: از مفاهیم پایه تا پیشرفته
• 47. معیار سوم دشواری: کمیابی دانش (Knowledge Rarity)
• 48. روش‌های آماری برای اندازه‌گیری کمیابی یک مفهوم در پیکره
• 49. ترکیب معیارها: ایجاد یک امتیاز دشواری جامع
• 50. گام سوم ACER: تولید برنامه‌درسی بهینه
• 51. خوشه‌بندی (Clustering) مفاهیم بر اساس دشواری
• 52. ایجاد مراحل آموزشی (Training Stages) در برنامه‌درسی
• 53. مرتب‌سازی توپولوژیک (Topological Sorting) برای تعیین ترتیب مراحل
• 54. استراتژی‌های ترتیب‌دهی (Pacing Functions): از خطی تا نمایی
• 55. شخصی‌سازی برنامه‌درسی برای دامنه‌های مختلف
• 56. مقایسه برنامه‌درسی خودکار با برنامه‌درسی دستی طراحی‌شده توسط انسان
• 57. چالش‌ها در طراحی برنامه‌درسی: تعادل بین سادگی و جامعیت
• 58. تجسم (Visualization) برنامه‌درسی تولیدشده
• 59. بخش ۴: فرآیند آموزش مبتنی بر برنامه‌درسی (فصل ۵۶ تا ۷۵)
• 60. گام چهارم ACER: فرآیند آموزش مرحله‌ای
• 61. آماده‌سازی داده‌ها برای هر مرحله از برنامه‌درسی
• 62. استراتژی آموزش: Continual Pre-training در مقابل Fine-tuning
• 63. انتخاب بهینه هایپرپارامترها برای آموزش مبتنی بر برنامه‌درسی
• 64. نرخ یادگیری (Learning Rate) و زمان‌بندی آن در آموزش مرحله‌ای
• 65. مدیریت حافظه و بهینه‌سازی محاسباتی
• 66. مانیتورینگ فرآیند آموزش: ردیابی Loss و متریک‌های ارزیابی
• 67. مفهوم "از آماتور به استاد" در عمل: مشاهده پیشرفت مدل
• 68. مقابله با فراموشی فاجعه‌بار در طول آموزش مرحله‌ای
• 69. تکنیک‌های Regularization برای حفظ دانش عمومی
• 70. نقش اعتبارسنجی (Validation) در هر مرحله از برنامه‌درسی
• 71. معیارهای توقف زودهنگام (Early Stopping) برای هر مرحله
• 72. ادغام دانش جدید با دانش از پیش‌آموخته شده
• 73. پیاده‌سازی حلقه آموزش (Training Loop) سفارشی برای ACER
• 74. استفاده از کتابخانه Hugging Face Accelerate برای آموزش توزیع‌شده
• 75. بررسی Checkpointها و ذخیره مدل در پایان هر مرحله
• 76. تحلیل رفتار مدل در مواجهه با مفاهیم ساده و پیچیده
• 77. تفاوت‌های کلیدی بین آموزش با ACER و آموزش سنتی
• 78. مثال عملی: آموزش یک مرحله از برنامه‌درسی
• 79. عیب‌یابی مشکلات رایج در فرآیند آموزش
• 80. بخش ۵: ارزیابی و تحلیل LLMهای متخصص (فصل ۷۶ تا ۹۰)
• 81. چرا ارزیابی LLMهای متخصص دشوار است؟
• 82. طراحی بنچمارک‌های مخصوص دامنه (Domain-Specific Benchmarks)
• 83. متریک‌های ارزیابی مبتنی بر دانش: دقت، یادآوری و F1-score
• 84. ارزیابی مبتنی بر وظیفه (Task-based Evaluation): پرسش و پاسخ، خلاصه‌سازی
• 85. ارزیابی توانایی استدلال مدل در دامنه تخصصی
• 86. تحلیل کیفی: بررسی پاسخ‌های تولیدشده توسط مدل
• 87. مقایسه عملکرد مدل آموزش‌دیده با ACER و مدل پایه
• 88. مقایسه با مدل‌های Fine-tune شده به روش سنتی
• 89. تحلیل تأثیر هر یک از معیارهای دشواری بر نتیجه نهایی
• 90. بررسی پدیده "توهم" (Hallucination) در مدل متخصص
• 91. سنجش میزان حفظ دانش عمومی پس از تخصص‌سازی
• 92. ابزارهای ارزیابی خودکار مدل‌های زبانی
• 93. مطالعه موردی: ارزیابی یک LLM متخصص در حوزه پزشکی
• 94. مطالعه موردی: ارزیابی یک LLM متخصص در حوزه حقوقی
• 95. گزارش‌دهی نتایج و بهترین شیوه‌ها
• 96. بخش ۶: موضوعات پیشرفته و آینده‌پژوهی (فصل ۹۱ تا ۱۰۰)
• 97. یادگیری برنامه‌درسی چندوجهی (Multi-modal Curriculum Learning)
• 98. ادغام دانش متنی با تصاویر و داده‌های ساختاریافته
• 99. یادگیری برنامه‌درسی تقویتی (Reinforcement Learning-based CL)
• 100. شخصی‌سازی پویای برنامه‌درسی حین آموزش