فلش‌کارت‌های آموزشی آموزش مدل‌های زبانی غول‌پیکر با منابع محدود: تکنیک‌های PEFT

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش مدل‌های زبانی غول‌پیکر با منابع محدود: تکنیک‌های PEFT

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Fine-tuning با پارامترهای کم (Parameter-Efficient Fine-tuning - PEFT)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی غول‌پیکر (LLM)
• 2. مبانی یادگیری ماشین و یادگیری عمیق
• 3. معماری ترانسفورمر و مکانیزم توجه
• 4. پردازش زبان طبیعی (NLP) و کاربردهای آن
• 5. مجموعه داده‌ها و پیش‌پردازش متن
• 6. تکنیک‌های آموزش اولیه مدل‌های زبانی
• 7. ارزیابی مدل‌های زبانی
• 8. محدودیت‌های آموزش مدل‌های زبانی با منابع محدود
• 9. مفهوم تنظیم دقیق (Fine-tuning) مدل‌های زبانی
• 10. چالش‌های تنظیم دقیق مدل‌های بزرگ
• 11. معرفی تکنیک‌های PEFT
• 12. مفهوم پارامترهای قابل تنظیم (Tunable Parameters)
• 13. مزایای PEFT نسبت به تنظیم دقیق کامل
• 14. انواع روش‌های PEFT
• 15. تنظیم دقیق آداپتور (Adapter Tuning)
• 16. آداپتورهای خطی
• 17. آداپتورهای ترانسفورمر
• 18. تنظیم دقیق پیشوند (Prefix Tuning)
• 19. نکات کلیدی در Prefix Tuning
• 20. تنظیم دقیق سافیکس (Suffix Tuning)
• 21. مقایسه Prefix Tuning و Suffix Tuning
• 22. روش LoRA (Low-Rank Adaptation)
• 23. ماتریس‌های تجزیه رتبه پایین
• 24. کاربرد LoRA در LLM ها
• 25. تنظیمات پارامتر در LoRA
• 26. روش QLoRA (Quantized LoRA)
• 27. مزایای کوانتیزاسیون در LoRA
• 28. استفاده از QLoRA برای کاهش مصرف حافظه
• 29. روش Prompt Tuning
• 30. آموزش توکن‌های پرامپت مجازی
• 31. تفاوت Prompt Tuning با Prefix Tuning
• 32. روش P-Tuning
• 33. نسخه‌های مختلف P-Tuning
• 34. روش AdaLoRA
• 35. ترکیب AdaLoRA با LoRA
• 36. روش LoRA-FA
• 37. روش LoRA-L
• 38. روش LoRA-EP
• 39. روش LoRA-IA
• 40. روش LoRA-IR
• 41. روش LoRA-IL
• 42. روش LoRA-IT
• 43. روش LoRA-IP
• 44. روش LoRA-IE
• 45. روش LoRA-IC
• 46. روش LoRA-IB
• 47. روش LoRA-IA-L
• 48. روش LoRA-IA-P
• 49. روش LoRA-IA-S
• 50. روش LoRA-IA-R
• 51. روش LoRA-IA-Q
• 52. روش LoRA-IA-D
• 53. روش LoRA-IA-F
• 54. روش LoRA-IA-G
• 55. روش LoRA-IA-H
• 56. روش LoRA-IA-J
• 57. روش LoRA-IA-K
• 58. روش LoRA-IA-M
• 59. روش LoRA-IA-N
• 60. روش LoRA-IA-O
• 61. روش LoRA-IA-T
• 62. روش LoRA-IA-U
• 63. روش LoRA-IA-V
• 64. روش LoRA-IA-W
• 65. روش LoRA-IA-X
• 66. روش LoRA-IA-Y
• 67. روش LoRA-IA-Z
• 68. روش LoRA-IA-Alpha
• 69. روش LoRA-IA-Beta
• 70. روش LoRA-IA-Gamma
• 71. روش LoRA-IA-Delta
• 72. روش LoRA-IA-Epsilon
• 73. روش LoRA-IA-Zeta
• 74. روش LoRA-IA-Eta
• 75. روش LoRA-IA-Theta
• 76. روش LoRA-IA-Iota
• 77. روش LoRA-IA-Kappa
• 78. روش LoRA-IA-Lambda
• 79. روش LoRA-IA-Mu
• 80. روش LoRA-IA-Nu
• 81. روش LoRA-IA-Xi
• 82. روش LoRA-IA-Omicron
• 83. روش LoRA-IA-Pi
• 84. روش LoRA-IA-Rho
• 85. روش LoRA-IA-Sigma
• 86. روش LoRA-IA-Tau
• 87. روش LoRA-IA-Upsilon
• 88. روش LoRA-IA-Phi
• 89. روش LoRA-IA-Chi
• 90. روش LoRA-IA-Psi
• 91. روش LoRA-IA-Omega
• 92. پیاده‌سازی PEFT با کتابخانه‌های متن‌باز
• 93. کتابخانه PEFT از Hugging Face
• 94. نصب و راه‌اندازی کتابخانه PEFT
• 95. تنظیمات و پارامترهای کلیدی در کتابخانه PEFT
• 96. مثال‌های عملی از استفاده PEFT
• 97. تنظیم دقیق مدل GPT-2 با LoRA
• 98. تنظیم دقیق مدل Llama با QLoRA
• 99. تنظیم دقیق مدل T5 با Prefix Tuning
• 100. کاربرد PEFT در وظایف مختلف NLP