اپلیکیشن اندرویدی فلش‌کارت آموزشی از نظریه تا عمل: بهینه‌سازی مدل‌های زبانی با PEFT

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره از نظریه تا عمل: بهینه‌سازی مدل‌های زبانی با PEFT

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Fine-tuning با پارامترهای کم (Parameter-Efficient Fine-tuning - PEFT)

📋 سرفصل‌های دوره

• 1. مقدمه بر مدل‌های زبانی بزرگ
• 2. مبانی یادگیری عمیق
• 3. شبکه‌های عصبی بازگشتی (RNN)
• 4. شبکه‌های عصبی پیچشی (CNN)
• 5. مکانیسم توجه (Attention Mechanism)
• 6. ترنسفورمرها (Transformers)
• 7. معماری ترنسفورمر
• 8. نحوه عملکرد ترنسفورمرها
• 9. مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models)
• 10. معرفی مدل‌های زبانی بزرگ
• 11. اهمیت مدل‌های زبانی بزرگ
• 12. کاربردهای مدل‌های زبانی بزرگ
• 13. چالش‌های مدل‌های زبانی بزرگ
• 14. مفهوم تنظیم دقیق (Fine-tuning)
• 15. روش‌های سنتی تنظیم دقیق
• 16. مشکلات تنظیم دقیق سنتی
• 17. معرفی روش‌های بهینه‌سازی پارامترهای کم (Parameter-Efficient Fine-Tuning - PEFT)
• 18. اهمیت PEFT
• 19. مقایسه PEFT با تنظیم دقیق سنتی
• 20. دسته‌بندی روش‌های PEFT
• 21. بهینه‌سازی با استفاده از پارامترهای قابل آموزش کم
• 22. تنظیم دقیق آداپتورها (Adapter Tuning)
• 23. معماری آداپتورها
• 24. روش‌های مختلف آداپتورها
• 25. پیاده‌سازی آداپتورها
• 26. تنظیم دقیق پارامترهای کم با پیشوند (Prefix Tuning)
• 27. مفهوم پیشوندها
• 28. نحوه اعمال پیشوندها
• 29. مزایا و معایب Prefix Tuning
• 30. تنظیم دقیق با پیشوند قابل آموزش (Prompt Tuning)
• 31. مفهوم Prompt Tuning
• 32. تفاوت Prompt Tuning با Prefix Tuning
• 33. کاربردهای Prompt Tuning
• 34. تنظیم دقیق با دستورالعمل (Instruction Tuning)
• 35. اهمیت Instruction Tuning
• 36. روش‌های Instruction Tuning
• 37. ارزیابی مدل‌های تنظیم شده با دستورالعمل
• 38. تنظیم دقیق با پارامترهای افزوده (LoRA - Low-Rank Adaptation)
• 39. مفهوم LoRA
• 40. نحوه عملکرد LoRA
• 41. مزایای LoRA
• 42. پیاده‌سازی LoRA
• 43. تنظیم دقیق با ماتریس‌های مرتبه پایین (QLoRA)
• 44. مفهوم QLoRA
• 45. مزایای QLoRA
• 46. مقایسه QLoRA با LoRA
• 47. تنظیم دقیق با پارامترهای قابل آموزش کم (P-Tuning)
• 48. مفهوم P-Tuning
• 49. انواع P-Tuning
• 50. کاربردهای P-Tuning
• 51. تنظیم دقیق با پارامترهای قابل آموزش کم (Adapter Fusion)
• 52. مفهوم Adapter Fusion
• 53. نحوه ترکیب آداپتورها
• 54. مزایای Adapter Fusion
• 55. تنظیم دقیق با پارامترهای قابل آموزش کم (Prompt Tuning V2)
• 56. نوآوری‌های Prompt Tuning V2
• 57. تفاوت با Prompt Tuning اولیه
• 58. کاربردهای Prompt Tuning V2
• 59. تنظیم دقیق با پارامترهای قابل آموزش کم (Prefix-LM)
• 60. مفهوم Prefix-LM
• 61. کاربرد Prefix-LM در مدل‌های زبانی
• 62. تکنیک‌های مرتبط با Prefix-LM
• 63. تنظیم دقیق با پارامترهای قابل آموزش کم (AdapterDrop)
• 64. مفهوم AdapterDrop
• 65. روش‌های حذف آداپتورها
• 66. بهینه‌سازی با AdapterDrop
• 67. تنظیم دقیق با پارامترهای قابل آموزش کم (UniPELT)
• 68. مفهوم UniPELT
• 69. ترکیب روش‌های PEFT
• 70. مزایای UniPELT
• 71. تنظیم دقیق با پارامترهای قابل آموزش کم (AdapterHub)
• 72. اکوسیستم AdapterHub
• 73. نحوه استفاده از آداپتورهای موجود
• 74. توسعه آداپتورهای جدید
• 75. تنظیم دقیق با پارامترهای قابل آموزش کم (Hugging Face PEFT Library)
• 76. معرفی کتابخانه Hugging Face PEFT
• 77. نحوه استفاده از کلاس‌های PEFT
• 78. مثال‌های کاربردی با کتابخانه
• 79. تنظیم دقیق با پارامترهای قابل آموزش کم (Task-Adaptive PEFT)
• 80. مفهوم PEFT تطبیق یافته با وظیفه
• 81. طراحی PEFT برای وظایف خاص
• 82. ارزیابی PEFT تطبیق یافته
• 83. تنظیم دقیق با پارامترهای قابل آموزش کم (Parameter-Efficient Transfer Learning)
• 84. مفهوم انتقال یادگیری با پارامترهای کم
• 85. تطبیق مدل‌های پیش‌آموزش‌دیده
• 86. مزایای PEFT در انتقال یادگیری
• 87. تنظیم دقیق با پارامترهای قابل آموزش کم (Few-Shot Learning with PEFT)
• 88. یادگیری با نمونه‌های کم با PEFT
• 89. چالش‌های Few-Shot Learning
• 90. راهکارهای PEFT برای Few-Shot Learning
• 91. تنظیم دقیق با پارامترهای قابل آموزش کم (Zero-Shot Learning with PEFT)
• 92. یادگیری بدون نمونه با PEFT
• 93. کاربردهای Zero-Shot Learning
• 94. قابلیت‌های PEFT در Zero-Shot Learning
• 95. تنظیم دقیق با پارامترهای قابل آموزش کم (Continual Learning with PEFT)
• 96. یادگیری پیوسته با PEFT
• 97. چالش‌های یادگیری پیوسته
• 98. روش‌های PEFT برای یادگیری پیوسته
• 99. تنظیم دقیق با پارامترهای قابل آموزش کم (Federated Learning with PEFT)
• 100. یادگیری فدرال با PEFT