فلش‌کارت‌های آموزشی تحلیل مقایسه‌ای معماری‌های مختلف LLMs

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تحلیل مقایسه‌ای معماری‌های مختلف LLMs

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های ارزیابی و بهینه‌سازی LLMs**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ (LLMs)
• 2. تاریخچه و سیر تحول LLMs
• 3. معماری‌های پایه LLMs: ترنسفورمرها
• 4. مکانیزم توجه (Attention Mechanism) در ترنسفورمرها
• 5. رمزگذار-رمزگشا (Encoder-Decoder) در ترنسفورمرها
• 6. مدل‌های زبانی مبتنی بر رمزگذار (Encoder-only)
• 7. مدل‌های زبانی مبتنی بر رمزگشا (Decoder-only)
• 8. مدل‌های زبانی دوطرفه (Bidirectional)
• 9. معماری GPT و خانواده آن
• 10. معماری BERT و خانواده آن
• 11. معماری T5 و خانواده آن
• 12. معماری RoBERTa
• 13. معماری XLNet
• 14. معماری ALBERT
• 15. معماری ELECTRA
• 16. معماری LLaMA
• 17. معماری Falcon
• 18. معماری Mistral
• 19. معماری Claude
• 20. معماری PaLM
• 21. معماری Bloom
• 22. معماری Vicuna
• 23. معماری Alpaca
• 24. معماری Dolly
• 25. معماری OpenLLaMA
• 26. معماری StableLM
• 27. معماری GPT-Neo
• 28. معماری GPT-J
• 29. معماری GPT-NeoX
• 30. معماری OPT
• 31. معماری Metasequoia
• 32. معماری RWKV
• 33. معماری Mamba
• 34. معماری Perceiver
• 35. معماری Reformer
• 36. معماری Longformer
• 37. معماری BigBird
• 38. معماری Linear Transformer
• 39. معماری Sparse Transformer
• 40. معماری Transformer-XL
• 41. معماری Compressive Transformer
• 42. معماری Retrieval-Augmented Generation (RAG)
• 43. تفاوت‌های معماری‌های LLM در زمان آموزش
• 44. تفاوت‌های معماری‌های LLM در زمان استنتاج
• 45. اندازه مدل‌ها و پارامترها در LLMs
• 46. تکنیک‌های کوانتیزاسیون (Quantization) برای LLMs
• 47. تکنیک‌های هرس (Pruning) برای LLMs
• 48. تکنیک‌های تقطیر دانش (Knowledge Distillation)
• 49. معماری‌های LLM برای وظایف تولید متن
• 50. معماری‌های LLM برای وظایف درک متن
• 51. معماری‌های LLM برای وظایف ترجمه ماشینی
• 52. معماری‌های LLM برای وظایف خلاصه‌سازی متن
• 53. معماری‌های LLM برای وظایف پرسش و پاسخ
• 54. معماری‌های LLM برای وظایف طبقه‌بندی متن
• 55. معماری‌های LLM برای وظایف استخراج اطلاعات
• 56. معماری‌های LLM برای وظایف تحلیل احساسات
• 57. معماری‌های LLM برای وظایف تولید کد
• 58. معماری‌های LLM برای وظایف درک تصویر (Multimodal)
• 59. ارزیابی عملکرد LLMs: معیارهای کمی
• 60. ارزیابی عملکرد LLMs: معیارهای کیفی
• 61. مجموعه داده‌های استاندارد برای ارزیابی LLMs
• 62. چالش‌های ارزیابی LLMs
• 63. تنظیم دقیق (Fine-tuning) مدل‌های LLM
• 64. روش‌های تنظیم دقیق: Supervised Fine-tuning
• 65. روش‌های تنظیم دقیق: Instruction Tuning
• 66. روش‌های تنظیم دقیق: Reinforcement Learning from Human Feedback (RLHF)
• 67. روش‌های تنظیم دقیق: Direct Preference Optimization (DPO)
• 68. مهندسی پرامپت (Prompt Engineering)
• 69. تکنیک‌های پیشرفته در مهندسی پرامپت
• 70. تولید متن خلاقانه با LLMs
• 71. تولید متن علمی و آموزشی با LLMs
• 72. کاربرد LLMs در پردازش زبان طبیعی فارسی
• 73. چالش‌های پردازش زبان فارسی با LLMs
• 74. تکنیک‌های مقابله با سوگیری (Bias) در LLMs
• 75. اخلاق در توسعه و استفاده از LLMs
• 76. امنیت در LLMs و جلوگیری از سوءاستفاده
• 77. آینده معماری‌های LLM
• 78. معماری‌های LLM و هوش مصنوعی عمومی (AGI)
• 79. مسائل حقوقی و مالکیت فکری در LLMs
• 80. مدیریت و استقرار LLMs در مقیاس بزرگ
• 81. هزینه‌های آموزش و اجرای LLMs
• 82. ملاحظات زیست‌محیطی در LLMs
• 83. معماری‌های LLM و محاسبات ابری
• 84. معماری‌های LLM و سخت‌افزارهای تخصصی
• 85. پردازش زبان طبیعی مبتنی بر قوانین در مقابل LLMs
• 86. یادگیری انتقالی (Transfer Learning) در LLMs
• 87. یادگیری چندوظیفه‌ای (Multi-task Learning) در LLMs
• 88. یادگیری فدرال (Federated Learning) در LLMs
• 89. معماری‌های LLM با حافظه بلندمدت
• 90. معماری‌های LLM برای وظایف زمان‌بندی شده
• 91. معماری‌های LLM برای تعاملات مکالمه‌ای
• 92. قابلیت توضیح‌پذیری (Explainability) در LLMs
• 93. تحلیل و مقایسه معماری‌های LLM در عمل
• 94. انتخاب معماری مناسب LLM برای کاربرد خاص
• 95. ملاحظات امنیتی در پیاده‌سازی LLMs
• 96. نظارت و کنترل خروجی LLMs
• 97. مدل‌های زبانی کوچک (SLMs) و کاربردهای آن‌ها
• 98. ملاحظات اقتصادی در استفاده از LLMs
• 99. آینده پژوهش در معماری‌های LLM