فلش‌کارت‌های آموزشی مبانی LLMها برای توسعه‌دهندگان نرم‌افزار

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی LLMها برای توسعه‌دهندگان نرم‌افزار

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ (LLMs) - مفاهیم و اصول**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هوش مصنوعی و پردازش زبان طبیعی
• 2. تاریخچهٔ مدل‌های زبانی و تکامل آنها
• 3. تفاوت بین هوش مصنوعی، یادگیری ماشین و یادگیری عمیق
• 4. معماری شبکه‌های عصبی برای پردازش زبان
• 5. معرفی مدل‌های زبانی بزرگ (LLMs)
• 6. تاریخچه و تکامل LLMها از GPT تا مدل‌های مدرن
• 7. معماری ترنسفورمر: پایه و اساس LLMها
• 8. مکانیزم توجه (Attention Mechanism) در عمق
• 9. خودتوجه (Self-Attention) و محاسبات داخلی آن
• 10. کدنگاری تعبیری (Tokenization) در LLMها
• 11. الگوریتم‌های tokenization: BPE، WordPiece و سایر روش‌ها
• 12. واژگان مدل (Vocabulary) و مدیریت آن
• 13. پیش‌آموزش (Pre-training) مدل‌های زبانی
• 14. داده‌های آموزشی LLMها: منابع، فیلترینگ و پردازش
• 15. یادگیری خودنظارتی (Self-Supervised Learning) در LLMها
• 16. هدف آموزشی: پیش‌بینی کلمه بعدی (Next Token Prediction)
• 17. مقیاس‌پذیری (Scaling Laws) در مدل‌های زبانی
• 18. پارامترهای مدل: ابعاد، لایه‌ها و تعادل عملکرد
• 19. معرفی مدل‌های بزرگ: GPT، BERT، LLaMA و غيره
• 20. تفاوت مدل‌های انکودر-تنها و دکودر-تنها و ترکیبی
• 21. مدل‌های دکودر-تنها و کاربردشان در تولید متن
• 22. مدل‌های انکودر-تنها و کاربردشان در درک زبان
• 23. الگوریتم‌های بهینه‌سازی: Adam، AdamW و Learning Rate
• 24. تابع هزینه و Cross-Entropy در آموزش LLMها
• 25. نرخ یادگیری (Learning Rate) و برنامه‌ریزی آن
• 26. پس‌انداز (Checkpointing) و مدیریت آموزش
• 27. دستگاه‌های محاسباتی و GPU برای آموزش LLM
• 28. توزیع‌پذیری آموزش مدل‌های زبانی بزرگ
• 29. دقت مخلوط (Mixed Precision) و بهینه‌سازی حافظه
• 30. تکنیک‌های کاهش حافظه در آموزش LLM
• 31. پیش‌آموزش پس از (Fine-tuning): مفهوم و روش
• 32. LoRA و QLoRA: آموزش مؤثر پارامتری
• 33. تکنیک‌های Adapter و تغییرپذیری مدل
• 34. روش‌های RLHF و آموزش با بازخورد انسانی
• 35. DPO و روش‌های مستقیم انطباق مدل
• 36. تنظیم دقیق مدل برای کاربردهای تخصصی
• 37. Prompt Engineering: طراحی دستورالعمل‌های مؤثر
• 38. زنجیرهٔ تفکر (Chain-of-Thought) و تقویت استدلال
• 39. درهم‌سازی داده (Data Augmentation) برای پرامپت
• 40. RAG: بازیابی افزوده تولید
• 41. ساختار پایه RAG و مکانیزم کارکرد آن
• 42. فهرست برداری (Vector Indexing) و پایگاه‌های داده برای RAG
• 43. ارزیابی و اندازه‌گیری عملکرد LLMها
• 44. معیارهای BLEU، ROUGE و Perplexity
• 45. ارزیابی انسانی و مبتنی بر مدل
• 46. هالوسیناسیون در LLMها: علل و راهکارها
• 47. واکنش به الگوهای سمی و تعصب در خروجی مدل
• 48. فیلتر و ایمنی خروجی LLMها
• 49. مدیریت بلوک کردن (Guardrails) در تولید محتوا
• 50. استقرار مدل‌های LLM روی سرورها
• 51. API‌سازی مدل‌های زبانی با FastAPI و Flask
• 52. مدیریت خط لوله پردازش درخواست (Inference Pipeline)
• 53. سرعت نتیجه‌گیری (Inference Speed) و بهینه‌سازی آن
• 54. کوانتیزاسیون مدل‌ها: INT8، INT4 و GGUF
• 55. استقرار مدل با vLLM و TensorRT-LLM
• 56. مدیریت حافظه و کش در زمان اجرا
• 57. پردازش دفعه‌ای (Batching) و مدیریت درخواست‌های همزمان
• 58. LLMها در توسعه نرم‌افزار: کدنویسی و دیباگ
• 59. ابزارهای تولید کد با LLM و یکپارچه‌سازی با IDE
• 60. تولید تست‌های خودکار با استفاده از LLM
• 61. تحلیل و مرور کد (Code Review) با مدل‌های زبانی
• 62. LLMها در ساخت چت‌بات و دستیارهای هوشمند
• 63. طراحی گفتگوچندمه (Dialogue Management) با LLM
• 64. مدیریت حافظه مکالمه و بافت زمانی
• 65. استخراج اطلاعات و تحلیل سند با LLM
• 66. خلاصه‌سازی خودکار متون طولانی
• 67. ترجمهٔ ماشین و تطبیق زبانی با LLM
• 68. تحلیل احساسات و دسته‌بندی متن
• 69. LLMها در بازیابی اطلاعات و جستجو
• 70. دسته‌بندی و تگ‌گذاری خودکار محتوا
• 71. بومی‌سازی و تعدیل زبانی LLMها
• 72. آموزش LLMها روی داده‌های فارسی و چالش‌های آن
• 73. مدیریت داده‌های آموزشی چندزبانه
• 74. اخلاق و مسئولیت اجتماعی در توسعه LLM
• 75. حریم خصوصی و امنیت داده در مدل‌های زبانی
• 76. قوانین و مقررات مربوط به هوش مصنوعی
• 77. آیندهٔ LLMها و روندهای نوظهور
• 78. مدل‌های دوجمله‌ای و چندماژولی
• 79. مدل‌های عامل هوش مصنوعی (Foundation Models)
• 80. پروژهٔ عملی: ساخت دستیار هوشمند از صفر