کتاب صوتی پیاده‌سازی و سفارشی‌سازی ترنسفورمرها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی و سفارشی‌سازی ترنسفورمرها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. معرفی شبکه‌های عصبی ترنسفورمر
• 2. مشخصات نظری مدل‌های ترنسفورمر
• 3. مکانیزم توجه (Self-Attention)
• 4. ساختار ورودی و پردازش متن
• 5. طبقات Encoder و Decoder
• 6. آرایش پنهان (Positional Encoding)
• 7. محاسبه توجه ذاتی (Self-Attention Calculation)
• 8. آموزش با نمونه‌های متقاطع (Masked Language Modeling)
• 9. تنظیم پارامترهای وزن‌ها
• 10. سفارشی‌سازی ساختاری ترنسفورمر
• 11. سفارشی‌سازی روی داده‌های خاص
• 12. فن‌آوری آموزش مختصر (Fine-Tuning)
• 13. آموزش با نمونه‌های زیرمجموعه (Domain Adaptation)
• 14. تنظیم دقت (Quantization) در پیاده‌سازی
• 15. بهینه‌سازی سخت‌افزاری پردازنده‌ها
• 16. اجرای ترنسفورمرها روی CPU
• 17. استفاده از کتابخانه PyTorch برای پیاده‌سازی
• 18. پیاده‌سازی معماری محور (Llama, BERT)
• 19. مدیریت حافظه در مدل‌های بزرگ
• 20. توابع فقدانی و بازسازی جواب
• 21. ارزیابی عملکرد مدل‌های ترنسفورمر
• 22. تشخیص باورهای غلط
• 23. افزایش دقت با تقسیم‌بندی کاربرد
• 24. سفارشی‌سازی طول ورودی
• 25. پردازش زبان چندزبانه
• 26. مقایسه‌ی مدل‌های مختلف (BERT vs GPT)
• 27. ترکیب ترنسفورمرها با شبکه‌های متعادل‌انتقال
• 28. مدیریت جریان داده در پردازشخطی
• 29. تست و اعتبارسنجی مدل‌های ترنسفورمر
• 30. بهینه‌سازی زمان پردازش
• 31. بهینه‌سازی حافظه در مدل‌های بزرگ
• 32. جمع‌آوری و فیلتر کردن داده‌ها برای آموزش
• 33. تنظیم وزن‌های اولیه (Pre-training)
• 34. تحلیل گرادیان و مشکل انحلال (Degeneration)
• 35. راهکارهای روشن‌سازی مدل‌ها
• 36. مدیریت اسکالینگ در اجرا
• 37. بهینه‌سازی ذخیره‌سازی مدل
• 38. استقرار مدل در محیط‌های واقعی
• 39. نظارت و کنترل مدل در محیط‌های رسمی
• 40. امنیت مدل‌های ترنسفورمر
• 41. آموزش مدل‌های ترنسفورمر با داده‌های نادرست
• 42. مهندسی معماری ترنسفورمر برای سرعت
• 43. استفاده از موارد کم‌حجم (Distillation)
• 44. مقایسه‌ی فرمت‌ها (LoRA, QLoRA)
• 45. آینده و روندهای ترنسفورمرها