اپلیکیشن اندرویدی فلش‌کارت آموزشی جامع مدل‌های ترنسفورمر و مدل BERT: از مبانی تا پیاده‌سازی و تنظیم دقیق

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع مدل‌های ترنسفورمر و مدل BERT: از مبانی تا پیاده‌سازی و تنظیم دقیق

موضوع کلی: هوش مصنوعی و پردازش زبان طبیعی

موضوع میانی: معماری ترنسفورمر و مدل‌های زبانی پیشرفته

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش زبان طبیعی و تکامل مدل‌های زبانی پیش از ترنسفورمر
• 2. محدودیت‌های شبکه‌های RNN و LSTM و ضرورت ظهور معماری ترنسفورمر
• 3. آشنایی با مکانیسم توجه (Attention Mechanism) و نحوه کارکرد آن
• 4. مفهوم توجه خودی (Self-Attention) و فرمولاسیون ریاضی آن
• 5. معماری توجه چندسر (Multi-Head Attention) و نقش آن در یادگیری ویژگی‌های مختلف
• 6. مکانیسم رمزگذار و رمزگشا (Encoder-Decoder) در معماری اصلی ترنسفورمر
• 7. رمزگذاری موقعیتی (Positional Encoding) برای حفظ ترتیب کلمات در توالی
• 8. نرمال‌سازی لایه (Layer Normalization) و اتصالات باقیمانده (Residual Connections) در شبکه
• 9. معرفی خانواده مدل‌های ترنسفورمر و دسته‌بندی آن‌ها (Encoder-only, Decoder-only, Encoder-Decoder)
• 10. مقدمه‌ای بر مدل BERT و فلسفه یادگیری دودمانی دوطرفه (Bidirectional)
• 11. روش‌های توکنه‌سازی مدرن شامل WordPiece و Byte-Pair Encoding در مدل BERT
• 12. پیش‌آموزش (Pre-training) مدل BERT با وظایف کلمه پوشانده شده (Masked Language Modeling)
• 13. پیش‌آموزش پیش‌بینی جمله بعدی (Next Sentence Prediction) در مدل BERT
• 14. آشنایی با کتابخانه‌های استاندارد و ابزارهای پیاده‌سازی مانند Hugging Face Transformers
• 15. بارگذاری و استفاده از مدل‌های از پیش آموزش‌دیده BERT برای وظایف مختلف
• 16. تنظیم دقیق (Fine-tuning) مدل BERT برای طبقه‌بندی متون و تحلیل احساسات
• 17. استفاده از BERT برای استخراج پاسخ و پرسش‌پاسخ (Question Answering)
• 18. وظیفه تشخیص موجودیت‌های نام‌برده (NER) با استفاده از مدل BERT
• 19. بهینه‌سازی حافظه و سرعت استنتاج مدل‌های ترنسفورمر
• 20. کوانتیزاسیون و فشرده‌سازی مدل BERT برای استقرار در محیط‌های تولیدی
• 21. پروژه عملی: پیاده‌سازی، آموزش و استقرار یک سیستم پردازش متن پیشرفته با مدل BERT