فلش‌کارت‌های آموزشی داده‌کاوی و آماده‌سازی برای آموزش پیش‌زمینه مدل‌های زبانی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره داده‌کاوی و آماده‌سازی برای آموزش پیش‌زمینه مدل‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: آموزش پیش‌زمینه (Pre-training) LLMs

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر آموزش پیش‌زمینه مدل‌های زبانی بزرگ
• 2. اهمیت داده در آموزش LLMها
• 3. منابع داده برای آموزش پیش‌زمینه
• 4. خزش وب (Web Crawling) برای جمع‌آوری داده
• 5. APIهای جمع‌آوری داده و محدودیت‌ها
• 6. مجموعه‌های داده عمومی و اختصاصی
• 7. لایسنس‌های داده و ملاحظات حقوقی
• 8. شناسایی و حذف داده‌های تکراری
• 9. پاکسازی متن: حذف HTML، XML و نشانه‌گذاری‌ها
• 10. نرمال‌سازی متن: یکسان‌سازی فرمت‌ها
• 11. حذف کاراکترهای غیرضروری و نویز
• 12. تصحیح املایی و نگارشی
• 13. توکنایزرها: مبانی و انواع
• 14. روش‌های توکنایز کردن متن فارسی
• 15. مدیریت واژگان نامشخص (OOV)
• 16. برچسب‌گذاری نقش کلمات (POS Tagging)
• 17. تشخیص موجودیت‌های نام‌دار (NER)
• 18. حذف اطلاعات شخصی (PII) و حفظ حریم خصوصی
• 19. متعادل‌سازی داده‌ها: مقابله با بایاس
• 20. تولید داده‌های مصنوعی (Data Augmentation)
• 21. روش‌های تولید داده‌های مصنوعی برای متن
• 22. ارزیابی کیفیت داده‌ها
• 23. معیارهای ارزیابی کیفیت داده متنی
• 24. ابزارهای ارزیابی کیفیت داده
• 25. پیش‌پردازش داده‌ها برای مدل‌های ترانسفورمر
• 26. تبدیل متن به فرمت مناسب برای مدل
• 27. ایجاد Vocabulary و Embedding
• 28. مدیریت حافظه و بهینه‌سازی داده‌ها
• 29. فرمت‌های ذخیره‌سازی داده (JSONL, Parquet)
• 30. آماده‌سازی داده برای آموزش توزیع‌شده
• 31. استفاده از ابزارهای Big Data (Spark, Hadoop)
• 32. کنترل نسخه داده‌ها (Data Versioning)
• 33. خط لوله (Pipeline) آماده‌سازی داده
• 34. اتوماسیون فرآیند آماده‌سازی داده
• 35. مستندسازی فرآیند آماده‌سازی داده
• 36. بهینه‌سازی داده‌ها برای سرعت آموزش
• 37. فشرده‌سازی داده‌ها
• 38. انتخاب زیرمجموعه داده (Data Subset Selection)
• 39. استراتژی‌های نمونه‌برداری از داده‌ها