فلش‌کارت‌های آموزشی آماده‌سازی داده‌های متنی: از خام تا قابل فهم برای مدل‌های زبانی بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آماده‌سازی داده‌های متنی: از خام تا قابل فهم برای مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: روش‌های پیش‌پردازش داده‌های متنی

📋 سرفصل‌های دوره

• 1. مفهوم دادهٔ متنی خام و چالش‌های آن
• 2. نقش پیش‌پردازش در عملکرد مدل‌های زبانی
• 3. انواع منابع دادهٔ متنی
• 4. استخراج داده از وب (Web Scraping)
• 5. استخراج داده از PDF و اسناد اسکن‌شده
• 6. استخراج داده از پایگاه‌های داده و APIها
• 7. تمیزکاری داده: حذف تکرارها
• 8. تشخیص و حذف داده‌های بی‌کیفیت و Spam
• 9. نرمال‌سازی کاراکترها و رمزگذاری متن
• 10. مدیریت خطوط جدید، تابلو و فاصله‌های اضافی
• 11. بازسازی متن از HTML و XML
• 12. حذف تگ‌های HTML و استخراج متن ساده
• 13. مدیریت کاراکترهای خاص و یونیکد
• 14. تشخیص و اصلاح کدینگ نادرست متن
• 15. نرمال‌سازی فارسی: یکسان‌سازی حروف
• 16. نرمال‌سازی عربی-فارسی: حذف تشدید و تبدیل حروف
• 17. بزرگ‌وکوچک‌نویسی برای انگلیسی
• 18. اصلاح غلط‌های املایی رایج در فارسی
• 19. اصلاح غلط‌های املایی رایج در انگلیسی
• 20. استفاده از ابزارهای اصلاح غلط‌گیری
• 21. جداسازی سربرگ، بدنه و انتهای سند
• 22. تشخیص و حذف مربع‌های قانونی و ذی‌نفع
• 23. حذف تبلیغات و محتوای تبلیغاتی
• 24. جداسازی متن از جدول‌ها و نمودارها
• 25. استخراج متن از جدول‌ها به ساختار مناسب
• 26. بازسازی ساختار منطقی متن از PDF
• 27. بازسازی ساختار منطقی متن از HTML
• 28. تشخیص زبان متن (Language Detection)
• 29. فیلتر زبانی: حذف متون خارج از زبان هدف
• 30. درون‌یابی متن و شناسایی بلوک‌های زبانی
• 31. تفکیک ساختار روایی: بخش‌بندی متن به بخش‌های معنایی
• 32. تفکیک ساختار روایی: شناسایی عنوان، مقدمه، نتیجه‌گیری
• 33. مفهوم توکن‌سازی و اهمیت آن در مدل‌های زبانی
• 34. توکن‌سازی سطح کاراکتر
• 35. توکن‌سازی سطح کلمه
• 36. توکن‌سازی سطح جمله و بخش‌بندی
• 37. توکن‌سازی زیرکلمه‌ای: BPE و WordPiece
• 38. توکن‌سازی زیرکلمه‌ای: SentencePiece
• 39. توکن‌سازی برای مدل‌های چندزبانه
• 40. توکن‌سازی واژگانی (BPE) برای فارسی
• 41. توکن‌سازی واژگانی (BPE) برای انگلیسی
• 42. مقایسه الگوریتم‌های توکن‌سازی و انتخاب بهینه
• 43. مدیریت توکن‌های ناشناخته (OOV)
• 44. ساخت واژنامه‌سازی سفارشی (Custom Vocabulary)
• 45. ساخت واژنامه از دادهٔ خاص حوزه
• 46. کاهش ابعاد واژه: ریشه‌یابی و ستون‌زایی
• 47. ریشه‌یابی برای فارسی
• 48. ریشه‌یابی برای انگلیسی
• 49. لمرمایشنگرها و کیفیت خروجی آن‌ها
• 50. حذف کلمات توقف و بحث لزوم آن
• 51. تحلیل تأثیر حذف کلمات توقف بر مدل‌های زبانی
• 52. نرمال‌سازی اعداد و واحدها
• 53. تبدیل اعداد به متن یا برعکس
• 54. استانداردسازی فرمت‌های تاریخ و زمان
• 55. استانداردسازی نام‌ها و اصطلاحات تخصصی
• 56. مدیریت لینک‌ها و URLها در متن
• 57. استخراج یا حذف لینک‌ها بر اساس نیاز
• 58. مدیریت ارجاعات و نقل‌قول‌ها
• 59. حذف یا حفظ منابع و استنادها
• 60. نرمال‌سازی اختصارات و علامت‌گذاری‌ها
• 61. گسترش اختصارات به فرم کامل
• 62. مدیریت ایموجی و ایموتیکون‌ها
• 63. تبدیل ایموجی به متن یا حذف آن‌ها
• 64. پاکسازی متون شبکه‌های اجتماعی
• 65. مدیریت هشتگ، اتاق‌نامه و منشن
• 66. مدیریت متون چت و پیامک
• 67. نرمال‌سازی غلط‌نویسی‌های شبکه‌ای
• 68. پاکسازی متون قانونی و حقوقی
• 69. پاکسازی متون پزشکی و علمی
• 70. پاکسازی متون مالی و اقتصادی
• 71. پاکسازی متون تاریخی و کلاسیک
• 72. مدیریت داده‌های دوطرفه و چندزبانه
• 73. ترجمه خودکار یا همسان‌سازی زبانی
• 74. اطمینان از یکپارچگی زبانی در مجموعه داده
• 75. شناسایی و حذف محتوای حساس و حریم خصوصی (PII)
• 76. استفاده از NER برای شناسایی اطلاعات شخصی
• 77. ماسک‌کاری و جایگزینی داده‌های حساس
• 78. بررسی حقوق مالکیت و مجوز استفاده از داده
• 79. استناد‌دهی و مدیریت منابع داده
• 80. بررسی کیفیت داده: کامل بودن و یکپارچگی
• 81. شناسایی داده‌های ناقص و مدیریت آن‌ها
• 82. بررسی تعادل کلاس‌ها و توزیع داده
• 83. شناسایی سوگیری (Bias) در دادهٔ متنی
• 84. روش‌های کاهش سوگیری در مجموعه داده
• 85. افزایش داده (Data Augmentation) برای متن
• 86. پارافریز و تغییر ساختار جمله
• 87. جایگزینی واژگان و جملات متقابل
• 88. ترکیب و تقسیم جملات برای تنوع
• 89. اعتبارسنجی داده و بررسی خطاهای ساختاری
• 90. تست و بازرسی کیفیت دستی و خودکار
• 91. مستندسازی فرآیند پیش‌پردازش
• 92. بازتولیدپذیری و کنترل نسخه فرآیندها
• 93. پایپ‌لاین پیش‌پردازش خودکار با Python
• 94. پایپ‌لاین پیش‌پردازش با ابزارهای اختصاصی LLM
• 95. پیش‌پردازش برای فرمت‌های ورودی مدل (Prompt Engineering)
• 96. ساخت دیتاست برای Fine-tuning
• 97. فرمت‌بندی خروجی پیش‌پردازش‌شده برای آموزش
• 98. بهینه‌سازی حافظه و سرعت پردازش دادهٔ بزرگ
• 99. اعتبارسنجی نهایی مجموعه داده قبل از آموزش