کتاب آمادهسازی دادههای متنی: از خام تا قابل فهم برای مدلهای زبانی بزرگ با فرمت AZW3 برای کتابخوان کیندل و فرمت EPUB
🎓 دوره آموزشی جامع
📚 اطلاعات دوره
عنوان دوره: دوره آمادهسازی دادههای متنی: از خام تا قابل فهم برای مدلهای زبانی بزرگ
موضوع کلی: هوش مصنوعی و مدلهای زبانی بزرگ
موضوع میانی: روش‌های پیش‌پردازش دادههای متنی
📋 سرفصل‌های دوره
- 1. مفهوم دادهٔ متنی خام و چالش‌های آن
- 2. نقش پیش‌پردازش در عملکرد مدلهای زبانی
- 3. انواع منابع دادهٔ متنی
- 4. استخراج داده از وب (Web Scraping)
- 5. استخراج داده از PDF و اسناد اسکن‌شده
- 6. استخراج داده از پایگاه‌های داده و APIها
- 7. تمیزکاری داده: حذف تکرارها
- 8. تشخیص و حذف دادههای بی‌کیفیت و Spam
- 9. نرمال‌سازی کاراکترها و رمزگذاری متن
- 10. مدیریت خطوط جدید، تابلو و فاصله‌های اضافی
- 11. بازسازی متن از HTML و XML
- 12. حذف تگ‌های HTML و استخراج متن ساده
- 13. مدیریت کاراکترهای خاص و یونیکد
- 14. تشخیص و اصلاح کدینگ نادرست متن
- 15. نرمال‌سازی فارسی: یکسان‌سازی حروف
- 16. نرمال‌سازی عربی-فارسی: حذف تشدید و تبدیل حروف
- 17. بزرگ‌وکوچک‌نویسی برای انگلیسی
- 18. اصلاح غلط‌های املایی رایج در فارسی
- 19. اصلاح غلط‌های املایی رایج در انگلیسی
- 20. استفاده از ابزارهای اصلاح غلط‌گیری
- 21. جداسازی سربرگ، بدنه و انتهای سند
- 22. تشخیص و حذف مربع‌های قانونی و ذی‌نفع
- 23. حذف تبلیغات و محتوای تبلیغاتی
- 24. جداسازی متن از جدول‌ها و نمودارها
- 25. استخراج متن از جدول‌ها به ساختار مناسب
- 26. بازسازی ساختار منطقی متن از PDF
- 27. بازسازی ساختار منطقی متن از HTML
- 28. تشخیص زبان متن (Language Detection)
- 29. فیلتر زبانی: حذف متون خارج از زبان هدف
- 30. درون‌یابی متن و شناسایی بلوک‌های زبانی
- 31. تفکیک ساختار روایی: بخش‌بندی متن به بخش‌های معنایی
- 32. تفکیک ساختار روایی: شناسایی عنوان، مقدمه، نتیجه‌گیری
- 33. مفهوم توکن‌سازی و اهمیت آن در مدلهای زبانی
- 34. توکن‌سازی سطح کاراکتر
- 35. توکن‌سازی سطح کلمه
- 36. توکن‌سازی سطح جمله و بخش‌بندی
- 37. توکن‌سازی زیرکلمه‌ای: BPE و WordPiece
- 38. توکن‌سازی زیرکلمه‌ای: SentencePiece
- 39. توکن‌سازی برای مدلهای چندزبانه
- 40. توکن‌سازی واژگانی (BPE) برای فارسی
- 41. توکن‌سازی واژگانی (BPE) برای انگلیسی
- 42. مقایسه الگوریتم‌های توکن‌سازی و انتخاب بهینه
- 43. مدیریت توکن‌های ناشناخته (OOV)
- 44. ساخت واژنامه‌سازی سفارشی (Custom Vocabulary)
- 45. ساخت واژنامه از دادهٔ خاص حوزه
- 46. کاهش ابعاد واژه: ریشه‌یابی و ستون‌زایی
- 47. ریشه‌یابی برای فارسی
- 48. ریشه‌یابی برای انگلیسی
- 49. لمرمایشنگرها و کیفیت خروجی آن‌ها
- 50. حذف کلمات توقف و بحث لزوم آن
- 51. تحلیل تأثیر حذف کلمات توقف بر مدلهای زبانی
- 52. نرمال‌سازی اعداد و واحدها
- 53. تبدیل اعداد به متن یا برعکس
- 54. استانداردسازی فرمت‌های تاریخ و زمان
- 55. استانداردسازی نام‌ها و اصطلاحات تخصصی
- 56. مدیریت لینک‌ها و URLها در متن
- 57. استخراج یا حذف لینک‌ها بر اساس نیاز
- 58. مدیریت ارجاعات و نقل‌قول‌ها
- 59. حذف یا حفظ منابع و استنادها
- 60. نرمال‌سازی اختصارات و علامت‌گذاری‌ها
- 61. گسترش اختصارات به فرم کامل
- 62. مدیریت ایموجی و ایموتیکون‌ها
- 63. تبدیل ایموجی به متن یا حذف آن‌ها
- 64. پاکسازی متون شبکه‌های اجتماعی
- 65. مدیریت هشتگ، اتاق‌نامه و منشن
- 66. مدیریت متون چت و پیامک
- 67. نرمال‌سازی غلط‌نویسی‌های شبکه‌ای
- 68. پاکسازی متون قانونی و حقوقی
- 69. پاکسازی متون پزشکی و علمی
- 70. پاکسازی متون مالی و اقتصادی
- 71. پاکسازی متون تاریخی و کلاسیک
- 72. مدیریت دادههای دوطرفه و چندزبانه
- 73. ترجمه خودکار یا همسان‌سازی زبانی
- 74. اطمینان از یکپارچگی زبانی در مجموعه داده
- 75. شناسایی و حذف محتوای حساس و حریم خصوصی (PII)
- 76. استفاده از NER برای شناسایی اطلاعات شخصی
- 77. ماسک‌کاری و جایگزینی دادههای حساس
- 78. بررسی حقوق مالکیت و مجوز استفاده از داده
- 79. استناد‌دهی و مدیریت منابع داده
- 80. بررسی کیفیت داده: کامل بودن و یکپارچگی
- 81. شناسایی دادههای ناقص و مدیریت آن‌ها
- 82. بررسی تعادل کلاس‌ها و توزیع داده
- 83. شناسایی سوگیری (Bias) در دادهٔ متنی
- 84. روش‌های کاهش سوگیری در مجموعه داده
- 85. افزایش داده (Data Augmentation) برای متن
- 86. پارافریز و تغییر ساختار جمله
- 87. جایگزینی واژگان و جملات متقابل
- 88. ترکیب و تقسیم جملات برای تنوع
- 89. اعتبارسنجی داده و بررسی خطاهای ساختاری
- 90. تست و بازرسی کیفیت دستی و خودکار
- 91. مستندسازی فرآیند پیش‌پردازش
- 92. بازتولیدپذیری و کنترل نسخه فرآیندها
- 93. پایپ‌لاین پیش‌پردازش خودکار با Python
- 94. پایپ‌لاین پیش‌پردازش با ابزارهای اختصاصی LLM
- 95. پیش‌پردازش برای فرمت‌های ورودی مدل (Prompt Engineering)
- 96. ساخت دیتاست برای Fine-tuning
- 97. فرمت‌بندی خروجی پیش‌پردازش‌شده برای آموزش
- 98. بهینه‌سازی حافظه و سرعت پردازش دادهٔ بزرگ
- 99. اعتبارسنجی نهایی مجموعه داده قبل از آموزش
تگ‌ها:
data-augmentation
data-cleaning
data-preparation
dataset-curation
fine-tuning
large-language-models
LLM
machine-learning
NLP
NLP-pipeline
Persian-text
text-normalization
text-preprocessing
tokenization
web-scraping
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.