فلش‌کارت‌های آموزشی استخراج، ساختاربندی و تطبیق داده‌های بزرگ با پایتون و اسپارک

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استخراج، ساختاربندی و تطبیق داده‌های بزرگ با پایتون و اسپارک

موضوع کلی: علم داده و هوش مصنوعی

موضوع میانی: پردازش و تحلیل داده‌های حجیم

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر علم داده و تحلیل داده‌های بزرگ
• 2. محیط توسعه و ابزارهای مورد نیاز
• 3. آشنایی با زبان پایتون برای علم داده
• 4. مفاهیم پایه اسپارک
• 5. معماری اسپارک و اجزای آن
• 6. نصب و پیکربندی اسپارک
• 7. مقدمه‌ای بر RDD ها در اسپارک
• 8. عملیات روی RDD ها
• 9. تبدیل‌ها و کنش‌های RDD
• 10. ساختار داده DataFrame در اسپارک
• 11. عملیات روی DataFrame ها
• 12. ساختار داده Dataset در اسپارک
• 13. تفاوت بین RDD، DataFrame و Dataset
• 14. مقدمه‌ای بر استخراج داده
• 15. روش‌های مختلف استخراج داده
• 16. استخراج داده از منابع ساختاریافته
• 17. استخراج داده از منابع نیمه‌ساختاریافته
• 18. استخراج داده از منابع بدون ساختار
• 19. تکنیک‌های پیشرفته استخراج متن
• 20. کاربرد کتابخانه‌های پایتون در استخراج داده
• 21. کتابخانه Beautiful Soup برای وب اسکرپینگ
• 22. کتابخانه Scrapy برای استخراج مقیاس‌پذیر
• 23. استخراج داده از پایگاه‌های داده
• 24. استخراج داده از فایل‌های XML و JSON
• 25. استخراج داده از API ها
• 26. پاکسازی و پیش‌پردازش داده‌های استخراج شده
• 27. مدیریت داده‌های گمشده
• 28. شناسایی و حذف داده‌های پرت
• 29. استانداردسازی و نرمال‌سازی داده‌ها
• 30. تبدیل انواع داده‌ها
• 31. مقدمه‌ای بر ساختاربندی داده
• 32. اهمیت ساختاربندی داده‌ها
• 33. روش‌های مختلف ساختاربندی داده
• 34. استفاده از الگوها برای ساختاربندی داده
• 35. استخراج اطلاعات کلیدی از متن
• 36. مدل‌سازی موضوعی (Topic Modeling)
• 37. تکنیک‌های استخراج موجودیت نام‌دار (NER)
• 38. استخراج روابط بین موجودیت‌ها
• 39. ساختاردهی داده‌های متنی به فرمت‌های مشخص
• 40. کاربرد کتابخانه‌های پایتون در ساختاربندی داده
• 41. پردازش زبان طبیعی (NLP) با NLTK
• 42. پردازش زبان طبیعی (NLP) با spaCy
• 43. استفاده از Regex برای استخراج و ساختاربندی
• 44. ساختاردهی داده‌های جدولی
• 45. ساختاردهی داده‌های مکانی
• 46. مقدمه‌ای بر تطبیق داده‌ها
• 47. چالش‌های تطبیق داده‌ها
• 48. مفاهیم تطبیق رکوردهای مشابه
• 49. تکنیک‌های تطبیق رکوردهای مبتنی بر قاعده
• 50. تکنیک‌های تطبیق رکوردهای مبتنی بر یادگیری ماشین
• 51. محاسبه شباهت بین رشته‌ها
• 52. فاصله لونشتاین و معیارهای دیگر
• 53. استفاده از هش برای تطبیق سریعتر
• 54. فیلترینگ و خوشه‌بندی برای کاهش مقایسه
• 55. تطبیق داده‌ها در اسپارک
• 56. استفاده از DataFrame برای تطبیق
• 57. استفاده از UDF ها برای تطبیق سفارشی
• 58. کاربرد کتابخانه‌های پایتون در تطبیق داده‌ها
• 59. کتابخانه FuzzyWuzzy برای تطبیق تقریبی
• 60. کتابخانه RecordLinkage
• 61. طراحی پایپ‌لاین استخراج، ساختاربندی و تطبیق
• 62. پیاده‌سازی پایپ‌لاین با پایتون و اسپارک
• 63. بهینه‌سازی عملکرد پایپ‌لاین
• 64. مدیریت خطا و لاگ‌گیری در پایپ‌لاین
• 65. ارزیابی کیفیت داده‌های استخراج شده و تطبیق یافته
• 66. معیارهای ارزیابی تطبیق داده‌ها
• 67. مطالعه موردی: تطبیق سوابق مشتریان
• 68. مطالعه موردی: استخراج و ساختاربندی اطلاعات محصولات
• 69. مطالعه موردی: پاکسازی و یکپارچه‌سازی داده‌های علمی
• 70. مقدمه‌ای بر یادگیری ماشین در علم داده
• 71. انواع یادگیری ماشین (نظارت شده، بدون نظارت)
• 72. آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین
• 73. مهندسی ویژگی (Feature Engineering)
• 74. ارزیابی مدل‌های یادگیری ماشین
• 75. مقدمه‌ای بر یادگیری عمیق
• 76. شبکه‌های عصبی کانولوشنی (CNN)
• 77. شبکه‌های عصبی بازگشتی (RNN)
• 78. کاربردهای یادگیری عمیق در پردازش زبان طبیعی
• 79. کاربردهای یادگیری عمیق در بینایی ماشین
• 80. امنیت داده‌ها و حریم خصوصی
• 81. اصول حفاظت از داده‌ها
• 82. قوانین و مقررات مرتبط با داده‌ها در ایران
• 83. اخلاق در علم داده
• 84. مسئولیت‌پذیری در تحلیل داده‌ها
• 85. آینده علم داده و هوش مصنوعی
• 86. روندهای نوظهور در تحلیل داده‌های بزرگ
• 87. کاربرد هوش مصنوعی در حوزه‌های مختلف
• 88. ملاحظات اخلاقی و اجتماعی هوش مصنوعی
• 89. درس نهایی و جمع‌بندی
• 90. مرور مفاهیم کلیدی
• 91. منابع بیشتر برای مطالعه
• 92. تمرین‌های عملی پیشرفته
• 93. پروژه نهایی
• 94. ارائه پروژه‌ها
• 95. بازخورد و پرسش و پاسخ
• 96. گواهینامه پایان دوره