فلش‌کارت‌های آموزشی استخراج گنجینه داده‌ها از وب با R: از وب اسکرپینگ تا تحلیل متن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استخراج گنجینه داده‌ها از وب با R: از وب اسکرپینگ تا تحلیل متن

موضوع کلی: علم داده

موضوع میانی: گردآوری و آماده‌سازی داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر علم داده و اهمیت جمع‌آوری داده
• 2. مروری بر کتاب Automated Data Collection with R
• 3. مفاهیم پایه جمع‌آوری داده خودکار
• 4. چالش‌های اخلاقی و قانونی در وب اسکرپینگ
• 5. آشنایی با زبان برنامه‌نویسی R برای علم داده
• 6. نصب R و RStudio
• 7. محیط RStudio: اصول و کارکردها
• 8. کار با اشیاء در R: متغیرها، لیست‌ها، دیتافریم‌ها
• 9. عملیات پایه بر روی دیتافریم‌ها
• 10. توابع پرکاربرد در R
• 11. مقدمه‌ای بر وب اسکرپینگ
• 12. نحوه عملکرد وب و ساختار صفحات HTML
• 13. تگ‌ها، صفات و ساختار DOM
• 14. بررسی کدهای منبع (Source Code) صفحات وب
• 15. ابزارهای مرورگر برای بازرسی عناصر وب
• 16. معرفی پکیج‌های R برای وب اسکرپینگ
• 17. نصب و پیکربندی پکیج‌های `xml2` و `rvest`
• 18. اولین قدم‌ها در وب اسکرپینگ با `rvest`: خواندن صفحات وب
• 19. استخراج عناوین صفحات وب
• 20. استخراج لینک‌ها از صفحات وب
• 21. استخراج متون پاراگرافی از صفحات وب
• 22. کار با سلکتورهای CSS برای انتخاب عناصر
• 23. انتخاب عناصر با استفاده از سلکتورهای XPath
• 24. استخراج داده از جداول HTML
• 25. نحوه مدیریت صفحات وب پویا (Dynamic Web Pages)
• 26. معرفی `RSelenium` برای تعامل با صفحات پویا
• 27. نصب و پیکربندی `RSelenium`
• 28. اتصال به مرورگر با `RSelenium`
• 29. پیمایش در صفحات وب با `RSelenium`
• 30. کلیک کردن بر روی عناصر و پر کردن فرم‌ها
• 31. اسکرپینگ داده از صفحات پویای مبتنی بر جاوا اسکریپت
• 32. مدیریت خطاها و استثناها در وب اسکرپینگ
• 33. تکنیک‌های مقابله با محدودیت‌های وب‌سایت‌ها (Rate Limiting)
• 34. استفاده از User Agents برای شبیه‌سازی مرورگرهای مختلف
• 35. مدیریت کوکی‌ها در وب اسکرپینگ
• 36. اسکرپینگ داده از APIها
• 37. مقدمه‌ای بر RESTful APIها
• 38. نحوه کار با APIهای مبتنی بر JSON
• 39. استفاده از پکیج `jsonlite` برای کار با JSON
• 40. ارسال درخواست‌های HTTP با پکیج `httr`
• 41. احراز هویت در APIها (API Keys, OAuth)
• 42. اسکرپینگ داده از پایگاه‌های داده
• 43. مقدمه‌ای بر پایگاه‌های داده رابطه‌ای
• 44. اتصال R به پایگاه‌های داده با پکیج `DBI`
• 45. کار با پکیج `RPostgres` یا `RSQLite`
• 46. استخراج داده از پایگاه‌های داده SQL
• 47. ذخیره سازی داده‌های اسکرپ شده
• 48. فرمت‌های رایج ذخیره سازی داده (CSV, JSON, RDS)
• 49. نوشتن داده‌ها به فایل CSV با `write.csv`
• 50. ذخیره سازی داده‌ها با فرمت JSON
• 51. ذخیره سازی اشیاء R با فرمت RDS
• 52. مرتب‌سازی و پاکسازی داده‌های خام
• 53. بررسی اولیه ساختار داده‌های جمع‌آوری شده
• 54. مدیریت مقادیر گم شده (Missing Values)
• 55. انتقال داده‌ها (Data Transformation)
• 56. یکسان‌سازی داده‌ها (Data Normalization)
• 57. استفاده از پکیج `dplyr` برای دستکاری داده‌ها
• 58. فیلتر کردن داده‌ها
• 59. انتخاب ستون‌های مورد نظر
• 60. مرتب‌سازی داده‌ها
• 61. تولید ستون‌های جدید
• 62. تجمع داده‌ها (Summarizing Data)
• 63. پیوستن دیتافریم‌ها (Joining DataFrames)
• 64. کار با پکیج `tidyr` برای مرتب‌سازی داده‌ها
• 65. بازسازی (Reshaping) داده‌ها
• 66. تنظیم داده‌ها (Tidying Data)
• 67. مقدمه‌ای بر تحلیل متن (Text Mining)
• 68. فرآیند کلی تحلیل متن
• 69. مقدمه‌ای بر پکیج `tm` برای تحلیل متن
• 70. ایجاد یک Corpus (مجموعه متنی)
• 71. پاکسازی اولیه متون (حذف علائم نگارشی، اعداد، فاصله‌های اضافی)
• 72. تبدیل به حروف کوچک (Lowercasing)
• 73. حذف کلمات متوقف (Stop Words)
• 74. ریشه‌یابی کلمات (Stemming)
• 75. لِماتیزاسیون (Lemmatization) (اگرچه در `tm` کمتر رایج است)
• 76. ایجاد ماتریس واژگان-سند (Term-Document Matrix - TDM)
• 77. ایجاد ماتریس سند-واژگان (Document-Term Matrix - DTM)
• 78. فیلتر کردن واژگان بر اساس فراوانی
• 79. تحلیل فراوانی واژگان
• 80. یافتن پرتکرارترین کلمات
• 81. رسم نمودار واژگان پرتکرار
• 82. تحلیل احساسات (Sentiment Analysis)
• 83. مقدمه‌ای بر تحلیل احساسات
• 84. استفاده از دیکشنری‌های احساسات
• 85. کار با پکیج‌هایی مانند `syuzhet`
• 86. استخراج ویژگی‌های متنی برای مدل‌سازی
• 87. N-grams (بی‌گرام، تری‌گرام)
• 88. TF-IDF (Term Frequency-Inverse Document Frequency)
• 89. مقدمه‌ای بر مدل‌سازی موضوعی (Topic Modeling)
• 90. الگوریتم LDA (Latent Dirichlet Allocation)
• 91. استفاده از پکیج `topicmodels`
• 92. تفسیر نتایج مدل‌سازی موضوعی
• 93. تجسم نتایج تحلیل متن
• 94. رسم ابر کلمات (Word Clouds)
• 95. تجسم شبکه‌های واژگان
• 96. ساخت مدل‌های پیش‌بینی ساده با داده‌های متنی
• 97. مقدمه‌ای بر یادگیری ماشین با داده‌های متنی
• 98. بررسی انواغ مدل‌های یادگیری ماشین
• 99. مقدمه‌ای بر ارزیابی مدل‌ها
• 100. جمع‌بندی و نگاه به آینده