فلش‌کارت‌های آموزشی تحلیل و استخراج داده از وب با پایتون و Scrapy

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تحلیل و استخراج داده از وب با پایتون و Scrapy

موضوع کلی: علوم کامپیوتر و مهندسی نرم‌افزار

موضوع میانی: توسعه وب و پردازش داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر تحلیل و استخراج داده از وب
• 2. آشنایی با مفاهیم استخراج داده
• 3. اصول وب‌کاوی و خزش وب
• 4. معرفی Scrapy: چارچوبی قدرتمند
• 5. نصب و راه‌اندازی Scrapy
• 6. ساختار پروژه‌های Scrapy
• 7. ایجاد اولین پروژه Scrapy
• 8. شناخت اسپایدرها (Spiders)
• 9. نوشتن اسپایدرهای سفارشی
• 10. انتخابگرهای CSS و XPath
• 11. استفاده از انتخابگرهای CSS
• 12. استفاده از انتخابگرهای XPath
• 13. استخراج داده‌های ساختاریافته
• 14. انواع داده‌های قابل استخراج
• 15. کار با پاسخ‌های HTTP
• 16. مدیریت درخواست‌ها در Scrapy
• 17. تنظیمات درخواست (Request Settings)
• 18. استفاده از دیتاسیلک‌ها (DataSinks)
• 19. ذخیره‌سازی داده‌ها در فرمت‌های مختلف
• 20. CSV، JSON و XML
• 21. کار با پایگاه داده‌ها
• 22. اتصال به پایگاه داده‌های رابطه‌ای
• 23. ذخیره‌سازی در PostgreSQL
• 24. ذخیره‌سازی در SQLite
• 25. آشنایی با پایگاه داده‌های NoSQL
• 26. ذخیره‌سازی در MongoDB
• 27. استفاده از آیتم‌ها (Items) در Scrapy
• 28. تعریف فیلدهای آیتم
• 29. اعتبارسنجی آیتم‌ها
• 30. مدیریت خطا در Scrapy
• 31. اشکال‌زدایی اسپایدرها
• 32. لاگ‌گیری در Scrapy
• 33. مدیریت درخواست‌های تکراری
• 34. استفاده از میدل‌ورها (Middlewares)
• 35. نوشتن میدل‌ورهای سفارشی
• 36. میدل‌ورهای دانلود
• 37. میدل‌ورهای اسپایدر
• 38. استفاده از پایپ‌لاین‌ها (Pipelines)
• 39. نوشتن پایپ‌لاین‌های سفارشی
• 40. پردازش داده‌ها با پایپ‌لاین‌ها
• 41. فیلتر کردن داده‌ها
• 42. تبدیل داده‌ها
• 43. ترکیب داده‌ها
• 44. مدیریت کوکی‌ها و جلسات
• 45. کار با فرم‌های وب
• 46. ارسال داده به فرم‌ها
• 47. احراز هویت در وب‌سایت‌ها
• 48. استفاده از پراکسی‌ها
• 49. تغییر User-Agent
• 50. کار با JavaScript در وب‌کاوی
• 51. استفاده از Splash یا Selenium
• 52. مقدمه‌ای بر پردازش داده‌های بزرگ
• 53. مفاهیم کلیدی پردازش داده
• 54. معماری‌های پردازش داده
• 55. معرفی Apache Spark
• 56. نصب و راه‌اندازی Spark
• 57. مبانی Spark Core
• 58. RDDها در Spark
• 59. عملیات تبدیل و اکشن در RDDها
• 60. DataFrameها در Spark
• 61. تفاوت RDD و DataFrame
• 62. پرس‌وجو بر روی DataFrameها
• 63. Spark SQL
• 64. آشنایی با Spark Streaming
• 65. پردازش داده‌های جریانی
• 66. کار با Kafka
• 67. انتگرال‌گیری Scrapy با Spark
• 68. انتقال داده از Scrapy به Spark
• 69. پردازش داده‌های استخراج شده با Spark
• 70. تحلیل آماری داده‌ها
• 71. مصورسازی داده‌ها
• 72. مفاهیم یادگیری ماشین
• 73. کاربرد یادگیری ماشین در تحلیل داده
• 74. مقدمه‌ای بر یادگیری ماشین با Scikit-learn
• 75. آموزش مدل‌های ساده
• 76. ارزیابی مدل‌ها
• 77. مقدمه‌ای بر شبکه‌های عصبی
• 78. کاربرد شبکه‌های عصبی در استخراج داده
• 79. آموزش مدل‌های پیشرفته
• 80. طراحی معماری‌های یادگیری عمیق
• 81. مباحث پیشرفته در وب‌کاوی
• 82. خزش وب در مقیاس بزرگ
• 83. مدیریت منابع در خزش گسترده
• 84. بهینه‌سازی عملکرد اسپایدرها
• 85. استفاده از ابزارهای مانیتورینگ
• 86. مسائل اخلاقی در وب‌کاوی
• 87. حفظ حریم خصوصی داده‌ها
• 88. قوانین مربوط به جمع‌آوری داده
• 89. مسئولیت‌پذیری در استخراج داده
• 90. امنیت در فرآیند استخراج داده
• 91. پروتکل‌های امنیتی در انتقال داده
• 92. ملاحظات قانونی و شرعی در جمع‌آوری داده
• 93. استفاده از داده‌ها در چارچوب ضوابط
• 94. حفاظت از داده‌های حساس
• 95. حریم خصوصی کاربران در جمع‌آوری داده
• 96. نکات تکمیلی در توسعه وب‌کاوی
• 97. به‌روزرسانی اسپایدرها
• 98. مدیریت تغییرات ساختار وب‌سایت
• 99. معرفی ابزارهای کمکی
• 100. نکات حرفه‌ای در Scrapy