فلش‌کارت‌های آموزشی آموزش جامع و کاربردی استخراج داده‌های وب با فریم‌ورک Scrapy (پروژه محور)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع و کاربردی استخراج داده‌های وب با فریم‌ورک Scrapy (پروژه محور)

موضوع کلی: علوم رایانه و مهندسی نرم‌افزار

موضوع میانی: تحلیل داده و توسعه وب‌سایت‌های هوشمند

📋 سرفصل‌های دوره

• 1. مبانی و معماری فریم‌ورک اسکرپی در محیط پایتون
• 2. نصب و راه‌اندازی محیط توسعه برای استخراج داده
• 3. آشنایی با ساختار پروژه در اسکرپی
• 4. درک مفاهیم اسپایدرها و نحوه عملکرد آن‌ها
• 5. کار با ابزار کنسول اسکرپی برای تست سلکتورها
• 6. استخراج داده با استفاده از XPath در صفحات وب
• 7. استخراج داده با استفاده از CSS Selectors
• 8. مدیریت درخواست‌های HTTP در اسکرپی
• 9. درک مفهوم آیتم‌ها و ساختاردهی به داده‌های استخراج شده
• 10. استفاده از Item Loaders برای پردازش و پاک‌سازی داده‌ها
• 11. کار با فیلدهای آیتم و اعتبارسنجی داده‌ها
• 12. مدیریت لینک‌ها و پیمایش خودکار در صفحات وب
• 13. استفاده از قوانین LinkExtractor برای خزش هوشمند
• 14. ذخیره‌سازی داده‌ها در فرمت‌های JSON و CSV
• 15. آشنایی با خط لوله داده‌ها یا همان Item Pipelines
• 16. نوشتن فیلترهای اختصاصی برای حذف داده‌های تکراری
• 17. ذخیره‌سازی داده‌های استخراج شده در پایگاه داده‌های رابطه‌ای
• 18. مدیریت درخواست‌های همزمان و تنظیمات Concurrency
• 19. تنظیمات Downloader Middlewares برای مدیریت هدرها
• 20. مدیریت کوکی‌ها و نشست‌های کاربری در اسکرپی
• 21. شبیه‌سازی رفتار کاربر با تنظیم User-Agent
• 22. مدیریت خطاهای شبکه و کدهای وضعیت HTTP
• 23. استفاده از اسلیپ و تاخیرهای تصادفی برای رعایت ادب در خزش
• 24. کار با پروکسی‌ها و مدیریت دسترسی‌ها در چارچوب قوانین
• 25. استفاده از Selenium در کنار اسکرپی برای صفحات پویا
• 26. استخراج داده از سایت‌های مبتنی بر جاوا اسکریپت
• 27. کار با ابزارهای بازرسی شبکه در مرورگر برای تحلیل APIها
• 28. استخراج داده از APIهای داخلی وب‌سایت‌ها
• 29. مدیریت فایل‌ها و تصاویر با استفاده از Media Pipeline
• 30. نحوه اجرای اسپایدرها در محیط‌های عملیاتی
• 31. استفاده از مدیریت وظایف برای اجرای دوره‌ای اسپایدرها
• 32. مانیتورینگ و لاگ‌گیری از فرآیند استخراج داده
• 33. امنیت در خزش و رعایت حریم خصوصی و قوانین وب‌سایت‌ها
• 34. بهینه‌سازی مصرف حافظه در خزش‌های با مقیاس بزرگ
• 35. تست واحد برای اسپایدرها و آیتم‌ها
• 36. استفاده از Scrapy Shell برای دیباگ کردن کدهای پیچیده
• 37. مدیریت استثناها در فرآیندهای خزش
• 38. پیاده‌سازی مکانیزم‌های بازیابی خودکار پس از خطا
• 39. استفاده از سیگنال‌های اسکرپی برای مدیریت رویدادها
• 40. یکپارچه‌سازی اسکرپی با فریم‌ورک‌های وب برای نمایش داده‌ها
• 41. توسعه یک پروژه جامع استخراج داده از وب‌سایت‌های خبری
• 42. توسعه یک پروژه جامع استخراج داده از دایرکتوری‌های علمی
• 43. پروژه نهایی: تحلیل و مصورسازی داده‌های استخراج شده با پانداس