فلش‌کارت‌های آموزشی آموزش جامع کرالینگ وب با پایتون و اسکرَپی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع کرالینگ وب با پایتون و اسکرَپی

موضوع کلی: استخراج داده‌های وب و کرالینگ

موضوع میانی: فریم‌ورک‌های کرالینگ پایتون

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر کرالینگ وب و تفاوت با اسکریپت‌نویسی ساده
• 2. نصب و پیکربندی محیط توسعه پایتون
• 3. آشنایی با معماری Scrapy و اجزای اصلی
• 4. ساخت اولین پروژه Scrapy: startproject و ساختار پوشه‌ها
• 5. تعریف Spiderها: کلاس‌های پایه و متد parse
• 6. استفاده از Selectors: XPath و CSS برای انتخاب داده‌ها
• 7. استخراج داده‌های ساختاریافته: Item، Field و ItemLoader
• 8. مدیریت Request و Response: callback، errback و meta
• 9. پیاده‌سازی Pagination و دنبال کردن لینک‌های بعدی
• 10. کار با FormRequest برای ارسال فرم‌ها و لاگین
• 11. مدیریت Cookies، Session و احراز هویت
• 12. استفاده از Middlewareهای Downloader و Spider
• 13. ساخت Pipelineهای پردازش داده: اعتبارسنجی، تمیزکاری، ذخیره‌سازی
• 14. ذخیره داده در JSON، CSV، XML و Excel
• 15. اتصال به پایگاه‌های داده: SQLite، PostgreSQL، MongoDB
• 16. استفاده از Item Exporter برای خروجی‌های سفارشی
• 17. مدیریت خطا و Retry_policy در Scrapy
• 18. تنظیمات Settings: CONCURRENT_REQUESTS، DOWNLOAD_DELAY، AUTOTHROTTLE
• 19. استفاده از Scrapy Shell برای تست و دیباگ سلکتورها
• 20. لاگ‌گیری و مانیتورینگ اجرا با LOG_LEVEL و Stats Collection
• 21. استفاده از Signals برای رویدادهای سفارشی
• 22. استفاده از Feed Exports برای خروجی مستقیم به فایل یا استریم
• 23. کرالینگ سایت‌های جاوااسکریپت‌محور با Splash
• 24. ادغام Scrapy با Selenium/Playwright برای رندر مرورگر
• 25. مدیریت User-Agent Rotation و Proxy Middleware
• 26. استفاده از Scrapy-Redis برای کرالینگ توزیع‌شده
• 27. پیاده‌سازی CrawlSpider و Rules برای استخراج لینک‌ها به صورت خودکار
• 28. استفاده از Link Extractor و Allow/Deny patterns
• 29. مدیریت سایت‌های با CAPTCHA و راهکارهای حل
• 30. بهینه‌سازی حافظه و CPU در کرال‌های بزرگ
• 31. استفاده از ItemAdapter برای کار با انواع Item
• 32. تست واحد و یکپارچگی Spiderها با pytest
• 33. استفاده از Contracts برای تست خودکار Spider
• 34. مدیریت تنظیمات محیطی با .env و configparser
• 35. استفاده از Scrapy Deploy (Scrapyd) برای استقرار در سرور
• 36. پیکربندی Scrapyd و API برای زمان‌بندی کرال‌ها
• 37. مانیتورینگ کرال‌ها با Scrapy Stats و Prometheus/Grafana
• 38. استفاده از Scrapy Cloud (Zyte) برای مدیریت مقیاس‌پذیر
• 39. امنیت در کرالینگ: احترام به robots.txt و Rate Limiting
• 40. پردازش داده‌های بزرگ با Scrapy و Apache Beam / Spark
• 41. استفاده از Item Pipeline برای انریچمنت داده (Geocoding، NLP)
• 42. ساخت داشبورد نتایج کرال با Django/Flask و Chart.js
• 43. استفاده از Scrapy برای استخراج داده‌های API مخفی (AJAX)
• 44. مدیریت نسخه‌بندی Spiderها با Git و CI/CD
• 45. استفاده از Docker برای کانتینرایز کردن پروژه Scrapy
• 46. تنظیمات پیشرفته: Custom Settings Per Spider
• 47. استفاده از Middleware برای فشرده‌سازی پاسخ (gzip، brotli)
• 48. کار با فایل‌های استاتیک و دانلود تصاویر/فایل‌ها (FilesPipeline، ImagesPipeline)
• 49. تبدیل داده‌های استخراج‌شده به فرمت‌های Linked Data (RDF، JSON-LD)
• 50. استفاده از Scrapy برای تحلیل SEO: استخراج متا، هدرها، Schema.org
• 51. پیاده‌سازی کرالینگ عمیق (Deep Crawl) با کنترل عمق
• 52. استفاده از Scrapy برای مانیتورینگ تغییرات محتوا (Change Detection)
• 53. بهینه‌سازی Selectorها برای عملکرد بالا
• 54. استفاده از Scrapy برای استخراج داده از APIهای GraphQL
• 55. ادغام با Elasticsearch برای جستجوی متنی داده‌های کرال‌شده
• 56. استفاده از Scrapy برای تولید دیتاست‌های یادگیری ماشین
• 57. مدیریت خطاهای شبکه: DNS، Timeout، Connection Reset
• 58. استفاده از Scrapy برای کرالینگ وب‌سایت‌های چندزبانه
• 59. استفاده از Scrapy برای استخراج داده از PDF و اسناد آفیس
• 60. استفاده از Scrapy برای کرالینگ وب‌سایت‌های تک‌صفحه‌ای (SPA) با Pre-rendering
• 61. استفاده از Scrapy برای استخراج داده‌های Real-time با WebSocket
• 62. بهینه‌سازی Pipeline برای نوشتن دسته‌ای (Bulk Insert) در دیتابیس
• 63. استفاده از Scrapy برای تست امنیتی: شناسایی فرم‌های آسیب‌پذیر
• 64. استفاده از Scrapy برای مانیتورینگ قیمت و مقایسه محصولات
• 65. استفاده از Scrapy برای استخراج داده‌های جغرافیایی و نقشه‌برداری
• 66. استفاده از Scrapy برای کرالینگ شبکه‌های اجتماعی (API عمومی)
• 67. استفاده از Scrapy برای ساخت موتور جستجوی اختصاصی