فلش‌کارت‌های آموزشی استخراج داده از وب: طراحی خزنده و اسکریپر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استخراج داده از وب: طراحی خزنده و اسکریپر

موضوع کلی: برنامه‌نویسی و توسعه وب

موضوع میانی: توسعه بک‌اند و تحلیل داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر استخراج داده از وب
• 2. خزنده (Crawler) در مقابل اسکریپر (Scraper): تفاوت‌ها و کاربردها
• 3. معماری یک خزنده وب
• 4. معماری یک اسکریپر وب
• 5. پروتکل HTTP: مبانی و مفاهیم کلیدی
• 6. درک ساختار صفحات HTML و CSS
• 7. کار با کتابخانه‌های HTML Parsing (Beautiful Soup, lxml)
• 8. درک و استفاده از XPath و CSS Selectors
• 9. ارسال درخواست‌های HTTP با Python (requests library)
• 10. مدیریت خطاها و استثناها در استخراج داده
• 11. کار با APIها: جایگزینی برای اسکریپینگ
• 12. احترام به فایل robots.txt
• 13. مدیریت نرخ درخواست‌ها (Rate Limiting)
• 14. شناسایی و مقابله با Anti-Scraping Techniques
• 15. استفاده از پراکسی‌ها برای پنهان کردن IP
• 16. ذخیره‌سازی داده‌های استخراج شده (CSV, JSON, Databases)
• 17. کار با داده‌های پویا (JavaScript Rendering)
• 18. استفاده از Selenium برای رندر کردن صفحات JavaScript
• 19. استفاده از Scrapy Framework برای ساخت خزنده های بزرگ
• 20. طراحی و پیاده‌سازی یک Pipeline برای پردازش داده‌ها
• 21. استفاده از Docker برای کانتینریزه کردن اسکریپرها
• 22. استقرار اسکریپرها بر روی سرور (AWS, Heroku, DigitalOcean)
• 23. مانیتورینگ و لاگینگ اسکریپرها
• 24. بهینه‌سازی عملکرد خزنده و اسکریپر
• 25. استخراج داده از صفحات با احراز هویت (Login)
• 26. استخراج داده از صفحات با کپچا (Captcha)
• 27. کار با فرم‌ها و ارسال داده به وب‌سایت‌ها
• 28. استفاده از Headless Browsers
• 29. استفاده از کتابخانه PyQuery
• 30. تست و دیباگینگ اسکریپرهای وب
• 31. نوشتن اسکریپرهای مقیاس‌پذیر
• 32. تکنیک‌های پیشرفته استخراج داده
• 33. استفاده از کتابخانه requests-html
• 34. استفاده از کتابخانه MechanicalSoup
• 35. کار با صفحات Ajax
• 36. استفاده از WebSockets برای استخراج داده
• 37. استفاده از APIهای RESTful
• 38. استفاده از GraphQL برای استخراج داده
• 39. استفاده از Crawlera برای مدیریت پراکسی‌ها
• 40. استفاده از Scrapy Splash برای رندر کردن JavaScript
• 41. استفاده از Selenium Grid برای تست موازی
• 42. آشنایی با قوانین حقوقی استخراج داده