دوره طراحی و پیاده‌سازی خزنده وب سفارشی با پایتون همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خزنده وب سفارشی با پایتون

موضوع کلی: برنامه‌نویسی وب

موضوع میانی: توسعه‌ٔ سمت سرور

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر خزیدن وب: مفاهیم و کاربردها
• 2. آشنایی با پروتکل HTTP و نحوه کارکرد آن
• 3. درک ساختار HTML و DOM
• 4. نصب و راه‌اندازی پایتون و کتابخانه‌های مورد نیاز
• 5. معرفی کتابخانه Requests برای ارسال درخواست‌های HTTP
• 6. دریافت و تجزیه (parse) صفحات وب با استفاده از Requests
• 7. استفاده از کتابخانه BeautifulSoup برای استخراج اطلاعات
• 8. انتخاب عناصر HTML با استفاده از CSS Selectors
• 9. انتخاب عناصر HTML با استفاده از XPath
• 10. مدیریت خطاها و استثناها در خزیدن وب
• 11. اجتناب از مسدود شدن توسط وب‌سایت‌ها: رعایت قوانین Robots.txt
• 12. پیاده‌سازی مکانیزم تاخیر (delay) برای جلوگیری از بارگذاری بیش از حد
• 13. ذخیره داده‌های استخراج شده در فایل‌های متنی
• 14. ذخیره داده‌های استخراج شده در پایگاه داده (SQL)
• 15. ذخیره داده‌های استخراج شده در پایگاه داده (NoSQL)
• 16. استفاده از کتابخانه Scrapy: مقدمه و مفاهیم کلیدی
• 17. ساخت یک پروژه Scrapy
• 18. تعریف Spider در Scrapy
• 19. استخراج داده‌ها با استفاده از Scrapy Selectors
• 20. استخراج داده‌ها با استفاده از Scrapy XPath
• 21. ذخیره داده‌ها با استفاده از Scrapy Pipelines
• 22. مدیریت کوکی‌ها و Sessionها در Scrapy
• 23. استفاده از Middlewareها در Scrapy
• 24. پیاده‌سازی Login به وب‌سایت‌ها
• 25. خزیدن وب‌سایت‌های پویا با استفاده از Selenium
• 26. کار با JavaScript و رندرینگ صفحات
• 27. خزیدن صفحات AJAX
• 28. مدیریت و محدود کردن تعداد درخواست‌ها (Concurrency)
• 29. استفاده از Proxyها برای پنهان کردن IP
• 30. تشخیص و مقابله با CAPTCHAها
• 31. بررسی و آنالیز لاگ‌های خزنده وب
• 32. بهینه‌سازی عملکرد خزنده وب
• 33. استفاده از Multithreading و Multiprocessing برای افزایش سرعت
• 34. استفاده از Asyncio برای خزیدن وب ناهمزمان
• 35. نوشتن تست‌های واحد برای خزنده وب
• 36. استقرار (deploy) خزنده وب
• 37. مانیتورینگ و نگهداری خزنده وب
• 38. مقدمه‌ای بر Web Scraping Ethics و قوانین مربوطه
• 39. خزیدن وب به صورت توزیع شده (Distributed Crawling)
• 40. استفاده از Docker برای بسته‌بندی و استقرار
• 41. خزیدن وب‌سایت‌های با ساختار پیچیده
• 42. استفاده از کتابخانه‌های پیشرفته مانند pyppeteer
• 43. استفاده از APIهای وب به جای خزیدن (در صورت امکان)
• 44. پیاده‌سازی سیستم صف‌بندی (Queueing System)
• 45. مقابله با تغییرات ساختار وب‌سایت‌ها
• 46. خزیدن وب‌سایت‌های محافظت‌شده با سیستم‌های ضد خزنده پیشرفته