فلش‌کارت‌های آموزشی پروژه‌محور: ساخت یک اسکرپر وب هوشمند

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پروژه‌محور: ساخت یک اسکرپر وب هوشمند

موضوع کلی: برنامه نویسی

موضوع میانی: پایتون (Python)

📋 سرفصل‌های دوره

• 1. پروژه‌محور: ساخت یک اسکرپر وب هوشمند
• 2. مقدمه‌ای بر اسکرپینگ وب و کاربردهای آن
• 3. بررسی مفاهیم HTML و DOM برای استخراج داده
• 4. معرفی ابزارهای اصلی اسکرپینگ: BeautifulSoup و Scrapy
• 5. نصب و راه‌اندازی محیط برنامه‌نویسی پایتون
• 6. درک ساختار درخواست HTTP و پاسخ سرور
• 7. ارسال درخواست GET ساده با کتابخانه requests
• 8. مدیریت هدرها و کوکی‌ها برای شبیه‌سازی مرورگر
• 9. پارسی کردن HTML با BeautifulSoup و یافتن المان‌ها
• 10. استخراج متن، لینک و ویژگی‌های تگ‌ها با سلکتورهای CSS
• 11. استفاده از متدهای find و find_all برای جستجوی دقیق
• 12. کار با عبارات با قاعده (Regex) برای پالایش داده
• 13. مدیریت خطاهای رایج: خطای ۴۰۴ و قطع ارتباط
• 14. افزودن تاخیر و مدیریت Rate Limiting
• 15. ذخیره‌سازی داده‌های استخراج شده در فایل CSV
• 16. ذخیره‌سازی داده‌ها در فایل JSON
• 17. ذخیره‌سازی داده‌ها در پایگاه داده SQLite
• 18. پیاده‌سازی یک اسکرپر ساده برای استخراج عناوین اخبار
• 19. رسیدگی به صفحات پویا با Selenium
• 20. نصب و پیکربندی WebDriver برای مرورگر
• 21. انتظار برای بارگذاری عناصر در صفحات جاوااسکریپتی
• 22. استخراج داده از صفحات دارای بارگذاری بی‌نهایت (Infinite Scroll)
• 23. مدیریت پنجره‌های پاپ‌آپ و دیالوگ‌ها در Selenium
• 24. معرفی چارچوب Scrapy و ساخت پروژه اول
• 25. تعریف آیتم‌ها و Spider در Scrapy
• 26. نوشتن Spider ساده برای خزش در چند صفحه
• 27. استخراج داده با سلکتورهای XPath
• 28. مدیریت لینک‌های نسبی و مطلق در Scrapy
• 29. خزش خودکار صفحات با Rule در CrawlSpider
• 30. مدیریت لاگ‌گیری و ذخیره خطاها
• 31. استفاده از Middleware برای پروکسی و User-Agent
• 32. مدیریت تورفتگی و احترام به robots.txt
• 33. اجرای هم‌زمان درخواست‌ها برای افزایش سرعت
• 34. ذخیره داده با Pipeline و پالایش آیتم‌ها
• 35. پیاده‌سازی اسکرپر برای فروشگاه اینترنتی (محصولات و قیمت)
• 36. پیاده‌سازی اسکرپر برای استخراج اطلاعات تماس از دایرکتوری
• 37. مدیریت فرم‌های ورود و احراز هویت در وبسایت
• 38. مدیریت جلسه (Session) و نگهداری وضعیت لاگین
• 39. رسیدگی به CAPTCHA با سرویس‌های حل خودکار
• 40. استفاده از APIهای عمومی به جای اسکرپینگ
• 41. ترکیب داده از چند منبع مختلف
• 42. تمیزکاری و نرمال‌سازی داده‌های استخراج شده
• 43. مدیریت دیتاهای تکراری و حذف رکوردهای مشابه
• 44. برنامه‌ریزی زمانی اسکرپر با Cron Job
• 45. نظارت بر سلامت اسکرپر و ارسال هشدار
• 46. ذخیره و بازیابی پیشرفت اسکرپر برای ادامه خزش
• 47. مدیریت خطاهای شبکه و تلاش مجدد (Retry)
• 48. پیاده‌سازی اسکرپر برای وبسایت‌های دارای صفحه‌بندی
• 49. مدیریت پارامترهای URL برای فیلتر و مرتب‌سازی
• 50. استفاده از هدر Referer برای جلوگیری از بلاک شدن
• 51. اجرای اسکرپر در فضای ابری (Cloud)
• 52. بهینه‌سازی کد اسکرپر برای کاهش مصرف حافظه
• 53. تست و دیباگ کردن اسکرپر با ابزارهای توسعه‌دهنده مرورگر
• 54. پیاده‌سازی یک اسکرپر کامل برای وبلاگ و آرشیو مطالب
• 55. مدیریت محتوای چندزبانه و یونیکد
• 56. تبدیل داده به فرمت‌های قابل استفاده (Excel, SQL)
• 57. ملاحظات اخلاقی و قانونی اسکرپینگ وب
• 58. خلاصه و پروژه نهایی: ساخت یک اسکرپر هوشمند جامع