فلش‌کارت‌های آموزشی استخراج داده از وب (Web Scraping) با Beautiful Soup و Requests در پایتون

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استخراج داده از وب (Web Scraping) با Beautiful Soup و Requests در پایتون

موضوع کلی: برنامه نویسی

موضوع میانی: پایتون (Python)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر استخراج داده از وب و کتابخانه‌های اصلی
• 2. نصب و راه‌اندازی Beautiful Soup و Requests
• 3. ارسال درخواست GET با Requests و دریافت محتوای صفحه
• 4. درک ساختار HTML و DOM
• 5. تشریح پارسرهای مختلف در Beautiful Soup
• 6. یافتن تگ‌ها با find و find_all
• 7. استفاده از selectorهای CSS با select
• 8. پیمایش درخت DOM با parent, children, siblings
• 9. فیلتر کردن نتایج با آرگومان‌های find
• 10. استخراج متن، ویژگی (attribute) و محتوای تگ‌ها
• 11. کار با ویژگی‌های class و id در جستجو
• 12. استفاده از عبارات منظم (Regex) در Beautiful Soup
• 13. مدیریت خطاهای HTTP و Timeout در Requests
• 14. کار با هدرها (Headers) و کوکی‌ها (Cookies) در درخواست‌ها
• 15. مدیریت جلسات (Sessions) برای درخواست‌های متوالی
• 16. استخراج داده از جداول HTML
• 17. کار با لیست‌ها و المان‌های تو در تو
• 18. تکنیک‌های تمیز کردن و نرمال‌سازی متن استخراج شده
• 19. ذخیره‌سازی داده‌ها در فایل CSV
• 20. ذخیره‌سازی داده‌ها در فایل JSON
• 21. مدیریت صفحات با Pagination و حلقه‌های صفحه‌بندی
• 22. استخراج داده از صفحات با بارگذاری بی‌نهایت (Infinite Scroll)
• 23. مدیریت فرم‌های HTML و ارسال درخواست POST
• 24. کار با پارامترهای URL و Query String
• 25. مدیریت ریدایرکت‌ها و خطاهای ۳xx و ۴xx
• 26. درک و مدیریت User-Agent و محدودیت‌های روبات‌ها
• 27. مقدمه‌ای بر احراز هویت پایه (Basic Auth) در Requests
• 28. کار با APIهای JSON در کنار استخراج HTML
• 29. استخراج داده از صفحات با ساختار ناهمگون
• 30. تکنیک‌های دیباگ و چاپ درخواست‌ها با Requests
• 31. استفاده از تاخیر (Delay) برای رعایت نرخ درخواست
• 32. مدیریت خطاهای رایج Beautiful Soup و راه‌حل‌ها
• 33. استخراج لینک‌ها و ایجاد نقشه سایت ساده
• 34. استخراج تصاویر و دانلود فایل‌ها
• 35. کار با تاریخ و زمان در محتوای استخراج شده
• 36. مدیریت صفحات با محتوای پویا و جاوااسکریپت (مقدمه)
• 37. استفاده از ابزارهای ترکیبی با Selenium (مقدمه)
• 38. مدیریت یونیکد و کار با زبان فارسی در استخراج
• 39. تکنیک‌های پیشرفته فیلتر با lambda در Beautiful Soup
• 40. استخراج داده از صفحات با ساختار تکراری (لیست محصولات)
• 41. مدیریت خطاهای اتصال و Retry Logic
• 42. کار با Proxyها برای دور زدن محدودیت‌ها
• 43. بهبود کارایی با درخواست‌های همزمان (Asynchronous)
• 44. ذخیره‌سازی داده‌ها در پایگاه داده SQLite
• 45. ذخیره‌سازی داده‌ها در دیتافریم پانداس
• 46. تکنیک‌های جلوگیری از مسدود شدن IP
• 47. مدیریت کوکی‌ها و نشست‌های پیچیده
• 48. استخراج داده از صفحات با فرمت XML
• 49. کار با کامنت‌ها و تگ‌های خاص در HTML
• 50. تکنیک‌های استخراج داده از صفحات با محتوای پنهان
• 51. مدیریت صفحات با URLهای پویا و پارامتری
• 52. بررسی فایل robots.txt و قوانین استخراج
• 53. تکنیک‌های ذخیره‌سازی میانی (Caching) درخواست‌ها
• 54. مدیریت خطاهای SSL و Certificate
• 55. استخراج داده از صفحات با زبان‌های مختلف
• 56. مدیریت فضای نام (Namespace) در HTML
• 57. تکنیک‌های پیشرفته جستجو با عبارات منظم
• 58. پروژه عملی: استخراج اطلاعات محصولات از فروشگاه اینترنتی
• 59. پروژه عملی: استخراج اخبار و عناوین روز
• 60. پروژه عملی: استخراج داده‌های آب و هوا
• 61. پروژه عملی: استخراج داده‌های جدولی از ویکی‌پدیا
• 62. پروژه عملی: استخراج اطلاعات تماس از صفحات
• 63. پروژه عملی: استخراج داده از صفحات با لاگین ساده
• 64. پروژه عملی: استخراج و مقایسه قیمت کالاها
• 65. پروژه عملی: استخراج داده و تحلیل ساده متون
• 66. خلاصه و نکات نهایی برای پروژه‌های واقعی