فلش‌کارت‌های آموزشی آموزش برنامه‌نویسی web scraping با زبان‌های مختلف

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش برنامه‌نویسی web scraping با زبان‌های مختلف

موضوع کلی: برنامه نویسی

موضوع میانی: زبان‌های برنامه‌نویسی**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Web Scraping و کاربردهای قانونی آن
• 2. مفاهیم پایه HTTP و ساختار درخواست و پاسخ
• 3. آشنایی با HTML و ساختار DOM
• 4. معرفی ابزارهای توسعه‌دهنده مرورگر برای تحلیل صفحات
• 5. نصب و راه‌اندازی محیط برنامه‌نویسی پایتون
• 6. استخراج داده با کتابخانه Requests در پایتون
• 7. پردازش HTML با کتابخانه BeautifulSoup
• 8. جستجوی المان‌ها با متدهای find و find_all
• 9. کار با ویژگی‌ها و متون در BeautifulSoup
• 10. مدیریت خطاهای HTTP و خطاهای اتصال
• 11. مدیریت تاخیر و احترام به قوانین robots.txt
• 12. استفاده از هدرهای سفارشی و User-Agent
• 13. کار با فرم‌های HTML و ارسال داده با POST
• 14. مدیریت کوکی‌ها و نشست‌ها با Session
• 15. پردازش صفحات پویا با Selenium و WebDriver
• 16. نصب و پیکربندی Selenium و مرورگر کروم
• 17. انتخاب و تعامل با المان‌ها در Selenium
• 18. مدیریت فریم‌ها و پنجره‌های جدید در Selenium
• 19. استفاده از انتظارهای صریح و ضمنی در Selenium
• 20. مقایسه BeautifulSoup و Selenium برای پروژه‌های مختلف
• 21. معرفی Scrapy به عنوان چارچوب تخصصی Scraping
• 22. ایجاد یک پروژه Scrapy و تعریف Spider
• 23. استخراج داده با سلکتورهای CSS و XPath در Scrapy
• 24. ذخیره سازی خروجی در فرمت‌های CSV و JSON
• 25. مدیریت درخواست‌های همزمان و محدودیت نرخ در Scrapy
• 26. کار با Middleware‌ها و Pipeline‌ها در Scrapy
• 27. پردازش صفحات با جاوااسکریپت سنگین در Scrapy
• 28. استفاده از API‌های عمومی به جای Scraping مستقیم
• 29. کار با REST API‌ها و درخواست‌های JSON
• 30. احراز هویت در API‌ها با توکن و API Key
• 31. محدودیت نرخ و مدیریت Rate Limiting در API‌ها
• 32. معرفی Web Scraping با جاوااسکریپت و Node.js
• 33. استفاده از کتابخانه Axios و Cheerio در Node.js
• 34. استفاده از Puppeteer برای Scraping مرورگر محور در Node.js
• 35. معرفی Web Scraping با زبان Go
• 36. استخراج داده با کتابخانه Colly در Go
• 37. مدیریت همزمانی و Goroutines در Go برای Scraping
• 38. معرفی Web Scraping با زبان Ruby
• 39. استفاده از Nokogiri و HTTParty در Ruby
• 40. ذخیره و بازیابی داده‌ها با پایگاه داده SQLite
• 41. استفاده از داکر برای ایزوله کردن محیط Scraping
• 42. مدیریت پروکسی و دور زدن محدودیت IP
• 43. تشخیص و دور زدن Captcha با راه‌حل‌های مناسب
• 44. مدیریت صفحات با Pagination و لود بی‌نهایت
• 45. استخراج داده از جداول HTML پیچیده
• 46. پردازش تاریخ و زمان در داده‌های استخراج شده
• 47. تمیزکاری و نرمال‌سازی داده‌های متنی
• 48. تشخیص و مدیریت تغییرات ساختار صفحات
• 49. بهینه‌سازی عملکرد و کاهش مصرف حافظه
• 50. برنامه‌ریزی و زمان‌بندی اجرای Scraping
• 51. ذخیره و مدیریت لاگ‌ها در پروژه‌های Scraping
• 52. تست نویسی برای Spider‌ها و اطمینان از صحت داده
• 53. معرفی ابزارهای نظارتی و مانیتورینگ Scraping
• 54. پروژه عملی: استخراج اطلاعات محصولات از فروشگاه آنلاین
• 55. پروژه عملی: جمع‌آوری داده‌های آب و هوا از وب‌سایت هواشناسی
• 56. پروژه عملی: استخراج محتوای مقالات از وبلاگ‌ها
• 57. پروژه عملی: جمع‌آوری اطلاعات تماس از دایرکتوری‌ها
• 58. پروژه عملی: استخراج داده‌های بورس و بازارهای مالی
• 59. پروژه عملی: جمع‌آوری داده‌های شبکه‌های اجتماعی مجاز
• 60. عیب‌یابی مشکلات رایج در Web Scraping
• 61. بررسی امنیت و جلوگیری از نشت داده‌ها
• 62. خلاصه و مسیرهای پیشرفته یادگیری