در این دوره، شما با مفاهیم و تکنیک‌های کلیدی وب اسکرپینگ آشنا می‌شوید و یاد می‌گیرید که چگونه با استفاده از ابزارهای قدرتمند پایتون، داده‌های مورد نیاز خود را از وبسایت‌ها استخراج و پردازش کنید. برخی از مهم‌ترین مباحثی که در این دوره پوشش داده می‌شوند عبارتند از:

• مقدمه‌ای بر وب اسکرپینگ: درک مفهوم وب اسکرپینگ، کاربردهای آن و ملاحظات قانونی و اخلاقی.
• آشنایی با کتابخانه‌های پایتون برای وب اسکرپینگ: معرفی و آموزش استفاده از کتابخانه‌هایی مانند requests، Beautiful Soup و lxml برای دانلود و تجزیه صفحات وب.
• اسکرپینگ استاتیک با Beautiful Soup: یادگیری نحوه استخراج داده از وبسایت‌هایی که محتوای آن‌ها به صورت استاتیک تولید می‌شود.
• آشنایی با Scrapy: معرفی فریم‌ورک قدرتمند Scrapy برای ساخت ربات‌های وب اسکرپینگ پیچیده و مقیاس‌پذیر.
• استخراج داده با Scrapy: یادگیری نحوه تعریف اسپایدرها، آیتم‌ها، پایپ‌لاین‌ها و تنظیمات Scrapy برای استخراج داده از وبسایت‌های مختلف.
• کار با فرم‌ها و ارسال درخواست‌های POST: یادگیری نحوه تعامل با فرم‌ها در وبسایت‌ها و ارسال درخواست‌های POST برای دسترسی به محتوای پنهان.
• مدیریت سشن‌ها و کوکی‌ها: آموزش نحوه مدیریت سشن‌ها و کوکی‌ها برای جلوگیری از مسدود شدن توسط وبسایت‌ها.
• کار با پروکسی‌ها و تغییر IP: یادگیری نحوه استفاده از پروکسی‌ها برای مخفی کردن IP خود و جلوگیری از محدودیت‌های دسترسی.
• وب اسکرپینگ داینامیک با Selenium: آموزش استفاده از Selenium برای اسکرپینگ وبسایت‌هایی که از JavaScript برای تولید محتوا استفاده می‌کنند.
• کار با Splash: معرفی Splash، یک ابزار رندرینگ JavaScript، و یادگیری نحوه استفاده از آن برای اسکرپینگ وبسایت‌های پیچیده.
• استخراج داده از APIها: آموزش نحوه استخراج داده از APIهای وبسایت‌ها با استفاده از کتابخانه requests.
• ذخیره و پردازش داده‌های استخراج شده: یادگیری نحوه ذخیره داده‌های استخراج شده در فرمت‌های مختلف مانند CSV، JSON و پایگاه داده‌ها و پردازش آن‌ها با استفاده از کتابخانه‌های پایتون.
• پیاده‌سازی پروژه‌های عملی: انجام چندین پروژه عملی و کاربردی برای تقویت مهارت‌ها و کسب تجربه در زمینه وب اسکرپینگ.

شرکت در این دوره مزایای متعددی برای شما به ارمغان می‌آورد، از جمله:

• یادگیری مهارت‌های پرطرفدار: وب اسکرپینگ یک مهارت بسیار پرطرفدار در دنیای امروز است و تقاضا برای متخصصان این حوزه رو به افزایش است.
• دسترسی به داده‌های ارزشمند: با استفاده از وب اسکرپینگ، می‌توانید به داده‌های ارزشمندی دسترسی پیدا کنید که می‌تواند در تصمیم‌گیری‌های تجاری، تحقیقات علمی و پروژه‌های شخصی مورد استفاده قرار گیرد.
• افزایش بهره‌وری: با اتوماسیون فرآیند استخراج داده، می‌توانید بهره‌وری خود را به طور چشمگیری افزایش دهید و زمان و هزینه خود را صرفه‌جویی کنید.
• فرصت‌های شغلی جدید: با تسلط بر مهارت‌های وب اسکرپینگ، می‌توانید فرصت‌های شغلی جدیدی را در شرکت‌های مختلف و یا به عنوان فریلنسر به دست آورید.
• یادگیری عملی و کاربردی: این دوره به صورت عملی و کاربردی طراحی شده و شما در طول دوره با انجام پروژه‌های واقعی، مهارت‌های خود را تقویت می‌کنید.
• دسترسی آسان و همیشگی: با توجه به ارائه این دوره بر روی فلش مموری ۳۲ گیگابایتی، شما می‌توانید به راحتی و در هر زمان و مکانی به محتوای آموزشی دسترسی داشته باشید.

برای شرکت در این دوره، نیاز به دانش قبلی در زمینه‌های زیر دارید:

• آشنایی با مفاهیم پایه برنامه‌نویسی: داشتن درک اولیه از مفاهیم برنامه‌نویسی مانند متغیرها، حلقه‌ها، شرط‌ها و توابع.
• آشنایی با زبان برنامه‌نویسی پایتون: آشنایی با سینتکس و ساختار زبان پایتون.
• آشنایی با HTML و CSS: داشتن درک اولیه از ساختار HTML و CSS برای شناسایی عناصر مختلف در صفحات وب.

اگر با موارد فوق آشنایی ندارید، توصیه می‌شود قبل از شروع این دوره، یک دوره مقدماتی پایتون و HTML/CSS را بگذرانید.

این دوره شامل بخش‌های مختلفی است که به صورت گام به گام شما را با مفاهیم و تکنیک‌های وب اسکرپینگ آشنا می‌کند. برخی از بخش‌های اصلی دوره عبارتند از:

1. مقدمه و معرفی: در این بخش، با مفهوم وب اسکرپینگ، کاربردهای آن و ابزارهای مورد نیاز آشنا می‌شوید.
2. آموزش کتابخانه‌های پایتون: در این بخش، با کتابخانه‌های requests، Beautiful Soup و lxml آشنا می‌شوید و یاد می‌گیرید که چگونه از آن‌ها برای دانلود و تجزیه صفحات وب استفاده کنید.
3. آموزش Scrapy: در این بخش، با فریم‌ورک Scrapy آشنا می‌شوید و یاد می‌گیرید که چگونه ربات‌های وب اسکرپینگ پیچیده و مقیاس‌پذیر را با استفاده از آن ایجاد کنید.
4. آموزش Selenium و Splash: در این بخش، با Selenium و Splash آشنا می‌شوید و یاد می‌گیرید که چگونه از آن‌ها برای اسکرپینگ وبسایت‌هایی که از JavaScript استفاده می‌کنند، استفاده کنید.
5. پروژه‌های عملی: در این بخش، چندین پروژه عملی و کاربردی را انجام می‌دهید تا مهارت‌های خود را در زمینه وب اسکرپینگ تقویت کنید.

یکی از مثال‌های عملی که در این دوره بررسی می‌شود، استخراج قیمت محصولات از یک فروشگاه اینترنتی است. در این مثال، شما یاد می‌گیرید که چگونه با استفاده از Scrapy، رباتی را ایجاد کنید که به صورت خودکار به صفحه محصولات فروشگاه اینترنتی مراجعه کند، قیمت‌ها را استخراج کند و آن‌ها را در یک فایل CSV ذخیره کند. این مثال به شما نشان می‌دهد که چگونه می‌توانید از وب اسکرپینگ برای جمع‌آوری اطلاعات قیمت از رقبا و تحلیل بازار استفاده کنید.

کد نمونه (تکه کد):

        
        import scrapy

        class ProductSpider(scrapy.Spider):
            name = "products"
            start_urls = ['http://example.com/products']

            def parse(self, response):
                for product in response.css('div.product'):
                    yield {
                        'name': product.css('h2.product-name::text').get(),
                        'price': product.css('span.price::text').get(),
                    }