دوره استخراج و پردازش داده با Ruby: از مبتدی تا پیشرفته همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استخراج و پردازش داده با Ruby: از مبتدی تا پیشرفته

موضوع کلی: برنامه‌نویسی وب

موضوع میانی: توسعه وب با Ruby

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر استخراج داده (Data Scraping) و Ruby
• 2. نصب و پیکربندی Ruby و محیط توسعه
• 3. آشنایی با Gemها و مدیریت وابستگی‌ها
• 4. درک ساختار HTML و CSS برای استخراج داده
• 5. مقدمه‌ای بر کتابخانه Nokogiri
• 6. نصب و استفاده از Nokogiri
• 7. انتخاب عناصر HTML با CSS Selectors
• 8. انتخاب عناصر HTML با XPath
• 9. استخراج متن و ویژگی‌ها از عناصر HTML
• 10. کار با داده‌های استخراج شده: پاکسازی و تبدیل
• 11. کار با صفحات پویا و JavaScript با Ruby
• 12. آشنایی با کتابخانه Mechanize
• 13. ورود به وب‌سایت‌ها و مدیریت Sessionها
• 14. دنبال کردن لینک‌ها و پیمایش صفحات
• 15. استخراج داده از جداول HTML
• 16. استخراج داده از فرم‌ها
• 17. ذخیره‌سازی داده‌های استخراج شده در فایل‌های CSV
• 18. ذخیره‌سازی داده‌های استخراج شده در پایگاه داده (MySQL, PostgreSQL)
• 19. آشنایی با کتابخانه Watir
• 20. اتوماسیون مرورگر با Watir
• 21. استخراج داده از وب‌سایت‌های با احراز هویت
• 22. استفاده از Proxyها برای جلوگیری از بلاک شدن
• 23. مدیریت خطاها و استثناها در فرآیند استخراج داده
• 24. رعایت قوانین وب‌سایت‌ها و فایل robots.txt
• 25. آشنایی با APIها و استخراج داده از آن‌ها
• 26. مقایسه Nokogiri و Mechanize و Watir
• 27. بهینه‌سازی سرعت استخراج داده
• 28. استفاده از چند Thread برای استخراج داده موازی
• 29. استخراج داده از صفحات با ساختار پیچیده
• 30. استخراج داده از وب‌سایت‌های AJAX
• 31. استفاده از headless browserها (مثل Selenium)
• 32. آشنایی با RubyMine و دیباگینگ
• 33. پیاده‌سازی یک Crawl ساده
• 34. آشنایی با کتابخانه Scrapy (Ruby implementation)
• 35. استفاده از Regex برای استخراج داده
• 36. مدیریت و چرخش User-Agentها
• 37. استفاده از کتابخانه‌هایی برای تحلیل و پردازش زبان طبیعی (NLP)
• 38. استفاده از کتابخانه OpenSSL برای ارتباطات امن
• 39. آشنایی با مفهوم Webhooks و استخراج داده real-time
• 40. استفاده از RuboCop برای بررسی کیفیت کد
• 41. تست کردن اسکریپت‌های استخراج داده
• 42. پیاده‌سازی یک سیستم مانیتورینگ برای استخراج داده
• 43. استفاده از Docker برای محیط‌های استخراج داده ایزوله