🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: استفاده از Linux Tools برای Web Scraping

موضوع کلی: برنامه نویسی

موضوع میانی: لینوکس و خط فرمان

📋 سرفصل‌های دوره (100 موضوع)

• 1. آشنایی با لینوکس: مفاهیم پایه و تاریخچه
• 2. نصب لینوکس: انتخاب توزیع مناسب و مراحل نصب
• 3. آشنایی با محیط دسکتاپ: رابط کاربری و تنظیمات
• 4. خط فرمان لینوکس: ترمینال و پوسته (Shell)
• 5. دستورات پایه لینوکس: ls, cd, pwd, mkdir, rm
• 6. مدیریت فایل‌ها و پوشه‌ها: کپی، انتقال، تغییر نام و حذف
• 7. کار با متن در لینوکس: cat, echo, head, tail
• 8. ویرایشگرهای متن: nano, vim, emacs (مقدماتی)
• 9. کار با فایل‌های متنی بزرگ: grep, sed, awk (مقدماتی)
• 10. کاربران و گروه‌ها در لینوکس: مدیریت دسترسی‌ها
• 11. مجوزهای فایل‌ها و پوشه‌ها: chmod, chown
• 12. مسیرهای مطلق و نسبی: درک سیستم فایل لینوکس
• 13. متغیرهای محیطی: PATH و سایر متغیرها
• 14. مدیریت بسته‌ها: apt, yum, pacman (مقدماتی)
• 15. نصب نرم‌افزار از طریق خط فرمان
• 16. به‌روزرسانی سیستم عامل: اهمیت و روش‌ها
• 17. مدیریت فرآیندها: ps, top, kill
• 18. فرآیندهای پس‌زمینه: nohup و disown
• 19. ریدایرکت کردن ورودی و خروجی: >, <, 2>, &>
• 20. پایپ‌ها (Pipes): ترکیب دستورات با |
• 21. فیلتر کردن داده‌ها با grep
• 22. جایگزینی متن با sed
• 23. پردازش داده‌ها با awk (مقدماتی)
• 24. آشنایی با Regular Expressions (مقدماتی)
• 25. کار با آرشیوها: tar, gzip, zip
• 26. فشرده‌سازی و استخراج فایل‌ها
• 27. جستجوی فایل‌ها: find
• 28. اسکریپت‌نویسی Bash: مفاهیم پایه
• 29. ساختار یک اسکریپت Bash: shebang و کامنت‌ها
• 30. متغیرها در Bash: تعریف و استفاده
• 31. ورودی و خروجی در اسکریپت Bash
• 32. دستورات شرطی: if, else, elif
• 33. حلقه‌ها: for, while, until
• 34. آرایه‌ها در Bash
• 35. توابع در Bash
• 36. آرگومان‌ها در اسکریپت Bash: $1, $2, ...
• 37. کار با رشته‌ها در Bash
• 38. کار با اعداد در Bash
• 39. استفاده از exit status
• 40. مدیریت خطاها در اسکریپت Bash
• 41. اجرای اسکریپت‌های Bash
• 42. cron: زمان‌بندی اجرای اسکریپت‌ها
• 43. آشنایی با وب: HTML, CSS, JavaScript
• 44. ساختار یک صفحه وب: عناصر و تگ‌ها
• 45. HTTP و درخواست‌های GET و POST
• 46. آشنایی با Chrome DevTools
• 47. درک Document Object Model (DOM)
• 48. مقدمه‌ای بر Web Scraping
• 49. ابزارهای Web Scraping در لینوکس: curl, wget
• 50. دریافت محتوای صفحات وب با curl و wget
• 51. ذخیره محتوای دریافتی در فایل
• 52. استخراج اطلاعات از HTML با grep
• 53. استخراج اطلاعات از HTML با sed
• 54. استخراج اطلاعات از HTML با awk
• 55. آشنایی با HTML parsers: xmlstarlet, pup
• 56. نصب و راه‌اندازی xmlstarlet
• 57. استخراج اطلاعات از HTML با xmlstarlet
• 58. نصب و راه‌اندازی pup
• 59. استخراج اطلاعات از HTML با pup
• 60. آشنایی با JSON و APIها
• 61. دریافت اطلاعات از APIها با curl
• 62. پردازش JSON با jq
• 63. نصب و راه‌اندازی jq
• 64. فیلتر کردن JSON با jq
• 65. تغییر ساختار JSON با jq
• 66. وب اسکرپینگ صفحات داینامیک (مقدماتی)
• 67. آشنایی با Selenium (مقدماتی)
• 68. نصب Selenium و ChromeDriver
• 69. کنترل مرورگر با Selenium (مقدماتی)
• 70. وب اسکرپینگ با Selenium (مقدماتی)
• 71. رسیدگی به خطاها در Web Scraping
• 72. مدیریت درخواست‌ها: User-Agent و Headers
• 73. محدودیت‌های Web Scraping و ربات‌ها
• 74. Robots.txt و رعایت قوانین وب‌سایت‌ها
• 75. استفاده از پراکسی‌ها برای Web Scraping
• 76. چرخش پراکسی‌ها برای جلوگیری از مسدود شدن
• 77. ذخیره داده‌های اسکرپ شده در فایل
• 78. ذخیره داده‌های اسکرپ شده در پایگاه داده (مقدماتی)
• 79. بهینه‌سازی اسکریپت‌های Web Scraping
• 80. افزایش سرعت اسکرپینگ
• 81. استفاده از Threading/Multiprocessing (مقدماتی)
• 82. نظارت بر اسکریپت‌های Web Scraping
• 83. Logging در اسکریپت‌های Bash
• 84. ارسال ایمیل با اسکریپت Bash
• 85. آشنایی با Git و Github (مقدماتی)
• 86. کنترل نسخه اسکریپت‌های Web Scraping
• 87. به اشتراک گذاری اسکریپت‌ها در Github
• 88. پروژه‌های Web Scraping عملی: جمع‌آوری اطلاعات از سایت‌های خبری
• 89. پروژه‌های Web Scraping عملی: جمع‌آوری اطلاعات از فروشگاه‌های آنلاین
• 90. پروژه‌های Web Scraping عملی: جمع‌آوری اطلاعات از شبکه‌های اجتماعی
• 91. اتوماسیون وظایف با Web Scraping
• 92. تحلیل داده‌های جمع‌آوری شده
• 93. مصورسازی داده‌های جمع‌آوری شده (مقدماتی)
• 94. مسائل قانونی و اخلاقی در Web Scraping
• 95. مستندسازی اسکریپت‌های Web Scraping
• 96. نکات پیشرفته در Bash Scripting
• 97. نکات پیشرفته در Regular Expressions
• 98. به‌روزرسانی دانش Web Scraping
• 99. منابع یادگیری بیشتر در مورد Web Scraping
• 100. عیب‌یابی اسکریپت‌های Web Scraping