توجه مهم: این دوره روی فلش مموری ۳۲ گیگابایتی هست و دانلودی نیست.

صنعت داده‌محور کنونی، نیاز شدیدی به متخصصان مهندسی داده دارد. یادگیری این مهارت‌ها مزایای چشمگیری برای شما به همراه خواهد داشت:

• بازار کار پررونق و تقاضای بالا: مهندسان داده جزو پردرآمدترین و پرتقاضاترین متخصصان در صنایع مختلف هستند. شرکت‌ها، از استارتاپ‌های کوچک گرفته تا شرکت‌های بزرگ، به دنبال افرادی هستند که بتوانند داده‌هایشان را مدیریت کنند.
• نقشی حیاتی در موفقیت سازمان‌ها: شما به عنوان یک مهندس داده، ستون فقرات تصمیم‌گیری‌های مبتنی بر داده خواهید بود. کارهای شما مستقیماً بر روی استراتژی‌ها، محصولات و خدمات شرکت‌ها تأثیرگذار است.
• فرصت‌های شغلی متنوع: مهندسی داده فقط به یک صنعت خاص محدود نمی‌شود. از حوزه مالی و بهداشت و درمان گرفته تا خرده‌فروشی و فناوری، در همه جا به مهندسان داده نیاز است.
• مهارت‌های قابل انتقال و آینده‌نگر: مهارت‌هایی که در این دوره کسب می‌کنید، بنیاد محکمی برای ورود به حوزه‌های پیشرفته‌تر مانند بیگ دیتا، هوش مصنوعی و یادگیری ماشین فراهم می‌آورد.
• حل مسائل چالش‌برانگیز: اگر از حل مشکلات پیچیده و کار با فناوری‌های نوین لذت می‌برید، مهندسی داده می‌تواند انتخابی ایده‌آل برای شما باشد.

این دوره با رویکردی گام‌به‌گام و کاربردی، شما را از مفاهیم بنیادی تا ساخت عملی خطوط لوله داده همراهی می‌کند. پس از اتمام این دوره، شما قادر خواهید بود:

• با مفاهیم بنیادی مهندسی داده، اکوسیستم داده و نقش یک مهندس داده آشنا شوید.
• اصول مدل‌سازی داده و طراحی پایگاه‌های داده رابطه‌ای و غیررابطه‌ای را درک کنید.
• توانایی کار با زبان SQL برای مدیریت و استخراج داده‌ها از پایگاه‌های داده را کسب کنید.
• با زبان برنامه‌نویسی پایتون به عنوان ابزاری قدرتمند برای پردازش و اتوماسیون داده آشنا شوید.
• مفاهیم و فرآیندهای ETL (Extract, Transform, Load) و ELT (Extract, Load, Transform) را به طور عمیق بیاموزید و ابزارهای مرتبط با آن‌ها را بشناسید.
• با مفاهیم و اصول بیگ دیتا و چالش‌های پردازش داده‌های حجیم آشنا شوید (مانند معرفی کلی Hadoop و Spark).
• اصول کار با سرویس‌های ابری مرتبط با داده‌ها (مانند ذخیره‌سازی ابری، پایگاه‌های داده مدیریت‌شده) را فرا بگیرید.
• اهمیت کیفیت داده، نظارت بر خطوط لوله داده و اصول اولیه امنیت داده را درک کنید.
• با انجام پروژه‌های عملی، مهارت‌های خود را تقویت کرده و یک خط لوله داده ساده را از ابتدا تا انتها پیاده‌سازی کنید.

این دوره به گونه‌ای طراحی شده که برای افراد با سطوح مختلف آشنایی با فناوری اطلاعات مفید باشد. با این حال، داشتن برخی پیش‌نیازها به شما کمک می‌کند تا بیشترین بهره را از مطالب ببرید:

• علاقه به تحلیل و کار با داده‌ها: مهمترین پیش‌نیاز، اشتیاق به درک و کار با داده‌ها است.
• آشنایی مقدماتی با مفاهیم برنامه‌نویسی: درک اصول اولیه برنامه‌نویسی، به ویژه با زبان پایتون، توصیه می‌شود اما اجباری نیست؛ مفاهیم پایتون مورد نیاز در طول دوره معرفی خواهند شد.
• درک اولیه از پایگاه داده‌ها: آشنایی با مفاهیمی مانند جداول، ردیف‌ها و ستون‌ها یک مزیت محسوب می‌شود، اما تمامی مفاهیم لازم از پایه آموزش داده می‌شوند.
• تفکر تحلیلی و حل مسئله: توانایی تفکر منطقی و حل مسائل به صورت گام‌به‌گام برای موفقیت در این حوزه بسیار مهم است.

۱. مقدمه‌ای بر مهندسی داده و اکوسیستم آن

در این بخش با دنیای مهندسی داده، نقش مهندس داده در تیم‌های داده‌محور، چرخه حیات داده و تفاوت‌های آن با علم داده و تحلیل داده آشنا می‌شوید. همچنین به بررسی چالش‌ها و فرصت‌های این حوزه پرداخته خواهد شد.

۲. مدل‌سازی داده و پایگاه‌های داده

اصول طراحی پایگاه‌های داده رابطه‌ای و غیررابطه‌ای، نرمال‌سازی، و انواع مدل‌های داده مانند مدل ستاره و برف‌دانه را فرا می‌گیرید. همچنین نحوه استفاده از SQL برای پرس‌وجو و دستکاری داده‌ها در پایگاه‌های داده عملی آموزش داده می‌شود.

۳. فرآیندهای ETL/ELT و ساخت خطوط لوله داده

این بخش قلب مهندسی داده است. با مراحل استخراج، تبدیل و بارگذاری داده‌ها (ETL/ELT) آشنا می‌شوید. به شما آموزش داده می‌شود که چگونه داده‌ها را از منابع مختلف (مانند فایل‌ها، APIها و پایگاه‌های داده) جمع‌آوری کرده، پاکسازی و تبدیل کنید و سپس به مقصدهای نهایی (مانند انبار داده) منتقل نمایید. معرفی ابزارهای رایج در این زمینه نیز صورت می‌گیرد.

۴. آشنایی با ابزارهای بیگ دیتا و پردازش توزیع‌شده

با مفاهیم و ضرورت‌های بیگ دیتا در مقیاس‌های بزرگ آشنا می‌شوید. این بخش شامل معرفی کلی ابزارهایی مانند Hadoop برای ذخیره‌سازی توزیع‌شده و Apache Spark برای پردازش داده‌های حجیم با سرعت بالا خواهد بود. هدف، درک چگونگی کار با این ابزارها در سطح مقدماتی است.

۵. مهندسی داده در محیط ابری

امروزه بسیاری از زیرساخت‌های داده در پلتفرم‌های ابری مدیریت می‌شوند. در این بخش با سرویس‌های کلیدی داده در محیط‌های ابری (مانند AWS S3، Redshift، Google BigQuery یا Azure Data Lake) آشنا می‌شوید و درک می‌کنید چگونه این سرویس‌ها به ساخت خطوط لوله داده مقیاس‌پذیر کمک می‌کنند.

۶. کیفیت داده، نظارت و امنیت

چگونگی تضمین کیفیت داده، راه‌های شناسایی و رفع ناهنجاری‌ها، اصول مانیتورینگ و هشداردهی در خطوط لوله داده، و همچنین مبانی امنیت داده و حریم خصوصی در سیستم‌های داده‌ای مورد بررسی قرار می‌گیرد.

۷. پروژه‌های عملی و بهترین شیوه‌ها

این بخش شامل پروژه‌های عملی است که به شما کمک می‌کند دانش تئوری خود را به مهارت‌های عملی تبدیل کنید. با پیاده‌سازی یک خط لوله داده از ابتدا تا انتها، با چالش‌های واقعی روبه‌رو شده و بهترین شیوه‌های مهندسی داده را در عمل فرا خواهید گرفت.

توجه کنید که این دوره روی فلش مموری ۳۲ گیگابایتی هست و دانلودی نیست.