معرفی دوره

در دهه اخیر، حجم داده‌های تولیدشده در صنعت و تجارت به شکل بی‌سابقه‌ای افزایش یافته است. «دریاچه داده» (Data Lake) با فراهم کردن محیطی منعطف برای ذخیره‌سازی حجم عظیمی از داده‌های ساختاریافته و نیمه‌ساختاریافته، به یکی از کلیدهای تحول دیجیتال تبدیل شده است. در این دوره عملی Udemy با عنوان «مبانی دریاچه داده ۲۰۲۴-۳»، شما با مفاهیم بنیادی، تکنولوژی‌های اصلی و مراحل پیاده‌سازی یک دریاچه داده آشنا خواهید شد. این دوره برای کارشناسان داده، مهندسین نرم‌افزار و تحلیلگران کسب و کار طراحی شده تا بتوانند زیرساخت مقیاس‌پذیر و بهینه‌ای برای مدیریت داده‌ها بسازند.

اهداف و آنچه فراگیران یاد می‌گیرند

• مفهوم دریاچه داده و تفاوت آن با انبار داده سنتی
• معماری لایه‌ای دریاچه داده: Raw, Cleansed, Curated
• انتخاب و پیکربندی ابزارهای ذخیره‌سازی ابری (AWS S3، Azure Data Lake Storage)
• استخراج، تبدیل و بارگذاری (ETL/ELT) داده با Apache Spark و AWS Glue
• مدیریت متادیتا و پیاده‌سازی کاتالوگ داده (Apache Hive, AWS Glue Catalog)
• کنترل دسترسی و امنیت داده با سیاست‌های IAM و رمزنگاری
• تحلیل بلادرنگ با استفاده از Apache Kafka و AWS Kinesis
• بهینه‌سازی هزینه و مقیاس‌پذیری در طراحی دریاچه داده
• مطالعه موردی و پیاده‌سازی عملی یک پروژه دریاچه داده

در پایان این دوره، شما قادر خواهید بود از صفر تا صد یک دریاچه داده را در بستر ابری طراحی، اجرا و نگهداری کنید.

مزایا و کاربردهای عملی دوره

شرکت در این دوره علاوه بر درک عمیق مفاهیم دریاچه داده، به شما امکان می‌دهد تا:

• زمان دسترسی به داده‌ها را کاهش داده و فرآیند تحلیل را تسریع کنید.
• هزینه‌های نگهداری زیرساخت داده را با استفاده از ذخیره‌سازی ابری بهینه کنید.
• بنا به نیاز کسب‌وکار، در مقیاس‌های کوچک تا چند صد ترابایت را مدیریت کنید.
• داده‌های حساس را با سیاست‌های امنیتی قوی محافظت کنید.
• با معماری میکروسرویس و Data Mesh آشنا شوید و آن را در دریاچه داده پیاده‌سازی کنید.

به عنوان مثال عملی، ساخت یک خط لوله ETL در AWS Glue و تحلیل بلادرنگ تراکنش‌های مالی با AWS Kinesis از مباحثی است که به کمک دستورالعمل‌های گام‌به‌گام پوشش داده شده است.

پیش‌نیازها

• آشنایی اولیه با پایگاه‌های داده رابطه‌ای و مفاهیم SQL
• تجربه پایه در کار با یک سرویس ابری (AWS یا Azure یا GCP)
• زبان برنامه‌نویسی Python یا Scala (برای Apache Spark)
• درک ابتدایی از مفاهیم شبکه و امنیت در فضای ابری

داشتن این پیش‌زمینه‌ها کمک می‌کند تا بتوانید سریع‌تر مفاهیم پیشرفته دریاچه داده را فرا گرفته و در پروژه‌های واقعی به کار ببرید.

سرفصل‌ها و بخش‌های دوره

دوره «مبانی دریاچه داده ۲۰۲۴-۳» شامل پنج ماژول اصلی است که هرکدام به چندین فصل تقسیم شده‌اند:

• ماژول ۱: مقدمه و مفهوم‌سازی
  • تعریف دریاچه داده و کاربردها
  • مزایا و محدودیت‌ها نسبت به انبار داده
  • معماری لایه‌های ذخیره‌سازی
• ماژول ۲: ابزارهای ذخیره‌سازی ابری
  • AWS S3: تنظیم باکت و سیاست‌های امنیتی
  • Azure Data Lake Storage: ساخت حساب کاربری و امنیت
  • مقایسه هزینه و عملکرد
• ماژول ۳: پردازش داده‌ها با Spark و Glue
  • معرفی Apache Spark: RDD و DataFrame
  • نوشته‌های عملی PySpark و Scala
  • پیکربندی و اجرای job در AWS Glue
• ماژول ۴: کاتالوگ و متادیتا
  • ساخت و مدیریت AWS Glue Catalog
  • ثبت منابع داده و جستجوی متادیتا
  • کنترل نسخه و تطبیق داده‌ها
• ماژول ۵: تحلیل بلادرنگ و بهینه‌سازی
  • آشنایی با Apache Kafka و AWS Kinesis
  • طراحی معماری بلادرنگ برای پردازش رویدادها
  • تکنیک‌های بهینه‌سازی هزینه و مقیاس‌پذیری

در هر فصل، مثال‌های عملی همراه با کد کامل و توضیحات گام‌به‌گام ارائه شده تا یادگیری شما تسریع شود. علاوه بر این، تمرین‌های پایان فصل به تثبیت مفاهیم کمک می‌کنند.