🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: Azure Data Lake Storage: ساخت دریاچه های داده مقیاس پذیر

موضوع کلی: برنامه نویسی

موضوع میانی: Microsoft Azure

📋 سرفصل‌های دوره (100 موضوع)

• 1. مقدمه ای بر Azure Data Lake Storage
• 2. مفاهیم دریاچه داده (Data Lake)
• 3. مزایای Azure Data Lake Storage
• 4. تفاوت Data Lake و Data Warehouse
• 5. معرفی Azure Data Lake Storage Gen1
• 6. معرفی Azure Data Lake Storage Gen2
• 7. مبانی ذخیره سازی در Azure
• 8. قالب های داده در Data Lake
• 9. انواع داده ها (ساختاریافته، نیمه ساختاریافته، بدون ساختار)
• 10. حجم داده ها و مقیاس پذیری
• 11. ملاحظات امنیتی در Data Lake
• 12. مدیریت دسترسی در Azure
• 13. سیاست های دسترسی (Access Policies)
• 14. نقش های مدیریتی (RBAC)
• 15. هویت در Azure AD
• 16. استفاده از Service Principals
• 17. استفاده از Managed Identities
• 18. رمزگذاری داده ها (Encryption)
• 19. رمزگذاری در حالت سکون (Encryption at Rest)
• 20. رمزگذاری در حین انتقال (Encryption in Transit)
• 21. مدیریت کلیدها (Key Management)
• 22. ایجاد یک حساب Azure Data Lake Storage Gen2
• 23. تنظیمات اولیه حساب ADLS Gen2
• 24. ساختار فایل سیستم (File System)
• 25. مفاهیم کانتینر (Container)
• 26. مفاهیم پوشه (Directory)
• 27. ایجاد و حذف کانتینرها
• 28. ایجاد و حذف پوشه ها
• 29. بارگذاری فایل ها در ADLS Gen2
• 30. آپلود فایل های کوچک
• 31. آپلود فایل های بزرگ (Multipart Upload)
• 32. استفاده از Azure Storage Explorer
• 33. استفاده از Azure CLI برای مدیریت فایل ها
• 34. استفاده از Azure PowerShell برای مدیریت فایل ها
• 35. کار با SDK های مختلف (Python, .NET, Java)
• 36. خواندن داده ها از ADLS Gen2
• 37. خواندن فایل های CSV
• 38. خواندن فایل های JSON
• 39. خواندن فایل های Parquet
• 40. خواندن فایل های Avro
• 41. کار با فرمت های بهینه برای تجزیه و تحلیل (Optimized Formats)
• 42. فشرده سازی داده ها (Data Compression)
• 43. فشرده سازی Gzip
• 44. فشرده سازی Snappy
• 45. فشرده سازی LZO
• 46. مدیریت نسخه بندی فایل ها (File Versioning)
• 47. حذف هوشمند (Soft Delete)
• 48. بازیابی فایل های حذف شده
• 49. تغییر نام فایل ها و پوشه ها
• 50. انتقال فایل ها و پوشه ها
• 51. مدیریت متادیتا (Metadata Management)
• 52. تگ گذاری فایل ها (File Tagging)
• 53. تنظیمات دسترسی سطحی (ACLs)
• 54. تنظیمات دسترسی POSIX
• 55. شرحی بر ACL های POSIX
• 56. کار با ACL های POSIX برای فایل ها
• 57. کار با ACL های POSIX برای پوشه ها
• 58. اجرا کردن دستورات در ACL های POSIX
• 59. سیاست های چرخه حیات (Lifecycle Management)
• 60. انتقال خودکار داده ها بین لایه های ذخیره سازی
• 61. حذف خودکار داده های قدیمی
• 62. قوانین چرخه حیات
• 63. تنظیمات چرخه حیات
• 64. مانیتورینگ و لاگینگ در ADLS Gen2
• 65. Azure Monitor
• 66. متریک های ADLS Gen2
• 67. لاگ های تشخیصی (Diagnostic Logs)
• 68. تنظیمات لاگینگ
• 69. داشبوردهای سفارشی (Custom Dashboards)
• 70. هشدارها (Alerts)
• 71. بازیابی از فاجعه (Disaster Recovery)
• 72. پشتیبان گیری (Backup)
• 73. بازیابی (Restore)
• 74. همگام سازی داده ها (Data Synchronization)
• 75. پشتیبان گیری از Azure Data Lake Storage
• 76. استفاده از Azure Backup
• 77. تنظیمات پشتیبان گیری
• 78. استراتژی های بازگردانی
• 79. پیکربندی Replication (Geo-replication)
• 80. دسترسی از طریق سرویس های دیگر Azure
• 81. یکپارچگی با Azure Databricks
• 82. یکپارچگی با Azure Synapse Analytics
• 83. یکپارچگی با Azure HDInsight
• 84. یکپارچگی با Azure Data Factory
• 85. یکپارچگی با Azure Stream Analytics
• 86. اجرای پرس و جو بر روی داده ها
• 87. استفاده از Azure Synapse Analytics Serverless SQL Pool
• 88. استفاده از Azure Databricks SQL Analytics
• 89. استفاده از Azure HDInsight (Hive, Spark)
• 90. پرس و جو بر روی فایل های CSV
• 91. پرس و جو بر روی فایل های Parquet
• 92. پرس و جو بر روی فایل های JSON
• 93. بهینه سازی عملکرد پرس و جو
• 94. انتخاب فرمت مناسب برای داده ها
• 95. استفاده از پارتیشن بندی (Partitioning)
• 96. استفاده از کامپایل کردن (Compaction)
• 97. بهترین شیوه ها برای سازماندهی داده ها
• 98. ساختار پوشه ای منطقی
• 99. انتخاب استراتژی نامگذاری
• 100. استانداردسازی فرمت های داده