🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: Google Cloud Platform: Cloud Bigtable Database Setup and Management (for Scientific Big Data)

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های دوره (100 موضوع)

• 1. مقدمه‌ای بر کلان‌داده و چالش‌های داده‌های بزرگ علمی
• 2. آشنایی با پایگاه‌های داده NoSQL و مزایای آن‌ها
• 3. بررسی قضیه CAP و کاربرد آن در سیستم‌های توزیع‌شده
• 4. انواع پایگاه‌های داده NoSQL: ستونی، سندی، کلید-مقدار و گراف
• 5. چرا پایگاه‌های داده ستونی برای داده‌های علمی مناسب هستند؟
• 6. معرفی جامع پلتفرم ابری گوگل (GCP)
• 7. مروری بر سرویس‌های پایگاه داده در GCP
• 8. معرفی Google Cloud Bigtable و تاریخچه آن
• 9. مقایسه Bigtable با BigQuery، Spanner و Firestore
• 10. کاربردهای Bigtable در تحقیقات علمی و صنعتی
• 11. معماری Bigtable: الهام از GFS، Chubby و MapReduce
• 12. مدل داده Bigtable: جدول، ردیف، ستون و سلول
• 13. مفهوم کلید ردیف (Row Key) و اهمیت آن
• 14. آشنایی با خانواده‌های ستون (Column Families) و توصیف‌گرها (Qualifiers)
• 15. مهر زمانی (Timestamp) و نسخه‌بندی داده‌ها در سلول‌ها
• 16. جداول خلوت (Sparsely Populated Tables) و کاربرد آن‌ها
• 17. مدل سازگاری (Consistency Model) در Bigtable
• 18. مفهوم نمونه (Instance)، خوشه (Cluster) و گره (Node)
• 19. انواع حافظه ذخیره‌سازی: SSD در مقابل HDD
• 20. مناطق (Regions)، ناحیه‌ها (Zones) و تکثیر داده (Replication)
• 21. ایجاد و پیکربندی پروژه در Google Cloud Console
• 22. فعال‌سازی APIهای مورد نیاز برای Bigtable
• 23. آشنایی با ابزار خط فرمان Google Cloud SDK (gcloud)
• 24. نصب و پیکربندی اولیه gcloud
• 25. معرفی و نصب ابزار خط فرمان cbt برای Bigtable
• 26. ایجاد اولین نمونه Bigtable از طریق Cloud Console
• 27. ایجاد نمونه Bigtable با استفاده از دستورات gcloud
• 28. ایجاد نمونه Bigtable با استفاده از ابزار cbt
• 29. مدیریت دسترسی و مجوزها (IAM) برای Bigtable
• 30. تعریف نقش‌ها و کاربران مجاز برای دسترسی به جداول
• 31. اصول طراحی اسکما در Bigtable
• 32. بهترین شیوه‌ها برای طراحی کلید ردیف (Row Key)
• 33. طراحی کلید ردیف برای داده‌های سری زمانی (Time-Series)
• 34. طراحی کلید ردیف برای داده‌های ژنومیک (Genomic Data)
• 35. طراحی کلید ردیف برای داده‌های مکانی (Geospatial Data)
• 36. جلوگیری از Hotspotting با تکنیک‌های Salting و Hashing
• 37. طراحی بهینه خانواده‌های ستون و توصیف‌گرها
• 38. مقایسه طراحی جداول بلند (Tall) و عریض (Wide)
• 39. سریال‌سازی داده‌ها: استفاده از Protobuf، Avro و JSON
• 40. انتخاب انواع داده مناسب برای ذخیره‌سازی
• 41. طراحی اسکما برای ذخیره‌سازی فراداده (Metadata)
• 42. مدیریت روابط و شبیه‌سازی Join در Bigtable
• 43. طراحی اسکما برای اسکن‌های (Scans) سریع و کارآمد
• 44. تکنیک‌های مدیریت و تکامل اسکما در طول زمان
• 45. مطالعه موردی: طراحی اسکما برای داده‌های مدل‌سازی اقلیمی
• 46. عملیات پایه CRUD: خواندن، نوشتن و حذف داده‌ها
• 47. نوشتن یک ردیف داده (Single Row Write)
• 48. خواندن یک ردیف داده (Single Row Read)
• 49. انجام اسکن (Scan) بر اساس پیشوند و بازه کلید ردیف
• 50. استفاده از فیلترها برای بازیابی داده‌های خاص
• 51. نوشتن دسته‌ای داده‌ها (Batch Writes) برای توان عملیاتی بالا
• 52. معرفی Google Cloud Dataflow برای پردازش داده
• 53. ورود دسته‌ای داده‌ها از Cloud Storage با استفاده از Dataflow
• 54. ورود جریانی داده‌ها با استفاده از Pub/Sub و Dataflow
• 55. استفاده از کتابخانه‌های کلاینت Bigtable در پایتون (Python)
• 56. استفاده از کتابخانه‌های کلاینت Bigtable در جاوا (Java)
• 57. استفاده از کتابخانه‌های کلاینت Bigtable در گو (Go)
• 58. جهش‌های شرطی (Conditional Mutations) با CheckAndMutate
• 59. عملیات خواندن-تغییر-نوشتن (Read-Modify-Write) اتمیک
• 60. حذف داده‌ها: حذف سلول، ردیف و خانواده ستون
• 61. مطالعه موردی: ورود فراداده تصاویر تلسکوپ به Bigtable
• 62. شاخص‌های کلیدی عملکرد (KPIs) در Bigtable
• 63. استفاده از Cloud Monitoring برای نظارت بر Bigtable
• 64. تنظیم هشدار (Alerts) برای مشکلات عملکردی
• 65. تحلیل میزان استفاده از CPU در سطح گره و خوشه
• 66. نظارت بر تأخیر (Latency) عملیات خواندن و نوشتن
• 67. نظارت بر توان عملیاتی (Throughput) و فضای ذخیره‌سازی
• 68. استفاده از Key Visualizer برای شناسایی Hotspots
• 69. تشخیص و عیب‌یابی مشکلات عملکردی رایج
• 70. مقیاس‌پذیری خوشه‌های Bigtable: افزودن و حذف گره‌ها
• 71. افزودن خوشه جدید برای تکثیر داده و دسترس‌پذیری بالا
• 72. انتخاب نوع حافظه مناسب (SSD vs. HDD) بر اساس بار کاری
• 73. بهینه‌سازی عملکرد در سمت کلاینت (Client-Side)
• 74. بهینه‌سازی عملکرد از طریق بازنگری طراحی اسکما
• 75. استراتژی‌های مدیریت و بهینه‌سازی هزینه‌ها
• 76. آشنایی کامل با مدل قیمت‌گذاری Bigtable
• 77. استراتژی پشتیبان‌گیری و بازیابی اطلاعات در Bigtable
• 78. ایجاد یک نسخه پشتیبان (Backup) از جدول
• 79. بازیابی اطلاعات از نسخه پشتیبان در یک جدول جدید
• 80. پشتیبان‌گیری در سطح جدول در مقابل سطح خوشه
• 81. خودکارسازی فرآیند پشتیبان‌گیری
• 82. برنامه‌ریزی بازیابی از فاجعه (Disaster Recovery) با تکثیر چند منطقه‌ای
• 83. تنظیم دقیق دسترسی‌ها با IAM و اصل حداقل دسترسی
• 84. استفاده از VPC Service Controls برای محافظت از داده‌ها
• 85. رمزنگاری داده‌ها در حالت سکون (At Rest) و در حال انتقال (In Transit)
• 86. استفاده از گزارش‌های حسابرسی (Audit Logs) برای ردیابی عملیات
• 87. اتصال Bigtable به BigQuery برای تحلیل‌های پیچیده (Federated Queries)
• 88. مصورسازی داده‌های Bigtable با استفاده از Looker Studio
• 89. استفاده از Bigtable در برنامه‌های مبتنی بر Google Kubernetes Engine (GKE)
• 90. یکپارچه‌سازی با Cloud Functions برای پردازش رویداد-محور
• 91. استفاده از Bigtable به عنوان پایگاه داده برای AI Platform Notebooks
• 92. پردازش داده‌های Bigtable با Dataproc و HBase API
• 93. ساخت داشبوردهای مدیریتی با Managed Service for Grafana
• 94. آرشیو کردن داده‌های قدیمی از Bigtable به Cloud Storage
• 95. ارکستراسیون گردش کار Bigtable با استفاده از Cloud Composer (Airflow)
• 96. ارائه داده‌های Bigtable از طریق یک API مبتنی بر Cloud Run
• 97. سیاست‌های جمع‌آوری زباله (Garbage Collection) برای مدیریت داده‌ها
• 98. استفاده از پروفایل‌های برنامه (Application Profiles) برای مسیریابی ترافیک
• 99. تکنیک‌های پیشرفته فیلتر کردن داده‌ها
• 100. روش‌های بنچمارک و تست عملکرد Bigtable