اپلیکیشن اندرویدی فلش‌کارت آموزشی شخصی‌سازی لحظه‌ای در مقیاس با Apache Kafka؛ از رویداد تا پیشنهاد هوشمند

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره شخصی‌سازی لحظه‌ای در مقیاس با Apache Kafka؛ از رویداد تا پیشنهاد هوشمند

موضوع کلی: مهندسی داده‌های جریان‌محور

موضوع میانی: شخصی‌سازی مقیاس‌پذیر با Apache Kafka

📋 سرفصل‌های دوره

• 1. شخصی‌سازی لحظه‌ای مبتنی بر رویداد
• 2. معماری مرجع سیستم شخصی‌سازی مقیاس‌پذیر
• 3. مقایسه پردازش بچ با پردازش رویدادمحور
• 4. تعریف KPI و سناریوهای ارزش‌آفرین شخصی‌سازی
• 5. طراحی مدل دامنه بر اساس رفتار کاربران
• 6. رده‌بندی و سامان‌دهی رویدادهای کاربردی
• 7. طراحی قالب استاندارد رویدادها
• 8. ساخت هویت یکپارچه کاربران
• 9. کسب و مدیریت رضایت و ترجیحات کاربران
• 10. اعمال حریم خصوصی از ابتدا در طراحی سیستم
• 11. استفاده از Schema Registry برای قراردادهای داده
• 12. طراحی نام‌گذاری و نسخه‌بندی موضوعات
• 13. انتخاب راهبرد پارتیشن‌بندی
• 14. کلیدگذاری رویدادها و توزیع متوازن بار
• 15. درک ساختار داخلی خوشه Kafka
• 16. پیکربندی تولیدکننده‌ها برای ارسال مطمئن
• 17. طراحی مصرف‌کننده‌ها، گروه‌های مصرف و مدیریت offset
• 18. بازپخش و بازیابی وضعیت با استفاده از offsetها
• 19. انتخاب تضمین تحویل مناسب برای هر جریان
• 20. پیاده‌سازی تولیدکننده idempotent
• 21. استفاده از تراکنش‌ها در پردازش جریان
• 22. انتخاب Kafka Streams یا Apache Flink
• 23. الگوهای رایج پردازش جریان
• 24. طراحی پردازش stateful
• 25. مدیریت state store، checkpoint و بازیابی وضعیت
• 26. اجرای windowing و агрег‌سازی جریان‌ها
• 27. مدل‌سازی event-time
• 28. پردازش رویدادهای با تأخیر و خارج از ترتیب
• 29. مدیریت داده‌های دیرهنگام با watermark
• 30. حذف رویدادهای تکراری در جریان‌ها
• 31. کشف الگوهای پیچیده با پردازش رویدادهای پیوسته
• 32. اتحاد دادن جریان‌های داده با streaming joins
• 33. اتصال منابع داده داخلی و خارجی با Kafka Connect
• 34. ورود داده‌های تغییرشده پایگاه داده با CDC
• 35. مهندسی ویژگی‌های لحظه‌ای
• 36. ساخت Feature Store برای داده‌های آنلاین و آفلاین
• 37. هماهنگ‌سازی ویژگی‌های بچ و جریان
• 38. اعتبارسنجی کیفیت داده در لحظه
• 39. چرخه عمر مدل‌های شخصی‌سازی
• 40. آموزش مدل از روی رویدادهای تاریخی و زنده
• 41. انجام online inference با تأخیر کم
• 42. میزبانی و ارائه سرویس مدل‌های پیشنهاددهنده
• 43. نصب، به‌روزرسانی و برگشت امن مدل
• 44. انتخاب الگوریتم‌های مناسب سیستم پیشنهاد
• 45. بهینه‌سازی رتبه‌بندی بر اساس سیگنال‌های زمینه‌ای
• 46. شخصی‌سازی زمینه‌محور و موقعیت‌محور
• 47. بهینه‌سازی چندهدفه میان تعامل، درآمد و رضایت
• 48. رفع مشکل شروع سرد در پیشنهادها
• 49. ساخت حلقه بازخورد یادگیری مداوم
• 50. طراحی آزمایش A/B برای تصمیم‌های شخصی‌سازی
• 51. اندازه‌گیری اثر و attribution شخصی‌سازی
• 52. هماهنگ‌سازی پیشنهادها در کانال‌های مختلف
• 53. طراحی API شخصی‌سازی برای سرویس‌های کاربردی
• 54. جمع‌آوری رویدادها از وب‌سایت و اپلیکیشن موبایل
• 55. بهینه‌سازی زمان ارسال و پردازش رویداد
• 56. مدیریت retention موضوعات
• 57. حالت‌زدایی و به‌روزرسانی وضعیت با topic compaction
• 58. استفاده از ذخیره‌سازی لایه‌ای برای داده‌های قدیمی
• 59. تعریف مدل امنیتی Kafka
• 60. پیاده‌سازی احراز هویت و رمزگذاری با TLS و SASL
• 61. محافظت از داده‌های حساس و PII
• 62. انطباق با قوانین حریم خصوصی و نگهداری审计
• 63. نظارت بر سلامت خوشه و جریان‌ها
• 64. اندازه‌گیری latency، throughput و consumer lag
• 65. ردگیری درخواست‌ها با distributed tracing
• 66. بهینه‌سازی throughput خوشه Kafka
• 67. کاهش latency در مسیر رویداد تا تصمیم
• 68. افزایش ظرفیت با تنظیم تعداد پارتیشن‌ها
• 69. مدیریت backpressure در مصرف‌کننده‌ها
• 70. خودکارسازی مقیاس‌پذیری خوشه
• 71. تنظیم replication برای تحمل خطا
• 72. طراحی در دسترس‌بودن بالا
• 73. برنامه‌ریزی بازیابی بلایا
• 74. برنامه‌ریزی ظرفیت بر اساس رشد رفتار کاربران
• 75. نگهداری عملیاتی و پاسخ به رویدادهای روزمره
• 76. طراحی راهبرد آزمایش برای سیستم جریان داده
• 77. آزمایش قرارداد داده و سازگاری تولیدکننده و مصرف‌کننده
• 78. آزمایش بار و سنجش سقف ظرفیت
• 79. آزمایش مقاومت با شبیه‌سازی خرابی
• 80. حاکمیت داده و مدیریت مالکیت جریان‌ها
• 81. بهینه‌سازی هزینه ذخیره‌سازی و محاسبه
• 82. پیاده‌سازی معماری مرجع در یک نمونه عملی
• 83. مهاجرت سیستم‌های بچ به معماری رویدادمحور
• 84. راه‌اندازی کنترل‌شده در محیط تولید
• 85. تعریف SLO و مدیریت incident
• 86. طراحی و اجرای پروژه پایانی شخصی‌سازی لحظه‌ای