• مفاهیم اساسی Kafka Connect: درک کامل معماری، مؤلفه‌ها (مانند Connectors، Tasks و Workers)، و نحوه عملکرد این چارچوب قدرتمند.

• پیکربندی و راه‌اندازی Kafka Connect: یادگیری نحوه نصب، پیکربندی و راه‌اندازی Kafka Connect در حالت‌های Standalone و Distributed برای مقیاس‌پذیری و تحمل خطا.

• کانکتورهای منبع (Source Connectors): ایجاد و مدیریت کانکتورهایی که داده‌ها را از سیستم‌های مختلف مانند پایگاه‌های داده (مثل JDBC Source Connector) و فایل‌ها (File Source Connector) دریافت کرده و به تاپیک‌های کافکا استریم می‌کنند. به عنوان مثال، یاد می‌گیرید چگونه داده‌ها را از یک جدول دیتابیس به صورت بلادرنگ به تاپیک کافکا استریم کنید.

• کانکتورهای مقصد (Sink Connectors): پیاده‌سازی و استفاده از کانکتورهای مقصد برای ارسال داده‌ها از تاپیک‌های کافکا به سیستم‌های خارجی مانند Elasticsearch، S3، HDFS و پایگاه‌های داده رابطه‌ای. مثلاً، نحوه ارسال داده‌های لاگ از کافکا به Elasticsearch برای تحلیل‌های بعدی را فرا می‌گیرید.

• تبدیلات پیام واحد (Single Message Transforms - SMTs): اعمال تغییرات و بهبودها بر روی داده‌ها در حین حرکت آن‌ها بین منبع و مقصد، مانند تغییر نام فیلدها، فیلتر کردن پیام‌ها یا افزودن اطلاعات جدید، بدون نیاز به کدنویسی اضافی.

• سریالایزرها و دی‌سریالایزرها (Serializers & Deserializers) و مبدل‌ها (Converters): درک نقش حیاتی مبدل‌ها (مانند JSON Converter و Avro Converter) در تبدیل فرمت داده‌ها و نحوه استفاده صحیح از آن‌ها برای اطمینان از سازگاری داده‌ها در طول پایپ‌لاین.

• مانیتورینگ و مدیریت Kafka Connect: آشنایی با ابزارهای لازم برای نظارت بر عملکرد کانکتورها، رفع اشکال و مدیریت خوشه Kafka Connect برای اطمینان از پایداری و کارایی سیستم.

• بهترین شیوه‌ها و نکات عملی: یادگیری بهترین شیوه‌ها برای پیاده‌سازی پایپ‌لاین‌های داده‌ای قوی، مقیاس‌پذیر و مقاوم در برابر خطا در محیط‌های تولیدی.

• تسلط عملی: کسب مهارت‌های عملی و تجربه کار با Kafka Connect برای حل چالش‌های واقعی در پروژه‌های داده‌ای پیچیده.

• افزایش فرصت‌های شغلی: با توجه به رشد روزافزون نیاز به متخصصان داده، دانش و مهارت در Kafka Connect شما را در موقعیت‌های شغلی مهندسی داده، مهندسی پلتفرم و معماری داده متمایز می‌کند.

• ساخت پایپ‌لاین‌های داده‌ای کارآمد: توانایی طراحی، پیاده‌سازی و مدیریت جریان‌های داده‌ای خودکار و پایدار بین سیستم‌های مختلف، که منجر به کاهش تلاش دستی و افزایش دقت می‌شود.

• درک عمیق اکوسیستم کافکا: با یادگیری یکی از ابزارهای کلیدی اکوسیستم Apache Kafka، دانش شما از این پلتفرم جامع‌تر و کاربردی‌تر خواهد شد.

• آمادگی برای پروژه‌های واقعی: با مثال‌ها و تمرینات عملی فراوان، شما برای مواجهه با سناریوهای پیچیده در محیط‌های تولیدی و حل مسائل دنیای واقعی کاملاً آماده خواهید شد.

• آشنایی با مفاهیم Apache Kafka: درک اولیه از مفاهیمی مانند تاپیک‌ها (Topics)، تولیدکنندگان (Producers)، مصرف‌کنندگان (Consumers)، بروکرها (Brokers) و Zookeeper. (توجه: این دوره بر روی Kafka Connect تمرکز دارد و آموزش جامع کافکا را پوشش نمی‌دهد).

• آشنایی با خط فرمان لینوکس/یونیکس: توانایی کار با ترمینال و دستورات پایه برای راه‌اندازی و مدیریت محیط توسعه.

• آشنایی اولیه با JSON و فرمت‌های داده: درک ساختار داده‌های JSON و YAML برای پیکربندی کانکتورها.

• آشنایی با دیتابیس‌ها (اختیاری اما مفید): در صورت تمایل به کار عمیق‌تر با کانکتورهای JDBC، آشنایی با SQL و مفاهیم پایگاه داده توصیه می‌شود.

• نصب Java Development Kit (JDK): نسخه ۸ یا بالاتر.

• نصب Docker و Docker Compose: قویاً توصیه می‌شود، زیرا محیط آزمایشگاهی دوره بر پایه داکر طراحی شده است.

دوره به صورت ماژولار طراحی شده تا مفاهیم به تدریج و با تمرکز بر یادگیری عملی ارائه شوند. هر ماژول شامل توضیحات نظری، مثال‌های کد و تمرینات عملی است.

• ماژول ۱: مقدمه‌ای بر Kafka Connect

  • Kafka Connect چیست و چرا به آن نیاز داریم؟
  • جایگاه Kafka Connect در اکوسیستم Apache Kafka و مقایسه با ابزارهای ETL سنتی.
  • آشنایی با مفاهیم اصلی: Workers, Connectors, Tasks, Source Connectors, Sink Connectors.
  • نصب و راه‌اندازی محیط توسعه با Docker-Compose (شامل Kafka, Zookeeper, Schema Registry و Kafka Connect).

• ماژول ۲: راه‌اندازی Kafka Connect (Stand-alone و Distributed)

  • پیکربندی و استقرار Stand-alone Kafka Connect: راهنمای گام به گام.
  • پیکربندی و استقرار Distributed Kafka Connect: مزایا، معایب، و سناریوهای کاربردی.
  • مدیریت کانکتورها از طریق REST API و ابزارهای خط فرمان (Kafka Connect CLI).
  • اصول مقیاس‌پذیری و تحمل خطا در Kafka Connect.

• ماژول ۳: کار با Source Connectors (کانکتورهای منبع)

  • File Source Connector: نحوه استریم داده‌ها از فایل‌های متنی به کافکا، پیکربندی پارامترها و سناریوهای کاربردی (مانند خواندن لاگ‌ها).
  • JDBC Source Connector: استخراج داده‌ها از پایگاه‌های داده رابطه‌ای (MySQL, PostgreSQL و غیره). پوشش حالت‌های مختلف کوئری (timestamp، incrementing، bulk). مدیریت تغییرات شمای داده (Schema Evolution) و مثال عملی استریم داده‌های مشتریان.

• ماژول ۴: کار با Sink Connectors (کانکتورهای مقصد)

  • File Sink Connector: نحوه ذخیره داده‌ها از کافکا به فایل‌های محلی و پیکربندی فرمت خروجی (JSON, Avro).
  • JDBC Sink Connector: ذخیره داده‌ها از کافکا به پایگاه‌های داده رابطه‌ای، مدیریت حالت‌های insert، upsert، update، و مثال عملی ذخیره داده‌های رویداد.
  • Elasticsearch Sink Connector (مثال پیشرفته): نحوه ایندکس کردن داده‌ها از کافکا در Elasticsearch برای جستجو و تحلیل، پیکربندی mapping و سناریوهای کاربردی مانند تحلیل لاگ‌ها.

• ماژول ۵: تبدیل پیام واحد (Single Message Transforms - SMTs)

  • مقدمه‌ای بر SMTs و کاربردهای آن‌ها در تغییر و پاکسازی داده‌ها.
  • بررسی SMTهای رایج: ExtractField، RenameField، InsertField، Flatten، Filter، ReplaceField.
  • آموزش ترکیب SMTs برای ایجاد پایپ‌لاین‌های پیچیده و مثال عملی آماده‌سازی داده‌ها.

• ماژول ۶: مبدل‌ها (Converters) و سریالایزرها (Serializers)

  • تفاوت اساسی بین Converters و Serializers.
  • کار با JSON Converter و Avro Converter، شامل استفاده از Schema Registry برای مدیریت شمای داده.
  • کار با String Converter برای داده‌های متنی ساده.
  • اهمیت مدیریت Schema برای پایپ‌لاین‌های داده‌ای قوی و نحوه انتخاب Converter مناسب.

• ماژول ۷: ساخت و استقرار کانکتورهای سفارشی (Custom Connectors - overview)

  • چرا ممکن است به کانکتورهای سفارشی نیاز داشته باشیم؟
  • مروری بر معماری توسعه کانکتورهای Source و Sink (این بخش بیشتر یک نگاه کلی است و شامل کدنویسی عمیق نمی‌شود).
  • فرایند بسته‌بندی و استقرار کانکتورهای سفارشی در خوشه Kafka Connect.

• ماژول ۸: مانیتورینگ، مدیریت و بهترین شیوه‌ها

  • مانیتورینگ Kafka Connect با استفاده از JMX و ادغام با ابزارهایی مانند Prometheus/Grafana.
  • مدیریت خطاها و Dead Letter Queues (DLQ) برای بازیابی داده‌ها.
  • استراتژی‌هایی برای Rebalancing و Scalability در محیط‌های پربار.
  • امنیت در Kafka Connect: مفاهیم احراز هویت (Authentication) و رمزنگاری (Encryption).
  • بهترین شیوه‌ها برای طراحی و استقرار پایپ‌لاین‌های Kafka Connect در محیط‌های تولیدی و عیب‌یابی رایج.