چرا آپاچی کافکا ZooKeeper را حذف می کند؟

به گفته توسعه دهندگان کافکا، جایگزینی ZooKeeper با ابرداده های مدیریت شده داخلی، مقیاس پذیری و مدیریت را بهبود می بخشد.

تغییر برای کاربران Apache Kafka، پلتفرم پیشرو پخش جریانی رویداد، در راه است. Apache ZooKeeper، ابزار مدیریت ابرداده کافکا، به زودی به نفع فناوری داخلی حذف خواهد شد.

کالین مک کیب، یکی از اعضای کمیته مدیریت پروژه آپاچی کافکا و مهندس Confluent که از کافکا استفاده می کند، دلیل این تغییر را توضیح داد. او گفت که ZooKeeper ابرداده‌های خوشه‌ای پایدار را ذخیره می‌کند و پیکربندی‌ها و موضوعات پویا و همچنین پارتیشن‌های درون موضوعات را مدیریت می‌کند. اما ZooKeeper یک لایه مدیریت اضافی اضافه می کند. به گفته مک کیب، ذخیره ابرداده به صورت داخلی در کافکا، مدیریت آن را آسان‌تر می‌کند و تضمین‌های بهتری را در مورد مسائلی مانند نسخه‌سازی امکان‌پذیر می‌کند.

Kafka Raft یا KRaft، پروتکلی برای ابرداده های مدیریت شده داخلی، جایگزین ZooKeeper خواهد شد. در حالت KRaft، فراداده کافکا در یک گزارش توزیع شده ذخیره می شود. مک کیب گفت که مقیاس پذیری مزیت اصلی خواهد بود، اما مدیریت نیز بهبود خواهد یافت. کاربران کافکا دیگر نیازی به استقرار یک سیستم جداگانه برای مدیریت خوشه های کافکا نخواهند داشت.

مشخص نیست دقیقا چه زمانی ZooKeeper از رده خارج می شود، اما انتظار می رود در یکی دو هفته آینده رای گیری در مورد جدول زمانی انجام شود. پیشنهاد فعلی این است که KRaft به طور کلی در نسخه بعدی Kafka 3.3 در دسترس باشد. ZooKeeper پس از آن در انتشار منسوخ می‌شود و در کافکا ۴.۰ حذف می‌شود.

Kafka 3.3 که برای آگوست هدف گذاری شده است، گزینه هایی برای ZooKeeper و KRaft خواهد داشت. تاریخ پایان عمر ZooKeeper نامشخص است. مک کیب گفت: «حالت KRaft به زودی، خیلی زود امسال به تولید می رسد. “این یک گام بزرگ رو به جلو برای پروژه خواهد بود.”

در حال حاضر، توسعه دهندگان کافکا در حال کار بر روی برابری با ویژگی های کامل بین KRaft و ZooKeeper هستند که گفته می شود در حال بسته شدن است. حالت KRaft در واقع از زمان Kafka 2.8 که در آوریل ۲۰۲۱ منتشر شد در دسترس بوده است، اما در وضعیت آماده تولید نیست. کافکا ۳.۳ اولین نسخه آماده تولید خواهد بود. برای توسعه‌دهندگانی که به ZooKeeper عادت کرده‌اند، McCabe منحنی یادگیری شدیدی را در حرکت به KRaft پیش‌بینی نمی‌کند. همان APIها برای توسعه دهندگان پشتیبانی می شوند، اما اپراتورها ممکن است چند چیز برای یادگیری داشته باشند. “امید ما این است که مدیران جدید واقعاً این کار را آسان‌تر کنند و مدیران فعلی آن را برای انتقال قابل مدیریت بیابند.”

Jun Rao، خالق کافکا و یکی از بنیانگذاران Confluent، گفت: Confluent تحقیر ZooKeeper را یک حرکت مهم برای جامعه کافکا می داند. «این استقرار/عملیات را بسیار ساده‌تر می‌کند و به دلیل مدیریت کارآمدتر ابرداده، مقیاس‌پذیری را تا ضریب ۱۰ بهبود می‌بخشد. ما خوشحالیم که با جامعه روی این کار کار می کنیم و امیدواریم که به زودی آماده تولید شود.”

بر اساس گزارش بنیاد نرم افزار آپاچی، بیش از ۸۰ درصد از شرکت های Fortune 100 از کافکا استفاده می کنند. قابل دسترسی از وب‌سایت آپاچی کافکا، کافکا یک سیستم توزیع‌شده متشکل از کلاینت‌ها و سرورهایی است که از طریق یک عملکرد بالا با هم ارتباط برقرار می‌کنند. پروتکل TCP، با استقرار بر روی ماشین‌های مجازی، سخت‌افزار فلزی خالی، و کانتینرها در محل یا در محیط‌های ابری.