چرا توسعه دهندگان از Confluent برای مدیریت آپاچی کافکا استفاده می کنند؟

چگونه سرویس کاملاً مدیریت شده کافکا می تواند آرامش و سادگی را به زندگی افرادی که به زیرساخت پخش رویداد وابسته هستند، بیاورد.

تصور کنید که در حال تحویل مواد غذایی هستید، یا به دنبال توصیه‌ای برای تماشای برنامه بعدی در تلویزیون هستید، یا از کارت اعتباری استفاده می‌کنید بدون اینکه نگران کلاهبرداری باشید. برنامه‌هایی که این تعاملات را تقویت می‌کنند، همگی به داده‌های در حال حرکت متکی هستند، و شانس مناسبی وجود دارد که آپاچی کافکا به برنامه‌ها قدرت می‌دهد.

بیش از ۸۰ درصد از Fortune 100 از کافکا به عنوان بستر پخش رویداد استفاده می کنند تا برنامه های کاربردی در زمان واقعی، کاربر و برنامه های پشتیبان مبتنی بر نرم افزار را تامین کند. کافکا برای هر سازمانی که به دنبال ادغام مجموعه‌های متنوع برنامه‌ها و ریزسرویس‌ها از طریق گزارش‌های رویدادهای تغییرناپذیر به جای ذخیره‌سازی داده‌های قابل تغییر است، به ابزاری تبدیل شده است. مزایا بسیار زیاد است، اما به یاد داشته باشید که کافکا یک سیستم توزیع شده است و داوطلب شدن برای راه اندازی یک سیستم توزیع شده یک انتخاب به طور فزاینده بحث برانگیز است.

به همین دلیل است که ابر وجود دارد. از طریق خدمات ابری کاملاً مدیریت شده، فروشندگان هزینه های سرمایه ای را متحمل می شوند و تخصص عملیاتی لازم برای اجرای زیرساخت را به خوبی جمع می کنند. Confluent، اولین سرویس کاملاً مدیریت شده کافکا در بازار، به شما امکان می دهد بر روی ساخت برنامه ها و افزودن تمرکز کنید ارزش برای کسب و کار به جای چرخاندن شماره گیری در لایه های زیرساخت پیچیده عملیاتی. می‌خواهم به شما توضیح دهم که چگونه Confluent می‌تواند آرامش و سادگی را به زندگی افرادی که با کافکا کار می‌کنند، بیاورد.

Cloud-native آینده زیرساخت است

همیشه تقاضای بیشتری برای عملکرد برنامه نسبت به ظرفیت ارائه آن وجود دارد. این بدان معناست که تیم های برنامه باید روی فعالیت هایی تمرکز کنند که بیشترین ارزش را ایجاد می کنند. به طور کلی، این به معنای ارائه ویژگی های جدید است که به طور مستقیم مزیت رقابتی را به مشتریان و کاربران می بخشد.

البته، همه برنامه‌ها به زیرساخت‌های ذخیره‌سازی و محاسباتی نیاز دارند تا با توسعه و نگهداری مداوم کار کنند و توجه را از توسعه ویژگی‌های ارزش‌آفرین منحرف کنند. این به ویژه برای کافکا صادق است، زیرا زیرساخت داده های توزیع شده هزینه فرصت قابل توجهی را بر تیم هایی که تصمیم می گیرند خودشان آن را راه اندازی کنند، تحمیل می کند. به زبان ساده: وظیفه شما در نهایت مراقبت از مشتریان است. در حالی که اجرای کافکا ممکن است وسیله ای برای رسیدن به این هدف باشد، احتمالاً عملی ترین راه برای انجام کار نیست. این چالش یکی از دلایل متعددی است که منجر به افزایش خدمات ابر مدیریت شده شده است.

این بار مقیاس بندی الاستیک برای واقعی

مقیاس‌پذیری الاستیک همیشه بخشی ذاتی از اسطوره‌های ابر بوده است، اما در تحقق آن کند بوده است. در اوایل تاریخ ابر، مبتکران پایگاه داده رویکردهای جدیدی را برای مقیاس پذیری الاستیک افقی مجموعه داده های عظیم اعمال کردند. اخیراً، میکروسرویس‌ها و ارکستراسیون کانتینر به افزایش مقیاس‌پذیری برنامه‌ها برای توده‌ها کمک کرده‌اند. با این حال، زیرساخت داده به طور کلی در برابر مقیاس پذیری آسان مقاوم است.

کافکا یک داستان در مقیاس افقی عالی دارد: موضوعات پارتیشن بندی می شوند، گزارش های پارتیشن فردی به کارگزاران مختلف اختصاص داده می شوند، سپس توسط خوشه های مقیاس پذیر از برنامه های مشتری مصرف می شوند. ابزارهای قابل اسکریپت برای مدیریت این قابلیت های مقیاس گرا وجود دارد، اما خوشه های خود مدیریت هنوز به تخصص عملیاتی و فنی قابل توجهی نیاز دارند. به عنوان مثال، لاگ های پارتیشن به طور یکنواخت در کارگزاران توزیع نمی شوند زیرا یک خوشه در طول زمان تغییر می کند. علاوه بر این، موضوعات جدید اضافه می‌شوند و پارتیشن‌ها با تغییر شرایط تجاری، ترافیک خواندن و نوشتن نامناسبی را دریافت می‌کنند. این تنها یک نمونه از مواردی است که مدیران خوشه باید در طول زمان به آن توجه کنند.

Confluent دارای مقیاس پذیری الاستیک داخلی است. خوشه ها از ۰ تا ۱۰۰ مگابایت در ثانیه توان عملیاتی را بدون مداخله و تا ۱۱ گیگابایت در ثانیه (سوابق فعلی تا این لحظه) از طریق یک رابط کاربری وب ساده – بدون پارتیشن های متحرک، بدون واسطه های متعادل کننده تغییر می دهند. همانطور که جهان به آرامی به وعده‌های اولیه ابر در مقیاس الاستیک می‌رسد، Confluent مقیاس را به روشی واقعاً ابری به زیرساخت داده‌ها می‌آورد.

اتصال داده های خود را به همه جا

به هر حال زندگی شما چند ابری خواهد بود، بنابراین لایه‌های زیرساخت داده باید قابلیت چند ابری را داشته باشند تا رقبای جدی باشند. Confluent چند ابری است و به طور بومی از AWS، Microsoft Azure و Google Cloud پشتیبانی می کند. این انعطاف‌پذیری زمانی ضروری است که باید روی بیش از یک ابر اجرا کنید یا حداقل بتوانید آن را تهدید کنید. Confluent با استفاده از یک رابط کاربری وب مدیریتی و یک صفحه کنترل یکپارچه که از زیرساخت ابری خاص انتزاع شده است، این کار را آسان می کند.

اما چند ابری همیشه کافی نیست! گاهی اوقات شما نمی خواهید همه چیز را به ابر منتقل کنید. بسیاری از شرکت‌ها می‌خواهند ترکیبی از سرویس‌های ابری اولیه، خصوصی یا ابر عمومی را حفظ کنند. این تجربه ابری ترکیبی برای Confluent مهم است و امکان نگهداری خدمات پشتیبان، جداسازی محصولات و مدیریت یک Plan B پیچیده را از طریق Confluent UI فراهم می‌کند.

در اکوسیستم گم نشوید، کل بسته را دریافت کنید

همانطور که جامعه کافکا در ۱۰ سال پس از تولدش کشف کرده است، برای ایجاد یک سیستم رویداد محور موفق به بیش از گزارش های توزیع شده نیاز دارید. شما همچنین به اتصالات مطمئن و ایمن بین تمام سیستم ها و جریان های خود نیاز دارید، که این کار بدی نیست. سپس می‌توانید با پردازش جریانی بی‌درنگ شروع به استخراج ارزش از کل سیستم کنید.

چندین مؤلفه پیرامون عملکرد اصلی کافکا برای کمک به برآوردن این نیازها، هم از اکوسیستم منبع باز و هم از Confluent پدید آمده اند:

• Kafka Connect: چارچوب یکپارچه سازی داده های جهانی که اکوسیستمی از اتصال دهنده ها را فراهم می کند. نیاز به نوشتن مجدد اتصالات برای هر منبع داده جدید را برطرف می کند.
• Kafka Streams: یک چارچوب پردازش جریانی که چارچوب موجود سرویس گیرنده کافکا را با عملکرد پیچیده پردازش جریان غنی می‌کند، نه اینکه پردازش جریانی را به سیستم توزیع‌شده دیگری بارگیری کند.
• رجیستری طرحواره منطبق: به حفظ سازگاری بین برنامه‌های در حال تکامل کمک می‌کند زیرا قالب‌های پیام در طول زمان تغییر می‌کنند.
• ksqlDB: پایگاه داده جریان رویداد برای کافکا با استفاده از SQL برای ساخت برنامه‌های پردازش جریانی که ممکن است در غیر این صورت با Kafka Streams ساخته باشید.
• Confluent Metrics API: بسیاری از معیارهای فردی را که می‌توانید از طریق رابط JMX در اجزای مختلف سیستم جمع‌آوری کنید، در یک جریان واحد و قابل پرس و جو از داده‌های JSON یکپارچه می‌کند.

واقعیت اجزایی مانند این این است که تیم ها در نهایت به آنها نیاز خواهند داشت. آنها از جامعه کافکا و از Confluent به همین دلیل بیرون آمده اند. تقریباً غیرممکن است که در هر یک از این زمینه ها به اندازه کافی مهارت داشته باشید تا راه حلی بسازید که برای عملکرد روان نیاز به توجه مداوم نداشته باشد.

با Confluent، همه ابزارهایی را که برای موفقیت با کافکا نیاز دارید در دسترس دارید. می توانید از یک پلتفرم استفاده کنید، و همه چیزهایی که نیاز دارید به روشی یکپارچه و یکپارچه وجود دارد، از جمله صدها رابط به منابع داده محبوب.

امنیت داده در مقیاس ضروری است

کافکا دارای حداقل داستان امنیتی قابل دوام است: رمزگذاری قوی داده‌ها در پرواز و احراز هویت و مجوز مبتنی بر ACL را به عنوان گزینه ارائه می‌دهد. Confluent این ویژگی ها را به روشی که شرکت ها انتظار دارند گسترش می دهد.

برای مثال، تمام داده‌ها در Confluent در حالت استراحت و همچنین در هنگام پرواز رمزگذاری می‌شوند. علاوه بر این، برنامه‌ها نیز با هر تماسی نیاز به احراز هویت دارند و خطر داشتن تصادفی پورت‌های «باز گسترده» را از بین می‌برد.

انواع دیگر ویژگی‌های Confluent به ساده نگه داشتن امنیت کمک می‌کنند، از جمله ورود به سیستم مبتنی بر SAML و دسترسی ایمن به دیگر منابع ابری در VPC‌های شما.

به‌عنوان اثبات این قابلیت‌های ایمن، Confluent بسیاری از استانداردهای صنعتی و دستاوردهای گواهینامه را برآورده می‌کند، الزامات مربوط به PCI، HIPAA، و GDPR و همچنین گواهی‌های SOC1، SOC2، SOC3 و ISO 27001 را برآورده می‌کند.

دستیابی به همه این گواهی‌ها و در عین حال ارائه بسیاری از ویژگی‌های امن و راحت دیگر، چالشی است. توسعه‌دهندگان می‌توانند با اطمینان خاطر بسازند، در حالی که بالابرهای امنیتی سنگین را به پلتفرم مدیریت‌شده واگذار می‌کنند.

اما فقط حرف من را قبول نکنید. می‌توانید سرویس کاملاً مدیریت‌شده کافکا ما را به‌صورت رایگان از طریق Confluent یا ارائه‌دهنده ابری انتخابی خود امتحان کنید.

تیم برگلوند مدیر ارشد حمایت از توسعه دهندگان در Confluent است.

—

New Tech Forum مکانی برای کاوش و بحث در مورد فناوری سازمانی نوظهور در عمق و وسعت بی سابقه ای فراهم می کند. انتخاب ذهنی است، بر اساس انتخاب ما از فناوری هایی که معتقدیم مهم هستند و برای خوانندگان InfoWorld بیشترین علاقه را دارند. InfoWorld وثیقه بازاریابی را برای انتشار نمی پذیرد و حق ویرایش تمام محتوای ارائه شده را برای خود محفوظ می دارد. همه سوالات را به newtechforum@infoworld.com ارسال کنید.