Databricks Delta Lake 3.0 برای مقابله با جداول Apache Iceberg

به‌روزرسانی‌های Delta Lake 3.0 شامل قالب جدول جهانی جدید، با نام UniForm، هسته دلتا و خوشه‌بندی مایع برای بهبود عملکرد خواندن و نوشتن داده‌ها است.

Databricks در روز چهارشنبه نسخه جدیدی از پیشنهاد data lakehouse خود را با نام Delta Lake 3.0 معرفی کرد تا محبوبیت روزافزون جداول Apache Iceberg مورد استفاده توسط رقیب را جلب کند. دانه برف.

به‌عنوان بخشی از Delta Lake 3.0، این شرکت قالب جدول جهانی جدیدی را با نام UniForm معرفی کرده است که به شرکت‌ها اجازه می‌دهد از داده‌های lakehouse با فرمت‌های جدول دیگر مانند Apache Iceberg و Apache Hudi.

Lakehouse داده‌ها معماری داده‌ای است که هم قابلیت ذخیره‌سازی و هم قابلیت تجزیه و تحلیل را ارائه می‌کند، برخلاف مفاهیم دریاچه‌های داده، که داده‌ها را در قالب اصلی ذخیره می‌کنند، و انبارهای داده، که داده‌های ساخت‌یافته را ذخیره می‌کنند (اغلب در SQL< /a> قالب).

به گفته تحلیلگران، فرمت جدول جدید، استراتژی Databricks برای اتصال دریاچه داده خود با سایر نقاط جهان و مقابله با رقیب Snowflake است، به ویژه در پس‌زمینه Apache Iceberg که در چند سال گذشته پشتیبانی چند فروشنده بیشتری را به دست آورده است.

تونی بائر، تحلیلگر اصلی در dbInsight، گفت: “با UniForm، Databricks اساساً می گوید، اگر نمی توانید آنها را شکست دهید، به آنها بپیوندید.” سیستم.

با این حال، Baer معتقد است که پذیرش خانه‌های دریاچه به اکوسیستمی که آنها ارائه می‌کنند بستگی دارد و نه فقط به قالب‌های جدول.

بائر گفت: «پذیرش خانه‌های دریاچه‌ای هنوز بسیار مقدماتی است، زیرا اکوسیستم‌ها اخیراً متبلور شده‌اند، و بیشتر شرکت‌ها هنوز در حال یادگیری هستند که خانه‌های دریاچه چیست.

بر خلاف Baer، Databricks گفت دریاچه دلتای آن در یک سال نزدیک به یک میلیارد دانلود داشته است. سال گذشته، شرکت منبع باز پیشنهاد Delta Lake خود را ارائه کرد و طبق گفته این شرکت، این lakehouse به‌روزرسانی‌هایی را از مهندسان مشارکت‌کننده AWS، Adobe، Twilio، eBay و Uber دریافت کرده است.

هسته دلتا و خوشه بندی مایع

به عنوان بخشی از Delta Lake 3.0، این شرکت همچنین دو ویژگی دیگر را معرفی کرده است – Delta Kernel و یک ویژگی خوشه‌بندی مایع.

بر اساس Databricks، Delta Kernel با اطمینان از اینکه همه کانکتورها با استفاده از یک کتابخانه هسته Delta ساخته شده‌اند که مشخصات Delta را پیاده‌سازی می‌کند، تکه تکه شدن اتصالات را برطرف می‌کند.

این شرکت گفت که این نیاز کاربران سازمانی را برای به‌روزرسانی اتصالات دلتا با هر نسخه جدید یا تغییر پروتکل کاهش می‌دهد.

به گفته Sanjeev Mohan، تحلیلگر اصلی SanjMo، Delta Kernel مانند یک کیت توسعه رابط است که بسیاری از جزئیات اساسی را انتزاعی می کند و در عوض مجموعه ای از APIهای پایدار را ارائه می دهد.

“این پیچیدگی و زمان ساخت و استقرار کانکتورها را کاهش می دهد. ما انتظار داریم که یکپارچه‌کننده‌های سیستم اکنون بتوانند توسعه و استقرار کانکتورها را تسریع کنند و در نتیجه اکوسیستم شریک Databricks را بیشتر گسترش دهند.

Databricks گفت

خوشه بندی مایع برای رسیدگی به مشکلات عملکرد در مورد عملیات خواندن و نوشتن داده ها معرفی شده است.

برخلاف روش‌های سنتی مانند پارتیشن‌بندی به سبک Hive که پیچیدگی مدیریت داده‌ها را به دلیل استفاده از طرح‌بندی داده‌های ثابت برای بهبود عملکرد خواندن و نوشتن افزایش می‌دهد، خوشه‌بندی مایع یک قالب طرح‌بندی داده انعطاف‌پذیر را ارائه می‌دهد که Databricks ادعا می‌کند که هزینه‌ها را فراهم می‌کند. با افزایش اندازه داده ها، خوشه بندی کارآمد.