Databricks با Snowflake مسابقه می دهد تا کد منبع کاتالوگ داده را باز کند

Databricks’ Unity Catalog که اکنون تحت مجوز آپاچی ۲.۰ منبع باز است، با کاتالوگ Polaris Snowflake رقابت می کند که به زودی منبع باز خواهد شد.

فقط چند روز پس از اینکه رقیب data lakehouse ارائه‌دهنده Snowflake گفت که کد منبع را برای کاتالوگ Polaris خود باز می‌کند، Databricks در حال ارائه منبع Unity Catalog خود است.

کاتالوگ Unity Databricks، که به طور کلی در ژوئن ۲۰۲۲ در دسترس قرار گرفت و بعدا با قابلیت‌های Okera به‌روزرسانی شد، قبلاً یک حاکمیت یکپارچه منبع بسته بود. /a> که قابلیت‌های کنترل دسترسی متمرکز، حسابرسی، اصل و نسب و کشف داده را در سراسر فضاهای کاری Databricks ارائه می‌دهد.

وقتی Snowflake Polaris Catalog را در کنفرانس سالانه خود در اوایل این ماه منتشر کرد، گفت که آن را ظرف سه ماه منبع باز خواهد کرد. قابلیت‌های مشابه Unity Catalog را ارائه می‌کند، اما در قالب جدول داده‌های منبع باز محبوب Apache Iceberg ساخته شده است.  

هیون پارک، تحلیلگر ارشد Amalgam Insights گفت: «نگاه کردن به اعلامیه Unity Catalog بدون فکر کردن به رقابت ثابتی که بین Databricks و Snowflake برای توجه سازمانی وجود دارد، دشوار است.

پارک افزود: “با منبع‌دهی باز Unity قبل از Polaris، Databricks می‌خواهد به عنوان اولین منبع باز کاتالوگ داده‌های خود قرار گیرد.”

Now Databricks می‌گوید کاتالوگ Unity منبع باز تحت مجوز Apache 2.0 دارد و آن را باز کرده است. همه APIهای آن نیز.

مجوز Apache 2.0 که توسط بنیاد نرم افزاری آپاچی در سال ۲۰۰۴ معرفی شد، مجوز نرم افزاری است که به کاربران اجازه می دهد تغییرات را انجام دهند. و کد را بدون هیچ هزینه ای توزیع کنید.

پس از منبع باز، کاتالوگ یک رابط جهانی را در اختیار کاربران قرار می دهد که از داده ها در هر قالب و محیط محاسباتی پشتیبانی می کند، مانند توانایی خواندن جداول با دریاچه دلتا، کوه یخ آپاچی، و < این شرکت می‌گوید: یک مشتری href="https://hudi.apache.org/docs/overview/" rel="nofollow">Apache Hudi از طریق Delta Lake UniForm.

نسخه منبع باز اکنون از کاتالوگ Iceberg REST و استانداردهای رابط Hive Metastore (HMS) نیز پشتیبانی می کند.

علاوه بر این، Unity Catalog به ارائه حاکمیت یکپارچه در سراسر دارایی‌های هوش مصنوعی، مانند مدل‌های آموزش ماشینی (ML) و ابزارهای AI مولد ادامه خواهد داد.

بر اساس گفته‌های استوارت باند، معاون تحقیقات IDC، اقدام برای باز کردن APIهای Unity Catalog، دسترسی آزاد به اطلاعات مربوط به داده‌های نگهداری شده در محیط Databricks را فراهم می‌کند.

باند گفت: «این مهم است زیرا فرصت‌هایی را برای یک شرکت فراهم می‌کند تا اطلاعات مربوط به داده‌های Databricks را در کاتالوگ‌هایی ادغام کرده و با آن‌ها به اشتراک بگذارد که اطلاعات مربوط به داده‌های ذخیره شده در جاهای دیگر را حفظ می‌کند. از هوشمندی داده ها به گونه ای که مصرف کنندگان داده، مهندسان و مدیران اجرایی نیازی به استفاده از ابزارهای متعدد برای کشف، مدیریت و کنترل همه داده ها در یک شرکت معین ندارند.

این رویکرد پشتیبانی از یکسان سازی داده ها، طبق گفته استیون دیکنز، رهبر عملی گروه Futurum برای ابر هیبریدی، قفل فروشنده را حذف می کند و به کسب و کارها اجازه می دهد بهترین ابزارها و پلتفرم ها را برای نیازهای خود انتخاب کنند و در عین حال از حاکمیت و امنیت پایدار در سراسر خود اطمینان حاصل کنند. دارایی داده.

مسابقه ای که باید به عنوان منبع بازتر دیده شود

منبع باز Unity Catalog، که پس از تصمیم Snowflake برای کاتالوگ منبع باز Polaris در عرض سه ماه، توسط تحلیلگران به عنوان رقابتی برای دیده شدن به عنوان کاربران منبع بازتر و استفاده از کاتالوگ داده دیده می شود.

دیکنز Futurum گفت که حرکت Databricks به کاتالوگ Unity منبع باز چالش مهمی برای رقبایی مانند Snowflake، Teradata و Dremio است.

او گفت: «تاکید بر قابلیت همکاری و تعهد منبع باز تضمین می‌کند که Databricks می‌تواند طیف وسیع‌تری از نیازهای مشتری را برآورده کند و اصطکاک مرتبط با سازگاری قالب داده را کاهش دهد.

دیکنز افزود: “Teradata و Dremio، در حالی که در جایگاه های مربوطه خود قوی هستند، سطح یکپارچه سازی و ابزار جامع برای مدیریت داده ها و هوش مصنوعی را نشان نداده اند.”

با این حال، IDC’s Bond اشاره کرد که موفقیت کاتالوگ Unity اکنون به منبع باز بستگی به این دارد که چه مقدار ابرداده در مورد داده های ذخیره شده در پلتفرم های رقابتی در دسترس فرآیندهای خارجی قرار می گیرد.

«یونیتی هنوز یک کاتالوگ بسیار فنی است. باند گفت، تبدیل آن به منبع باز ممکن است نوآوری‌ها در تجربیات کاربری در سطح کسب‌وکار را تسریع کند و یونیتی را رقابتی‌تر کند.