Databricks برای به دست آوردن سازنده پلت فرم ذخیره سازی Tabular

در حالی که Snowflake درباره استفاده از Iceberg برای ارتقای قابلیت همکاری صحبت می کند، Databricks در حال خرید Tabular است، ابزاری که سازندگان Iceberg بر اساس قالب جدول Iceberg ساخته اند.

Databricks موافقت کرده است Tabular، فروشنده پلتفرم ذخیره سازی تحت رهبری سازندگان Apache Iceberg را به منظور ارتقای قابلیت همکاری داده ها در Lakehouses خریداری کند.

بنیانگذاران Tabular رایان بلو و دانیل ویکس در سال ۲۰۱۷ شروع به توسعه Iceberg در نتفلیکس کردند و آن را در سال ۲۰۱۸ به بنیاد نرم افزار آپاچی اهدا کردند، تقریباً در همان زمانی که Databricks در حال توسعه Delta Lake، یک منبع باز بود. قالب جدول برای داده هایی که می توانند برای تراکنش های ACID یا پردازش OLTP استفاده شوند. در مقابل، Apache Iceberg بیشتر برای جستارهای OLAP استفاده می شود، زیرا چالش هایی در مورد نوشتن همزمان دارد.

در ژوئن ۲۰۲۲، Databricks منبع باز همه دلتا لیک APIهای را به عنوان بخشی از نسخه Delta Lake 2.0 خود منبع باز کرد و گفت که تمام پیشرفت‌های دریاچه دلتا را به بنیاد لینوکس.

قبل از منبع باز دلتا لیک، رقبایی مانند کلودرا، درمیو، گوگل (دریاچه بزرگ)، مایکروسافت، اوراکل، SAP، AWS Snowflake، HPE (Ezmeral) و Vertica از این شرکت انتقاد کرده بودند و در مورد باز بودن دریاچه دلتا تردید ایجاد کرده بودند. منبع یا اختصاصی است، در نتیجه سهمی از مشتریان احتمالی را از بین می‌برد.

با خرید Tabular، Databricks گفت که از دو قالب جدول منبع باز پیشرو برای lakehouse ها پشتیبانی می کند و همچنین پشتیبانی از جداول UniForm خود را گسترش می دهد.

«Databricks قصد دارد با جوامع دریاچه دلتا و Iceberg همکاری نزدیک داشته باشد تا سازگاری قالب را با lakehouse بیاورد. این شرکت در بیانیه‌ای گفت: در کوتاه‌مدت، درون دلتا لیک یونی‌فرم و در بلندمدت، با تکامل به سوی یک استاندارد واحد، باز و مشترک از قابلیت همکاری.  

UniForm (فرمت جهانی)، یک قالب جدول جدید است در ژوئن ۲۰۲۳ منتشر شد که قابلیت همکاری در سراسر دریاچه دلتا، کوه یخ، و هدی را فراهم می کند و از رابط کاتالوگ آرامش بخش Iceberg پشتیبانی می کند. .

جدول برف و کوه یخ در مقابل جداول Databricks و Delta Live

تحلیل‌گران نیز خرید Tabular را وسیله‌ای برای Databricks برای پشتیبانی از قابلیت همکاری قوی‌تر می‌دانند.

برادلی شیمین، تحلیلگر ارشد در Omdia گفت: «قبلاً دیده‌ایم، شرکت‌ها اغلب استعداد پروژه‌های منبع باز مهم را به عنوان ابزاری برای به دست آوردن صدایی قوی در میان جامعه توسعه‌دهندگان منبع باز پروژه به دست می‌آورند.

>

Shimmin توضیح داد: «بنیان‌گذاران Tabular joining Databricks ممکن است منجر به سازگاری بهبود یافته بین Delta Lake و استاندارد Iceberg شود، که به Databricks برتری نسبت به Snowflake در پشتیبانی از مشتریانی با اتکای شدید به داده‌های خارج از پلت فرم Snowflake می‌دهد.

با این حال، تحلیلگر ارشد خاطرنشان کرد که خرید بعید است مانع استفاده Snowflake از Iceberg as Blue شود و Weeks مدت‌هاست که پروژه را منبع باز کرده و آن را به بنیاد نرم‌افزار Apache اهدا کرده است.

تحلیلگر اصلی Constellation Research همچنین معتقد است که Apache Iceberg در حال حاضر همه استانداردهای دیگر را تحت الشعاع قرار داده است و تلاش Databricks برای ایجاد قابلیت همکاری برای قالب جدول حتی آن را بیشتر به سمت تبدیل شدن به استاندارد جدول غالب سوق خواهد داد.

علاوه بر این، تحلیلگران خاطرنشان کردند که رقابت فقط بین دو قالب جدول باز نیست، بلکه شامل Snowflake و Databricks می شود.

“زمان بندی این معامله بدیهی است که در نظر گرفته شده است تا بخشی از کانون توجه اجلاس برف ریزه را به خود جلب کند، و سعی کند از رقیب خود در پیام های آزاد پیشی بگیرد، با این پیشنهاد که تاثیر زیادی بر آینده استاندارد Iceberg و همچنین خواهد داشت. دریاچه دلتا،” Henschen گفت.

Snowflake نیز این هفته کاتالوگ Polaris خود را به نمایش گذاشت و گفت که در ۹۰ روز آینده کاتالوگ داده را منبع باز خواهد کرد.

کاتالوگ Polaris یک کاتالوگ داده‌ای است که در بالای کوه یخ ساخته شده است تا نیاز شرکت‌ها را برای دسترسی به یک پیشنهاد خنثی از فروشنده که با قابلیت‌های حاکمیت داده همراه است و از موتورهای پرس و جوی متقابل پشتیبانی می‌کند، برطرف کند.

راه‌اندازی کاتالوگ Polaris، که مشابه کاتالوگ یونیتی Databricks است، به گفته تحلیلگران، استراتژی‌ای بود که توسط Snowflake برای جذب کاربران کاتالوگ داده‌ها از Databricks رقیب و در عین حال تقویت جذابیت پیشنهاد خود استفاده شد.

تحلیل‌گر ارشد Amalgam Insights همچنین Henschen را پشتیبانی کرد و گفت که هر دو ارائه‌دهنده داده lakehouse در تلاش هستند نشان دهند که برای پشتیبانی از محیط داده سازمانی در انواع قالب‌ها و انواع داده‌ها مناسب‌تر هستند.

پارک توضیح داد: “Databricks از این خرید سود می برد زیرا نشان می دهد که می تواند Iceberg را پشتیبانی کند، که مسلماً فرمت جدول پشتیبانی می شود.”، و افزود که اگرچه Databricks به طور سنتی یک مشارکت کننده منبع باز خوب برای پروژه های خود توسعه یافته خود بوده است. جامعه مشارکت کنندگان Iceberg اکنون بسیار بزرگتر از Tabular با تعهدات بسیاری از فروشندگان بزرگ است.

با این حال، Henschen اشاره کرد که طرف‌های علاقه‌مند زیادی وجود دارد که هر شرکتی نمی‌تواند بر آیس‌برگ مسلط شود، اگرچه خرید Tabular ممکن است به Databricks برتری در جبهه Iceberg بدهد.  

Databricks در مقابل Snowflake: رقابتی در خرید

Databricks اخیراً شرکت‌هایی را خریداری کرده است و در اوایل ماه مارس، Databricks هوش مصنوعی Lilac مستقر در بوستون را خریداری کرد تا به شرکت‌ها کمک کند داده‌های بدون ساختار خود را برای ساختن برنامه‌های مبتنی بر هوش مصنوعی مولد کاوش و استفاده کنند.

پیش از آن،  Databricks LLM و ارائه‌دهنده نرم‌افزار آموزش مدل MosaicML را به مبلغ ۱.۳ میلیارد دلار خریداری کرد تا بتواند پیشنهادات هوش مصنوعی خود را در ژوئن ۲۰۲۳ تقویت کند.

قبل از خرید Lilac AI و MosaicML، این شرکت ارائه‌دهنده پلتفرم مدیریت داده مبتنی بر هوش مصنوعی Okera را با مبلغی نامشخص در ماه می سال گذشته خریداری کرد.

انتظار می‌رفت که این اکتساب همزمان با آموزش و مدیریت مدل‌های زبان بزرگ (LLM)، مانند منبع باز اختصاصی آن، Dolly 2.0 LLM، قابلیت‌های مدیریت داده Databricks را تقویت کند.< /p>

Snowflake نیز شرکت‌هایی را خریداری کرده است که نه تنها پیشنهادات هوش مصنوعی تولیدی آن را تقویت می‌کنند، بلکه قابلیت‌های آن را در زمینه مدیریت داده‌ها نیز تقویت می‌کنند.

آخرین خرید آن به شکل خرید دارایی‌های شرکت از یک پلتفرم مشاهده‌پذیری بود که شرکت TruEra را ارائه می‌دهد – استارت‌آپی که همچنین در ارائه قابلیت‌های مدیریت چرخه حیات برای یادگیری ماشینی تخصص دارد. و LLM.

سال گذشته در ماه مه، شرکت انبار داده  مبتنی بر ابر Neeva، استارت‌آپی مستقر در Mountain View، کالیفرنیا را به مبلغ نامشخصی در تلاش برای افزودن آن خریداری کرد. جستجوی مبتنی بر هوش مصنوعی در پلتفرم ابر داده آن.

در فوریه ۲۰۲۳، Snowflake LeapYear را خریداری کرد تا توانایی‌های اتاق تمیز داده خود را تقویت کند.

خرید LeapYear تنها یک ماه پس از آن صورت گرفت که Snowflake با خرید ارائه‌دهنده پلت‌فرم پیش‌بینی سری‌های زمانی مبتنی بر هوش مصنوعی Myst AI موافقت کرد و تعداد خرید این شرکت را در سه سال به هفت شرکت رساند.