Dremio ویژگی های جدید Apache Iceberg را به خانه داده خود اضافه می کند

ویژگی های جدید شامل توانایی کپی داده ها و بازگرداندن تغییرات در جداول Apache Iceberg است.

Dremio ویژگی‌های جدیدی را به data lakehouse خود اضافه می‌کند، از جمله توانایی کپی داده‌ها در جداول Apache Iceberg و بازگرداندن تغییرات ایجاد شده در این جداول.

Apache Iceberg یک قالب جدول منبع باز است که توسط Dremio برای ذخیره مجموعه داده های تحلیلی استفاده می شود.

شرکت گفت: برای کپی کردن داده ها در جداول Iceberg، شرکت ها و توسعه دهندگان باید از دستور جدید “copy into SQL” استفاده کنند.

“با یک فرمان، مشتریان اکنون می توانند داده ها را از فرمت های فایل CSV و JSON ذخیره شده در Amazon S3، Azure Data Lake Storage (ADLS)، HDFS، و سایر منابع داده پشتیبانی شده در جداول Apache Iceberg با استفاده از فرمت فایل پارکت ستونی کپی کنند. عملکرد،” Dremio در یک اطلاعیه چهارشنبه گفت.

عملیات کپی در کل موتور lake house زیرین توزیع می‌شود تا داده‌های بیشتری را سریع بارگیری کند.

این شرکت همچنین یک ویژگی بازگشت به جدول را برای شرکت‌ها معرفی کرده است، شبیه به پشتیبان‌گیری بازیابی سیستم ویندوز یا پشتیبان‌گیری Mac Time Machine.

این شرکت گفت که می‌توان از جداول در یک زمان خاص یا یک شناسه عکس فوری پشتیبان‌گیری کرد و افزود که توسعه‌دهندگان برای دسترسی به این ویژگی باید از دستور “بازگشت” استفاده کنند.

«ویژگی بازگشت به عقب، بازگرداندن جدول به حالت قبلی را با یک فرمان آسان می کند. Dremio می‌گوید هنگام برگرداندن جدول، یک عکس فوری Apache Iceberg از وضعیت قبلی ایجاد می‌کند و از آن به عنوان وضعیت جدید جدول فعلی استفاده می‌کند.

فرمان Optimize عملکرد کوه یخ را افزایش می دهد

در تلاشی برای افزایش عملکرد جداول Iceberg، Dremio دستور “بهینه سازی” را برای ادغام و بهینه سازی اندازه فایل های کوچکی که هنگام استفاده از دستورات دستکاری داده ها مانند درج، به روز رسانی یا حذف ایجاد می شوند، معرفی کرده است. p>

این شرکت گفت: «اغلب، مشتریان فایل‌های کوچک زیادی در نتیجه عملیات DML خواهند داشت که می‌تواند بر عملکرد خواندن و نوشتن در آن جدول تأثیر بگذارد و از فضای ذخیره‌سازی اضافی استفاده کند» و افزود که دستور «بهینه‌سازی» را می‌توان در داخل استفاده کرد. Dremio Sonar در فواصل منظم برای حفظ عملکرد.

Dremio Sonar یک موتور SQL است که قابلیت‌های ذخیره‌سازی داده‌ها را به lakehouse شرکت ارائه می‌دهد.

داگ هنشن، تحلیلگر اصلی در Constellation Research، گفت:

انتظار می‌رود که ویژگی‌های جدید بهره‌وری مهندسان داده و مدیران سیستم را بهبود بخشد و در عین حال کاربرد را برای این دسته از کاربران به ارمغان آورد.

Dremio، که یکی از طرفداران اولیه جداول Apache Iceberg در خانه‌های دریاچه بود، با شرکت‌هایی مانند Ahana و Starburst رقابت می‌کند، که هر دو از Iceberg در سال ۲۰۲۱ پشتیبانی کردند.

فروشندگان دیگر مانند Snowflake و Cloudera پشتیبانی از Iceberg را در سال ۲۰۲۲ اضافه کرد.

Dremio دارای پایگاه داده جدید، رابط های BI است

علاوه بر ویژگی‌های جدید، Dremio گفت که در حال راه‌اندازی کانکتورهای جدید برای Microsoft PowerBI، Snowflake و IBM Db2 است.

این شرکت گفت: «مشتریانی که از Dremio و PowerBI استفاده می‌کنند اکنون می‌توانند برای دسترسی به موتورهای Dremio Cloud و Dremio Software خود از PowerBI از یک ورود به سیستم (SSO) استفاده کنند، که کنترل دسترسی و مدیریت کاربر را در معماری داده‌هایشان ساده می‌کند.

>

کانکتورهای Snowflake و IBM DB2 به شرکت‌ها اجازه می‌دهند تا انبارهای داده Snowflake و پایگاه‌های داده IBM DB2 را به عنوان منابع داده برای Dremio اضافه کنند.

این کار گنجاندن داده‌ها در این سیستم‌ها را به‌عنوان بخشی از لایه معنایی Dremio آسان می‌کند و مشتریان را قادر می‌سازد این داده‌ها را در جستجوها و نماهای Dremio خود کاوش کنند.

طبق گفته Henschen، راه‌اندازی این رابط‌ها، گزینه‌های plug-and-play بیشتری را از Stable Dremio برای متخصصان تحلیلگر به ارمغان می‌آورد.