هدف گوگل پشتیبانی از دریاچه داده BigLake برای همه داده های بدون ساختار است

آنچه باید در مورد اعلامیه های داده های Google Cloud Next بدانید: پشتیبانی BigLake از Apache Iceberg، Hudi و Delta Lake. BigQuery داده های بدون ساختار، Apache Spark و پشتیبانی DataStream را اضافه می کند. Looker Studio محصولات هوش تجاری را متحد می کند. و انتشار Vertex AI Vision.

Google روز سه‌شنبه در تلاش خود برای پشتیبانی از انواع داده‌ها و ارائه یک پلت‌فرم داده یک مرحله‌ای به شکل BigLake گفت که پشتیبانی از متداول‌ترین منبع باز را اضافه خواهد کرد. قالب‌های جدول در دریاچه‌های داده.

این شرکت که در کنفرانس سالانه Cloud Next اعلام کرد، BigLake را به عنوان سرویسی توصیف می‌کند که امکان تجزیه و تحلیل داده‌ها و مهندسی داده‌ها را بر روی داده‌های ساختاریافته و بدون ساختار می‌دهد.

گریت کازمایر، معاون تجزیه و تحلیل داده ها در

“موتور ذخیره سازی ما BigLake، پشتیبانی از Apache Iceberg، Delta Lake Databricks و Apache Hudi را اضافه خواهد کرد.” Google Cloud در یک پست وبلاگ نوشت: “با پشتیبانی از این قالب‌های داده‌ای که به طور گسترده پذیرفته شده‌اند، می‌توانیم به حذف موانعی که سازمان‌ها را از دریافت ارزش کامل از داده‌هایشان باز می‌دارد، کمک کنیم.”

این بخشی از تلاش مداوم Google است برای افزایش باز بودن کلی خدمات داده ابری خود به عنوان استراتژی برای رقابت با سایر ارائه دهندگان انبار داده و دریاچه داده مبتنی بر ابر.

پشتیبانی از Apache Iceberg در پیش نمایش در دسترس خواهد بود، این شرکت گفت که پشتیبانی از Hudi و Delta Lake به زودی ارائه خواهد شد. جدول زمانی خاصی برای پیش نمایش و در دسترس بودن عمومی اعلام نشده است.

مت آسلت، مدیر تحقیقات Ventana Research گفت:

Google تصمیم گرفته است از قالب‌های جدول منبع باز پشتیبانی کند زیرا افزودن آنها به قابلیت‌های مدیریت تراکنش به دریاچه‌های داده اجازه می‌دهد.

“بیش از نیمی (۵۷%) از پذیرندگان دریاچه داده از حداقل یکی از این قالب‌های جدول در حال ظهور استفاده می‌کنند، که پتانسیل افزایش استفاده از دریاچه‌های داده را به عنوان جایگزینی برای محیط‌های انبار داده، پشتیبانی از تجزیه و تحلیل دارد. Aslett گفت: حجم کاری مبتنی بر پردازش داده های ساختاریافته.

با این حال، تحقیقات اخیر Data Lakes Dynamics Insights توسط Ventana Research نشان داد که کمتر از یک چهارم سازمان‌ها یک دریاچه داده را برای جایگزینی محیط انبار داده موجود، و محیط‌های دریاچه داده و انبار داده اتخاذ کرده‌اند. -تقریباً در سه چهارم سازمان ها وجود دارد.

آسلت گفت: «این به نفع BigLake Google عمل می‌کند، زیرا این توانایی را دارد که هم رویکردهای انبار داده و هم رویکردهای دریاچه داده را با یک محیط مورد بررسی قرار دهد.

داگ هنشن، تحلیلگر اصلی در Constellation Research، گفت:

به نظر می‌رسد افزودن پشتیبانی Google به این قالب‌های جدول منبع باز پاسخی به Snowflake و به‌روزرسانی‌های محصول Databricks باشد.

هنشن گفت: “آپاچی یخ‌برگ گزینه جدیدی است که مورد توجه قرار می‌گیرد، زیرا نوید باز بودن و همچنین افزایش عملکرد را می‌دهد، اما گوگل با قول حمایت از دلتا لیک و هودی، به وضوح نشان می‌دهد که طرفی را انتخاب نمی‌کند.” /p>

به گفته تونی بائر، تحلیلگر اصلی dbInsight،

رقیب گوگل اوراکل نیز ممکن است ویژگی های مشابهی را در کنفرانس سالانه CloudWorld آینده خود اعلام کند.

BigQuery از داده های بدون ساختار پشتیبانی می کند

به‌عنوان بخشی از اعلامیه‌های Cloud Next، Google ویژگی‌های جدیدی را نیز به انبار داده‌های سازمانی مدیریت‌شده خود، BigQuery، اضافه کرده است که شامل پشتیبانی از داده‌های بدون ساختار نیز می‌شود.

«از هم‌اکنون، تیم‌های داده می‌توانند داده‌های ساختاریافته و بدون ساختار را در BigQuery با دسترسی آسان به قابلیت‌های Google Cloud در یادگیری ماشینی (ML)، تشخیص گفتار، بینایی رایانه، ترجمه و پردازش متن تجزیه و تحلیل کنند. کازمایر نوشت، با استفاده از رابط SQL آشنا BigQuery.

تیم های داده در اکثر شرکت ها، طبق گفته گوگل، بیشتر از داده های ساخت یافته استفاده می کنند که تنها ۱۰ درصد از کل داده های تولید شده را تشکیل می دهد. داده‌های ساختاریافته شامل داده‌های پایگاه‌های داده عملیاتی، برنامه‌های SaaS مانند Abode، SAP، ServiceNow، Workday و داده‌های نیمه‌ساختار یافته در قالب فایل‌های گزارش JSON است.

داده‌های بدون ساختار، از سوی دیگر، شامل ویدئو از آرشیو تلویزیون، صدا از مراکز تماس یا رادیو و اسناد در قالب‌های مختلف می‌شود.

Google ادعا می‌کند که شرکت‌ها با تقاضای فزاینده‌ای برای کار با داده‌های بدون ساختار مواجه هستند.

به گفته تحلیلگران،

حرکت Google برای افزودن پشتیبانی از داده های بدون ساختار، یک قابلیت متمایزکننده برای ارائه دهندگان خدمات ابری است.

هنشن گفت: در حال حاضر هیچ ارائه‌دهنده خدمات ابری رقیب دیگری به اندازه Google نیاز به پشتیبانی از داده‌های ساختار نیافته را برطرف نمی‌کند.

هنسشن اضافه کرد: «ارسال تمام انواع داده‌ها در یک پلتفرم واحد، نوید ساده‌سازی کارها را برای مدیران ارشد فناوری اطلاعات، دانشمندان داده و توسعه‌دهندگان به طور یکسان می‌دهد.

به‌روزرسانی‌های دیگر BigQuery در Cloud Next

گوگل همچنین پشتیبانی از موتور تجزیه و تحلیل یکپارچه منبع باز Apache Spark را اعلام کرد. این حرکت با استراتژی شرکت برای قرار دادن سرویس ابری خود به عنوان یک Lakehouse مدرن که از تجزیه و تحلیل، انبارداری و علم داده.

این شرکت گفت که ادغام جدید، که در پیش نمایش خصوصی خواهد بود، به تیم های داده سازمانی اجازه می دهد تا رویه هایی را در BigQuery با استفاده از Apache Spark ایجاد کنند که با خطوط لوله SQL آنها یکپارچه می شود.

هنشن گفت: «Google با پذیرش Spark، محبوب‌ترین انتخاب دانشمند داده را پذیرفته است.

“برخلاف Google، Snowflake هنوز در مراحل اولیه سفر خود به سمت علم داده با استفاده از Python و زبان های دیگر از طریق ارائه Snowpark در بالای پایگاه داده خود است و برای پشتیبانی به شدت به شرکای خود متکی است. Henschen اضافه کرد.

رقیب دیگر، Databricks، همچنین پشتیبانی از انبار داده و هوش تجاری را افزایش داده است. (BI) بارهای کاری روی پلتفرم خود دارد.

در همین حال، Google نیز سرویس جریان تغییرات خود را با نام Datastream با BigQuery یکپارچه کرده است.

«یکپارچه‌سازی جدید به سازمان‌ها کمک می‌کند تا داده‌ها را به طور مؤثرتری از انواع منابع – از جمله داده‌های بلادرنگ در AlloyDB، PostgreSQL، MySQL و پایگاه‌های داده شخص ثالث تکرار کنند. مانند Oracle – مستقیماً به BigQuery،” این شرکت در یک پست وبلاگ گفت.

به‌علاوه، Google سرویس یکپارچه‌کننده داده خود، DataPlex را به‌روزرسانی کرده است تا فرآیندهای مرتبط با کیفیت داده را خودکار کند.

کازمایر در پست وبلاگ نوشت: «به عنوان مثال، کاربران اکنون می‌توانند به راحتی خط و نسب داده‌ها را درک کنند – اینکه داده‌ها از کجا منشأ می‌گیرند و چگونه در طول زمان تغییر شکل داده و حرکت کرده‌اند – و نیاز به فرآیندهای دستی و زمان‌بر را کاهش می‌دهند.

Looker Studio محصولات هوش تجاری را متحد می کند

در Cloud Next، این شرکت گفت که محصولات هوش تجاری خود را با ادغام Looker و Data Studio برای تشکیل استودیو Looker متحد می کند که به نوبه خود در سه گزینه در دسترس خواهد بود.

کیت رایت، مدیر ارشد مدیریت محصول BI در Google Cloud، در یک پست وبلاگی نوشت: «Looker Studio در حال حاضر از بیش از ۸۰۰ منبع داده با کاتالوگ بیش از ۶۰۰ رابط پشتیبانی می‌کند و کاوش داده‌ها از منابع مختلف را ساده می‌کند.

این شرکت گفت:

Looker Studio، که در حال حاضر دسترسی پیش‌نمایش خصوصی به مدل‌های داده را ارائه می‌دهد، همچنین انتظار می‌رود رابط جدیدی دریافت کند، و افزود که نسخه پایه استودیو Looker رایگان خواهد بود.

قبل از ادغام محصولات، Looker یک سرویس پولی و Data Studio یک سرویس رایگان بود. طبق گفته آسلت، نسخه رایگان آن با پشتیبانی همراه نیست. برای دریافت پشتیبانی و ویژگی‌های اضافه، شرکت‌ها باید به نسخه حرفه‌ای استودیوی Looker به‌روزرسانی کنند.

«مشتریانی که به Looker Studio Pro ارتقا می‌دهند، ویژگی‌های مدیریت سازمانی جدید، قابلیت‌های همکاری تیمی و SLA [توافق‌نامه‌های سطح خدمات] را دریافت خواهند کرد. رایت گفت: این تنها اولین نسخه است و ما نقشه راهی از قابلیت‌ها ایجاد کرده‌ایم که با ادغام Dataplex برای نسل داده و مشاهده فراداده شروع می‌شود، که مشتریان سازمانی ما درخواست کرده‌اند.

شرکت گفت: به‌روزرسانی‌های دیگر Looker شامل پشتیبانی از ابزارهای تجسم مانند Tableau و Microsoft Power BI برای دسترسی به داده‌ها است.

Vertex AI Vision منتشر شد

در تلاشی برای کمک به توسعه‌دهندگان و دانشمندان داده در ساخت و استقرار برنامه‌های مبتنی بر بینایی رایانه، Google ویژگی جدیدی به نام Vertex AI Vision اضافه کرده است تا قابلیت‌های پلتفرم یادگیری ماشینی Vertex AI خود را گسترش دهد.

این شرکت با راه‌اندازی پلتفرم Vertex AI در سال گذشته در ماه مه، و به دنبال آن محیط توسعه مشارکتی Vertex AI، برای تسهیل عملیات یادگیری ماشین (ML) کار کرده است. میز کار در ماه اکتبر.

شرکت گفت: «محیط جدید توسعه برنامه‌های کاربردی سرتاسر به شما کمک می‌کند تا داده‌های بصری را جذب، تجزیه و تحلیل و ذخیره کنید. با یک دهم هزینه پیشنهادات فعلی.

Google ادعا می‌کند که این کارایی‌ها را با ارائه رابط کاربری نسبتاً ساده‌تر و کتابخانه‌ای از مدل‌های یادگیری ماشینی از پیش آموزش‌دیده برای کارهای رایج مانند شمارش اشغال، تشخیص محصول، و تشخیص اشیا به دست می‌آورد.

“همچنین گزینه ای را برای وارد کردن مدل های AutoML یا سفارشی ML موجود شما از Vertex AI به برنامه های Vertex AI Vision شما فراهم می کند. مثل همیشه، همه محصولات جدید هوش مصنوعی ما نیز به اصول هوش مصنوعی ما پایبند هستند.