مایکروسافت فابریک از دریاچه داده به پلتفرم کاربردی تکامل می یابد

مایکروسافت با آخرین به‌روزرسانی‌های پلتفرم داده خود، فروشگاهی یک‌جا برای برنامه‌های کلان داده ارائه می‌کند.

اگر یک کسب‌وکار مدرن به یک چیز نیاز دارد، آن داده است—تا جایی که ممکن است. از انبارهای داده شروع می‌کنیم و اکنون با دریاچه‌های داده، از ابزارهای داخلی و ابری برای مدیریت و تجزیه و تحلیل آن داده‌ها استفاده می‌کنیم و آن‌ها را برای ارائه بینش‌های تجاری لازم در شکل می‌دهیم.

داده‌ها امروزه اهمیت فزاینده‌ای پیدا می‌کنند، زیرا اکنون برای آموزش و تنظیم دقیق مدل‌های AI سفارشی یا فراهم کردن زمینه ضروری برای برنامه‌های هوش مصنوعی موجود استفاده می‌شوند. Microsoft’s Fabric یک پلت فرم تجزیه و تحلیل میزبانی شده است که بر روی ابزارهای داده موجود مانند Azure Synapse ساخته شده است، بنابراین تعجب آور نیست که مایکروسافت از رویداد BUILD 2024 متمرکز بر هوش مصنوعی خود برای پرده برداری از ویژگی های جدید استفاده کرد که هدف آنها پشتیبانی از تجزیه و تحلیل در مقیاس و الزامات داده از برنامه های مدرن هوش مصنوعی.

مایکروسافت Fabric را به‌عنوان پلتفرمی توصیف می‌کند که پیچیدگی کار با مقادیر قابل‌توجهی از داده‌ها را از بین می‌برد و به شما این امکان را می‌دهد که در عوض روی تجزیه و تحلیل تمرکز کنید و از آن داده‌ها ارزش کسب کنید. این کار می‌تواند با استفاده از ابزارهایی مانند Power BI برای ساخت و اشتراک‌گذاری داشبوردهای مبتنی بر داده، یا استفاده از آن داده‌ها برای آموزش، آزمایش و اجرای هوش مصنوعی‌های سفارشی یا پایه‌گذاری مدل‌های پایه هوش مصنوعی مولد موجود باشد.

پیچیدن کوه های یخ در پارچه

یکی از مهم‌ترین ویژگی‌های جدید، اضافه کردن پشتیبانی از فرمت‌های داده بیشتر برای کمک به ادغام مایکروسافت فابریک با سایر پلت‌فرم‌های داده در مقیاس بزرگ بود. تاکنون Fabric بر روی فرمت داده‌های Delta Parquet ساخته می‌شد که توسط بنیاد لینوکس مدیریت می‌شد و توسط بسیاری از پلتفرم‌های مختلف مبتنی بر دریاچه استفاده می‌شد. فن‌آوری ذخیره‌سازی داده منبع باز آن به شما امکان می‌دهد گزارش‌های تراکنش را با فروشگاه‌های اشیاء ابری در مقیاس ترکیب کنید. نیازی به استفاده از فروشگاه های تخصصی داده نیست. در عوض، موتور داده انتخابی شما می‌تواند به سادگی با فایل Delta Lake که در Azure Blob Storage ذخیره شده است کار کند.

این یک فرم داده مهم است، اما تنها فرمولی نیست که برای مدیریت حجم زیادی از داده ها استفاده می شود. یکی از پلتفرم‌های محبوب، پلتفرم داده ابری مدیریت‌شده Snowflake است که از قالب جدول باز Apache’s Iceberg استفاده می‌کند. این از ابزارهای SQL مانند برای مدیریت کلان داده‌های شما استفاده می‌کند و به شما امکان می‌دهد به سرعت جداول بزرگ را ویرایش کنید و طرحواره فعلی خود را ویرایش کنید.

اگر مایکروسافت فابریک قرار است مرکز داده‌های هوش مصنوعی در Azure باشد، باید تا حد امکان از منابع داده پشتیبانی کند. بنابراین، یکی از مهم‌ترین اطلاعیه‌های پلتفرم داده در BUILD، پشتیبانی از Iceberg در محیط داده OneLake مایکروسافت فابریک در کنار Delta Parquet و همچنین ابزارهایی برای پیوند دو طرفه بین مایکروسافت فابریک و Snowflake بود که به شما امکان می‌داد با ابزارهایی که دارید کار کنید. ترجیح می دهند.

یکی از جنبه‌های کلیدی پشتیبانی Fabric از Iceberg، استفاده از میانبرها برای ترجمه ابرداده بین دو فرمت و اجازه دادن به پرسش‌ها و ابزارهای تحلیلی است که آنها را بدون توجه به جایی که میزبانی می‌کنند، به عنوان یک منبع واحد در نظر بگیرند. این باید به سازمان‌هایی که مجموعه داده‌های بزرگ موجود در Snowflake یا سایر محیط‌های Iceberg میزبانی می‌شوند، اجازه دهد تا از مزیت مایکروسافت فابریک و ادغام آن با ابزارهایی مانند Azure AI Studio استفاده کنند. این باید فرآیند آموزش مدل‌های هوش مصنوعی را بر روی داده‌هایی که در فضای ابری Snowflake نگهداری می‌شوند، بدون نیاز به ذخیره آن‌ها در دو مکان مجزا، ساده کند.

همین رویکرد با ابزارهای بازاریابی مبتنی بر ابر Adobe و با Azure Databricks اتخاذ شده است. از آنجایی که آنها از ابزارهای میانبر مایکروسافت فابریک استفاده می کنند، می توانید کاتالوگ های Databricks موجود را به Fabric بیاورید و در همان زمان، داده های OneLake شما به عنوان یک کاتالوگ در Azure Databricks قابل مشاهده خواهد بود. این به شما امکان می‌دهد از ابزاری استفاده کنید که برای کار مورد نیازتان بهترین است، با جریان‌های کاری که از مجموعه‌های ابزار مختلف بدون به خطر انداختن داده‌های شما عبور می‌کند.

پشتیبانی داده بلادرنگ بهبود یافته

اگرچه مایکروسافت فابریک از یک نوع داده کلیدی پشتیبانی می‌کرد – داده‌های جریانی در زمان واقعی – برای استفاده مؤثر از آن داده‌ها به دو ابزار مختلف نیاز داشت. اجرای تجزیه و تحلیل بر روی داده‌های زنده از سیستم‌های تجاری شما و سیستم‌های صنعتی اینترنت اشیا می‌تواند بینش‌های سریعی را ارائه دهد که به شما کمک می‌کند تا قبل از اینکه روی کسب‌وکارتان تأثیر بگذارد، مشکلات را پیدا کنید، به‌ویژه زمانی که به ابزارهایی مرتبط باشید که می‌توانند هشدارها و اقداماتی را در زمانی که داده‌های شما نشان‌دهنده مشکل هستند، راه‌اندازی کنند.

واقعی جدید -Time Intelligence tool یک هاب برای کار با داده های جریانی فراهم می کند. می توانید آن را معادل یک دریاچه داده برای داده های بلادرنگ خود در نظر بگیرید که آن را از منابع متعدد وارد می کند و مجموعه ای از ابزارها را برای مدیریت و تبدیل آن داده ها ارائه می دهد. نتیجه یک محیط توسعه بدون کد است که از استعاره کانکتور آشنا برای کمک به ایجاد مسیرهایی برای داده های شما، استخراج اطلاعات و مسیریابی داده های جریانی به دریاچه داده برای تجزیه و تحلیل بیشتر استفاده می کند. داده‌های جریانی می‌توانند از داخل Azure و از دیگر منابع داده خارجی دریافت شوند.

این روش به شما کمک می کند حداکثر مقدار را از داده های جریانی خود استخراج کنید. با راه اندازی رویدادهای دور از دسترس، می توانید به سرعت پاسخ دهید، کلاهبرداری را در یک پلت فرم تجارت الکترونیک به دام بیندازید یا خرابی های اولیه را در ماشین آلات ابزار دقیق مشاهده کنید. داده ها به ابزاری برای آموزش مدل های جدید هوش مصنوعی تبدیل می شوند که می توانند آن فرآیندها را خودکار کنند.

پرس و جوهای زبان طبیعی با Copilots

مایکروسافت یک رابط زبان طبیعی به شکل Copilot خود به Fabric اضافه کرده است. هدف از این کار این است که کاربران بتوانند سوالات سریعی در مورد داده‌های سری زمانی خود بپرسند و زبان کوستو پرس و جو (KQL) را ایجاد کند که برای تکرار یا اصلاح پرس و جو لازم است. به طور مفید، این رویکرد به شما کمک می کند تا استفاده از KQL را یاد بگیرید. می توانید به سرعت ببینید که یک پرس و جو KQL چگونه با سؤال اولیه شما مرتبط است، که به کاربران بی تجربه اجازه می دهد تا مهارت های تجزیه و تحلیل داده های لازم را انتخاب کنند.

همان Copilot زیربنایی برای ساخت ویژگی جدید مهارت‌های هوش مصنوعی مایکروسافت فابریک استفاده می‌شود. در اینجا شما با انتخاب یک منبع داده شروع می کنید و با استفاده از سوالات زبان طبیعی و بدون پیکربندی اضافی، به سرعت پرس و جوهای پیچیده ایجاد می کنید و در صورت لزوم منابع و جداول اضافی را اضافه می کنید. دوباره، ابزار هوش مصنوعی پرس و جوی ساخته شده را به شما نشان می دهد و به شما امکان می دهد ویرایش کنید و نتیجه را با همکاران به اشتراک بگذارید. مایکروسافت قصد دارد این مهارت‌ها را در اختیار استودیو Copilot قرار دهد و یک محیط توسعه سرتاسر و بدون کد برای داده‌ها و گردش‌های کاری در اختیار شما قرار دهد.

افزودن APIهای برنامه به تجزیه و تحلیل فابریک مایکروسافت

Microsoft Fabric یک ابزار تحلیلی مهم است و همچنین یک هاب برای مدیریت و کنترل کلان داده‌های شما ارائه می‌دهد که برای استفاده در سایر برنامه‌ها آماده است. آنچه لازم است راهی برای پیوست کردن APIها به آن داده‌ها است تا نقاط انتهایی Fabric بتوانند در کد شما ساخته شوند. تاکنون همه Fabric APIها APIهای مدیریتی RESTful برای ساخت ابزارهای مدیریتی شما بودند. این آخرین مجموعه به‌روزرسانی‌ها به شما امکان می دهد API های GraphQL خود را به داده های خود اضافه کنید.

دریاچه‌های داده و خانه‌های دریاچه می‌توانند طرح‌واره‌های مختلفی داشته باشند، بنابراین استفاده از تعاریف API مبتنی بر نوع GraphQL، ساخت API‌هایی را ممکن می‌سازد که در تمام داده‌های Fabric شما کار می‌کنند و داده‌ها را از همه منابع شما در یک شی JSON برمی‌گردانند. نیازی نیست کد شما از داده های موجود در محیط Fabric شما اطلاعاتی داشته باشد. موتور پرس و جو Fabric تمام انتزاعات لازم را فراهم می کند.

ایجاد یک API یک فرآیند بدون عارضه است< /a>. در محیط مدیریت فابریک مایکروسافت، با نامگذاری API خود شروع کنید. سپس منابع و جداولی را که می خواهید در معرض دید قرار دهید انتخاب کنید. این طرحواره GraphQL را ایجاد می کند و می توانید در کاوشگر طرحواره داخلی برای تعریف پرس و جوها و هرگونه رابطه لازم بین جداول کار کنید. در حال حاضر همه منابع داده Fabric پشتیبانی نمی شوند، اما باید بتوانید با مجموعه فعلی نقاط پایانی تجزیه و تحلیل، که به شما امکان می دهد به داده های تجزیه و تحلیل موجود دسترسی داشته باشید، شروع کنید. این به مایکروسافت فابریک اجازه می‌دهد داده‌ها را ذخیره کند، درخواست‌های تحلیلی را اجرا کند، نتایج را در جداول ذخیره کند، و سپس دسترسی API به آن نتایج را ارائه دهد.