مایکروسافت CLI، SDK برای Snowflake، و سایر پایگاه‌های داده وارد کردن داده‌های Azure ML را ارائه می‌کند

ادغام جدید، که در پیش نمایش عمومی است، برای آوردن داده ها به سرویس Azure ML از مخازن داده خارج از پلت فرم Azure طراحی شده است.

مایکروسافت با ادغام جدیدی عرضه شده است که به کاربران Snowflake و AWS S3 امکان می دهد داده های خود را برای آموزش و توسعه مدل هوش مصنوعی به سرویس یادگیری ماشینی Azure (ML) خود بیاورند.

یکپارچه‌سازی از طریق یک رابط خط فرمان واردات داده جدید (CLI) و کیت توسعه نرم‌افزار (SDK) انجام می‌شود که به داده‌ها اجازه می‌دهد از مخازن داده خارج از پلتفرم، Amar Badal، وارد شوند، مدیر ارشد یادگیری ماشینی Azure، در پست وبلاگ.

CLI یک رابط کاربری مبتنی بر متن است که می‌تواند برای درخواست فایل‌ها، اجرای برنامه‌ها و تعامل با یک نمونه رایانه یا سرور استفاده شود.

Badal نوشت، از کیت CLI و SDK می توان استفاده کرد، برای مثال، برای ایجاد یک ارتباط بین نمونه Snowflake و Azure ML، و اضافه کرد که یک دانشمند داده می تواند اتصال را جستجو کند تا داده های مورد نیاز را در داخل سرویس یادگیری ماشین بکشد. اگر این سناریو مستلزم وارد کردن داده‌ها در یک زمان‌بندی باشد، می‌توان از الگوهای رایج کرون یا تکرار برای تعریف فراوانی واردات استفاده کرد.

Crons برنامه‌های کاربردی هستند که به کاربران اجازه می‌دهند تا با وارد کردن مجموعه‌ای از دستورات در یک CLI، کارهای تکراری را در یک زمان مشخص زمان‌بندی کنند.

CLI و SDK جدید برای کمک به دانشمندان داده

به گفته تونی بائر، تحلیلگر اصلی dbInsights، ادغام جدید با هدف کمک به دانشمندان داده در بهبود بهره وری و کوتاه کردن توسعه محصول یا چرخه عمر آموزش مدل انجام شده است.

مایکروسافت تاکید کرد که ویژگی‌های جدید نیاز دانشمندان داده را برای برقراری ارتباط منظم با تیم‌های مهندسی داده را برطرف می‌کند.

Badal نوشت: «هر واردات، چه برنامه‌ریزی‌شده یا نه، یک نسخه منحصربه‌فرد از مجموعه داده ایجاد می‌کند که به نوبه خود در مشاغل آموزشی استفاده می‌شود، و به دانشمندان داده قابلیت ردیابی مورد نیاز را در سناریوهایی که نیاز به آموزش مجدد یا ممیزی مدل دارند، می‌دهد.» p>

داگ هشن، تحلیلگر اصلی در Constellation Research، موافقت کرد که ابزارهای جدید به ویژه برای دانشمندان داده مفید خواهد بود، و خاطرنشان کرد: «هر شرکتی که Snowflake را روی Azure اجرا کند، گزینه‌ی یکپارچه دیگری برای انجام علم داده با داده‌ها به دست خواهد آورد. در Snowflake مدیریت می شود.”

استراتژی Azure ML متفاوت از Snowflake’s Snowpark

به گفته تحلیلگران، ادغام مایکروسافت در مقایسه با Snowflake رویکرد متفاوتی برای یادگیری ماشین دارد. Snowflake Snowpark را ارائه می دهد که به توسعه دهندگان اجازه می دهد ابزارهای دلخواه خود را بدون سرور در موتور محاسباتی انبار مجازی Snowflake اعمال کنند.

“Azure ML مسیر Snowpark را طی نکرد. در عوض، مایکروسافت می‌گوید به جای پیاده‌سازی عملکردهای Azure ML به‌عنوان توابع تعریف‌شده توسط کاربر (UDF) در Snowpark، داده‌ها را از Snowflake وارد کنید و آن‌ها را در محیط خود پردازش کنید. بائر گفت: این بی سابقه نیست، زیرا شریک Snowflake H2O روش مشابهی را در پیش گرفته است.

طبق گفته Henschen، تاکتیک Azure برای دنبال نکردن مسیر Snowpark را می‌توان تا حد زیادی به استراتژی Snowflake نسبت داد.

«Snowflake Snowpark را برای تسهیل کار علم داده ایجاد کرد، اما تا حد زیادی آن را به شرکای خود واگذار کرد تا نرم‌افزار و خدمات مورد نیاز برای اجرا را ارائه دهند. Henschen گفت: مشتریان Snowflake به شرکای مانند مایکروسافت نیاز دارند تا از داده های مدیریت شده در پلت فرم Snowflake حداکثر استفاده را ببرند.

در کنار یکپارچه‌سازی جدید CLI و SDK، که هنوز در پیش‌نمایش عمومی است، این شرکت یک ویژگی مدیریت چرخه حیات جدید را در ذخیره‌گاه داده‌های مدیریت‌شده Azure ML معرفی کرده است که “Hosted on Behalf of” یا HOBO datastore نام دارد.

به گفته Badal، این پیشنهاد به کاربران این حق را می دهد که داده های وارد شده را از مخازن مانند Snowflake و AWS S3 از طریق یکپارچه سازی جدید CLI و SDK مدیریت کنند.

«یک خط‌مشی برای حذف خودکار دارایی داده‌های وارد شده در صورت عدم استفاده به مدت ۳۰ روز توسط هر کار، روی هر دارایی داده وارد شده در ذخیره‌گاه داده مدیریت‌شده AzureML تنظیم شده است. تنها کاری که باید انجام دهید این است که «azureml://datastores/workspacemanagedstore» را به‌عنوان مسیری که تعریف واردات و استراحت آنها توسط AzureML انجام می‌شود، تنظیم کنید. مجموعه ای که بیش از ۳۰ روز بدون استفاده باقی می ماند.

به گفته Henschen، این ویژگی در توسعه و به‌روزرسانی مداوم و جایگزینی مدل‌های یادگیری ماشین بسیار مهم است.

مایکروسافت گفت

ویژگی مدیریت چرخه حیات نیز در پیش نمایش عمومی است.