مایکروسافت برنامه .NET را به آپاچی اسپارک می آورد

.NET برای Apache Spark 1.0 API های NET با کارایی بالا را برای Apache Spark از جمله Spark SQL، Spark Streaming و MLlib ارائه می کند.

مایکروسافت و بنیاد دات نت نسخه ۱.۰ دات نت را برای Apache Spark منتشر کرده اند، یک بسته منبع باز که توسعه دات نت را به موتور تجزیه و تحلیل Spark برای پردازش داده در مقیاس بزرگ می آورد. p>

در ۲۷ اکتبر اعلام شد. کاربران می‌توانند به Spark DataFrame API دسترسی داشته باشند، Spark SQL بنویسند، و توابع تعریف‌شده توسط کاربر UDF ایجاد کنند.

چارچوب .NET برای Apache Spark در صفحه GitHub بنیاد دات نت یا از NuGet. سایر قابلیت های دات نت برای Apache Spark 1.0 عبارتند از:

• یک چارچوب برنامه افزودنی API برای افزودن پشتیبانی از کتابخانه‌های Spark اضافی از جمله Linux Foundation Delta Lake، Microsoft OSS Hyperspace، ML.NET و Apache Spark MLlib.
• .NET برای برنامه‌های Apache Spark که UDF نیستند، همان سرعت برنامه‌های غیرUDF مبتنی بر Scala و PySpark را نشان می‌دهند. اگر برنامه‌ها شامل UDF هستند، برنامه‌های .NET برای Apache Spark حداقل به سرعت برنامه‌های PySpark هستند یا ممکن است سریع‌تر باشند.
• .NET برای Apache Spark در Azure Synapse و Azure HDInsight تعبیه شده است. همچنین می‌توان از آن در دیگر پیشنهادات ابری Apache Spark از جمله Azure Databricks استفاده کرد.

اولین نسخه عمومی این پروژه در آوریل ۲۰۱۹ اعلام شد. توسعه دات نت برای Apache Spark باعث افزایش تقاضا برای روشی آسان تر برای ساخت برنامه های کلان داده به جای یادگیری اسکالا یا پایتون شد. این پروژه تحت بنیاد NET اداره می شود و به عنوان یک پیشنهاد بهبود پروژه Spark ثبت شده است تا مستقیماً در پروژه Apache Spark گنجانده شود.

با نگاهی به آینده، مایکروسافت در حال رفع موانع از جمله تنظیم پیش نیازها و وابستگی‌ها و یافتن اسناد با کیفیت، با نمونه‌هایی مانند تصاویر Docker “آماده برای اجرا” و به‌روزرسانی‌های .NET برای اسناد Apache Spark است. اولویت دیگر پشتیبانی از گزینه‌های استقرار از جمله ادغام با خطوط لوله CI/CD و انتشار کارهای مستقیم از ویژوال استودیو است.