استفاده از مدل های یادگیری ماشینی Hugging Face در Azure

مایکروسافت در تلاش است تا مدل‌های یادگیری ماشین منبع باز را به برنامه‌ها و سرویس‌های Azure بیاورد.

روز اخیر منبع باز Azure مایکروسافت یک برنامه مرجع جدید را به نمایش گذاشت که با استفاده از ابزارها و خدمات بومی ابری ساخته شده بود، با تمرکز بر ابزارهای منبع باز خود مایکروسافت. این برنامه برای کمک به مالکان برای اتحاد مجدد با حیوانات خانگی گمشده ساخته شده است. از یادگیری ماشینی برای مقایسه سریع عکس های یک حیوان گم شده با تصاویر پناهگاه های حیوانات، امداد و نجات و سایت های اجتماعی استفاده می کند. این مثال خوبی است از اینکه چگونه ابزارهای منبع باز می‌توانند سایت‌ها و سرویس‌های پیچیده بسازند، از زیرساخت به‌عنوان ابزار کد گرفته تا چارچوب‌های کاربردی و ابزارهای مختلفی که عملکردی را به کد اضافه می‌کنند.

در قلب برنامه یک مدل یادگیری ماشینی منبع باز قرار دارد، بخشی از کتابخانه ای از هزاران مدل و مجموعه داده که توسط انجمن Hugging Face و بر مجموعه وسیعی از ابزارها و خدمات مختلف آن ساخته شده است. مقیاس جامعه دلیل خوبی برای استفاده از مدل‌های Hugging Face است، یا آن‌ها را برای استنباط در کد خود وارد کنید، روی سرورهای خودتان اجرا کنید، یا از طریق یک API ابری به آن‌ها دسترسی پیدا کنید.

چرا از Hugging Face استفاده کنیم؟

دلیل دیگری برای فکر کردن به کار با Hugging Face وجود دارد در Azure: به شما این امکان را می دهد که هوش مصنوعی را برای بسیاری از مشکلات تجاری مختلف اعمال کنید. اگرچه APIهای خدمات شناختی خود مایکروسافت بسیاری از سناریوهای متداول هوش مصنوعی را با APIهای کاملاً تعریف شده پوشش می دهند، اما دیدگاه یک شرکت در مورد اینکه خدمات یادگیری ماشینی برای شرکت ها معنادار است، هستند. این باعث می شود که آنها چیزی شبیه به یک جک از همه معاملات باشند که برای اهداف عمومی به جای کارهای خاص طراحی شده اند. اگر کد شما نیاز به پشتیبانی از edge case دارد، افزودن تنظیمات مناسب به APIها می‌تواند کار زیادی باشد.

بله، این امکان وجود دارد که مدل‌های خاص خود را با استفاده از استودیوی یادگیری ماشینی Azure بسازید، با ابزارهایی مانند PyTorch و TensorFlow برای طراحی و آموزش مدل‌ها از ابتدا کار کنید. اما این نیاز به تخصص قابل توجهی در علم داده و یادگیری ماشین در ساخت و آموزش مدل‌ها دارد. مسائل دیگری با رویکرد “از ابتدا” به یادگیری ماشین وجود دارد. Azure تعداد گسترده‌ای از گزینه‌های ماشین مجازی برای آموزش یادگیری ماشین دارد، اما این فرآیند می‌تواند نیازهای محاسباتی قابل توجهی داشته باشد و اجرای آن پرهزینه است، به خصوص اگر در حال ساخت یک مدل بزرگ هستید که به داده‌های زیادی نیاز دارد. همه ما هوش مصنوعی باز نیستیم و بودجه لازم برای ساخت ابررایانه های میزبان ابری برای آموزش را نداریم!

با بیش از ۴۰۰۰۰ مدل بر روی چارچوب مدل ترانسفورماتور، Hugging Face می‌تواند به اتصال کوتاه مشکل سفارشی‌سازی کمک کند. داشتن مدل هایی که توسط جامعه برای سناریوهای بسیار بیشتر از مایکروسافت به تنهایی ساخته و آموزش دیده اند. شما به متن نیز محدود نیستید. Transformers Hugging Face برای کار با زبان طبیعی، صدا و بینایی کامپیوتری آموزش دیده اند. Hugging Face این عملکردها را به عنوان “وظایف” توصیف می کند، به عنوان مثال، بیش از ۲۰۰۰ مدل مختلف برای طبقه بندی تصاویر و تقریبا ۱۸۰۰۰ مدل برای طبقه بندی متن.

صورت در آغوش گرفته در لاجوردی

مایکروسافت اخیراً پشتیبانی از مدل‌های Hugging Face را در Azure راه‌اندازی کرده است. ، مجموعه ای از نقاط پایانی را ارائه می دهد که می توانند در کد شما استفاده شوند، با مدل های وارد شده از Hugging Face Hub و از خط لوله API آن. مدل‌ها توسط انجمن Hugging Face ساخته و آزمایش می‌شوند، و رویکرد نقطه پایانی به این معنی است که آنها برای استنباط آماده هستند.

مدل ها بدون هزینه در دسترس هستند. تنها چیزی که برای آن هزینه می کنید منابع محاسباتی Azure برای اجرای وظایف استنتاج است. این ناچیز نیست، به خصوص اگر با حجم زیادی از داده کار می کنید، و باید قیمت را با خدمات شناختی خود Azure مقایسه کنید.

ساخت نقاط پایانی برای کد شما

ایجاد نقطه پایانی به اندازه کافی ساده است. در Azure Marketplace، Hugging Face Azure ML را انتخاب کنید تا این سرویس به حساب شما اضافه شود. نقطه پایانی خود را به یک گروه منبع اضافه کنید، سپس یک منطقه را انتخاب کنید و به آن بدهید یک نام اکنون می توانید یک مدل از Hugging Face Hub انتخاب کنید و شناسه مدل و هر کار مرتبط را انتخاب کنید. در مرحله بعد، یک نمونه محاسباتی Azure را برای سرویس و یک VNet را برای ایمن نگه داشتن سرویس خود انتخاب کنید. این برای ایجاد یک نقطه پایانی، ایجاد URL ها و کلیدهای لازم برای استفاده از آن کافی است.

معمولاً، این سرویس از نقاط پایانی برای مقیاس خودکار در صورت لزوم، بر اساس تعداد درخواست‌ها در دقیقه پشتیبانی می‌کند. به طور پیش‌فرض، شما به یک نمونه محدود می‌شوید، اما می‌توانید از لغزنده‌های موجود در صفحه پیکربندی برای تنظیم حداقل و حداکثر تعداد نمونه‌ها استفاده کنید. مقیاس بندی بر اساس تعداد متوسط ​​درخواست ها در یک دوره پنج دقیقه ای انجام می شود و هدف آن هموارسازی افزایش تقاضا است که می تواند باعث هزینه های غیر ضروری شود.

در حال حاضر، اسناد بسیار کمی در مورد ادغام Azure وجود دارد، اما می‌توانید با مراجعه به در آغوش گرفتن مستندات نقطه پایانی AWS Face. Endpoint API بر اساس Inference API موجود است، و شما می توانید تعیین کنید نحوه ساختاربندی محموله‌ها.

این سرویس یک URL مفید برای زمین بازی به شما می دهد تا مدل استنباط خود را آزمایش کنید. این شامل نمونه کد پایتون و جاوا اسکریپت و همچنین گزینه استفاده از curl از خط فرمان است. داده‌ها به صورت JSON ارسال می‌شوند و پاسخ‌ها به روشی مشابه ارائه می‌شوند. می‌توانید از کتابخانه‌های استاندارد برای جمع‌آوری و پردازش JSON استفاده کنید و به شما امکان می‌دهد تا تماس‌های REST را به API در کد خود جاسازی کنید. اگر از Python استفاده می‌کنید، می‌توانید کد نمونه را بردارید و آن را در یک دفترچه یادداشت Jupyter کپی کنید، جایی که می‌توانید آزمایش‌ها را با همکاران خود به اشتراک بگذارید و به طور مشترک یک برنامه کامل‌تر بسازید.

سفارشی کردن مدل‌های صورت در آغوش گرفتن در یادگیری ماشینی Azure

اکنون می‌توانید از مدل‌های فونداسیون Hugging Face استفاده کنید در یادگیری ماشینی Azure با همان ابزارهایی که برای ساخت و آموزش مدل های خود استفاده می کنید. اگرچه این قابلیت در حال حاضر در پیش نمایش است، اما روشی مفید برای کار با مدل ها، با استفاده از ابزارها و فناوری های آشنا، با استفاده از یادگیری ماشینی Azure برای تنظیم دقیق و استقرار مدل های Hugging Face در برنامه های خود. می‌توانید با استفاده از رجیستری Azure Machine Learning، مدل‌هایی را که آماده اجرا هستند جستجو کنید.

این یک راه سریع برای افزودن نقاط پایانی مدل از پیش آموزش دیده برای کد شما است. همچنین می‌توانید مدل‌ها را روی داده‌های خود تنظیم کنید، از ذخیره‌سازی Azure برای داده‌های آموزشی و آزمایشی استفاده کنید و با خطوط لوله Azure Machine Learning برای مدیریت فرآیند کار کنید. رفتار با مدل های صورت در آغوش گرفتن به عنوان پایه ای برای خودتان بسیار منطقی است. آنها در طیف وسیعی از موارد ثابت شده اند که ممکن است برای شما مناسب نباشد. مدلی که در زمینه تشخیص عیوب در فلزکاری آموزش دیده است برخی از ویژگی های لازم برای کار با شیشه یا پلاستیک را دارد، بنابراین آموزش اضافی خطر خطا را کاهش می دهد.

جامعه یادگیری ماشینی منبع باز رو به رشدی وجود دارد، و مهم است که شرکت هایی مانند مایکروسافت از آن استقبال کنند. آنها ممکن است تجربه و مهارت داشته باشند، اما مقیاس آن جامعه گسترده تر – یا تخصص آن را ندارند. با کار کردن با جوامعی مانند Hugging Face، توسعه‌دهندگان گزینه‌های بیشتر و انتخاب بیشتری دریافت می‌کنند. این یک پیروزی برای همه است.