نقد و بررسی: Nvidia AI Enterprise در VMware می درخشد

پشته نرم افزار هوش مصنوعی بهینه سازی شده با VMware انویدیا یک جایگزین قوی برای انجام یادگیری ماشینی در ابرهای AWS، Azure و Google ارائه می دهد. Nvidia LaunchPad به شما امکان می دهد آن را به صورت رایگان امتحان کنید.

Nvidia AI Enterprise یک پشته نرم افزار هوش مصنوعی سرتاسر است. این شامل نرم‌افزاری برای پاک کردن داده‌ها و آماده‌سازی آن‌ها برای آموزش، انجام آموزش شبکه‌های عصبی، تبدیل مدل به فرم کارآمدتر برای استنتاج و استقرار آن در سرور استنتاج است.

علاوه بر این، مجموعه نرم‌افزار هوش مصنوعی Nvidia شامل GPU، DPU (واحد پردازش داده) و پشتیبانی شبکه تسریع‌شده برای Kubernetes (لایه استقرار بومی ابری در نمودار زیر) و پشتیبانی بهینه‌سازی شده برای دستگاه‌های مشترک در VMware vSphere با تانزو. Tanzu Basic به شما امکان می دهد Kubernetes را در vSphere اجرا و مدیریت کنید. (VMware Tanzu Labs نام جدید Pivotal Labs است.)

Nvidia LaunchPad یک برنامه آزمایشی است که به تیم‌های هوش مصنوعی و علم داده دسترسی کوتاه‌مدت به پشته کامل هوش مصنوعی Nvidia در حال اجرا بر روی زیرساخت محاسباتی خصوصی می‌دهد. Nvidia LaunchPad با دسترسی به کارشناسان Nvidia و ماژول‌های آموزشی، آزمایشگاه‌های مدیریت‌شده را برای Nvidia AI Enterprise ارائه می‌دهد.

Nvidia AI Enterprise تلاشی است برای خارج کردن آموزش و استقرار مدل هوش مصنوعی از حوزه تحقیقات دانشگاهی و از بزرگترین شرکت های فناوری که قبلاً دارای دانشمندان داده در سطح دکترا و مراکز داده پر از GPU هستند و به حوزه شرکت های معمولی که نیاز به استفاده از هوش مصنوعی برای عملیات، توسعه محصول، بازاریابی، منابع انسانی و سایر زمینه ها دارند. LaunchPad راهی رایگان برای آن شرکت‌ها است که به مدیران فناوری اطلاعات و متخصصان هوش مصنوعی اجازه می‌دهند تجربه عملی با پشته Nvidia AI Enterprise روی سخت‌افزار پشتیبانی‌شده کسب کنند.

متداول‌ترین جایگزین برای Nvidia AI Enterprise و LaunchPad استفاده از پردازنده‌های گرافیکی (و دیگر شتاب‌دهنده‌های آموزشی مدل، مانند TPU و FPGA) و نرم‌افزار هوش مصنوعی موجود از ارائه‌دهندگان ابر مقیاس ابر، همراه با دوره‌ها، مدل‌ها و آزمایشگاه‌ها است. توسط فروشندگان ابر و جوامع منبع باز چارچوب هوش مصنوعی ارائه شده است.

پشته Nvidia AI Enterprise، از سخت افزار شتاب در پایین تا ابزارها و چارچوب های علم داده در بالا.

چه چیزی در Nvidia AI Enterprise وجود دارد

Nvidia AI Enterprise یک لایه زیرساخت یکپارچه برای توسعه و استقرار راه حل های AI فراهم می کند. این شامل مدل های از پیش آموزش دیده، نرم افزار GPU-aware برای آماده سازی داده ها (RAPIDS)، چارچوب های یادگیری عمیق آگاه از GPU مانند TensorFlow و PyTorch، نرم افزار تبدیل مدل ها به فرم کارآمدتر برای استنتاج (TensorRT) است. ، و یک سرور استنتاج مقیاس پذیر (Triton).

کتابخانه ای از مدل های از پیش آموزش دیده از طریق کاتالوگ NGC انویدیا برای استفاده با هوش مصنوعی Nvidia در دسترس است. مجموعه نرم افزارهای سازمانی؛ برای مثال، این مدل‌ها را می‌توان با استفاده از کانتینرهای TensorFlow Enterprise Nvidia AI در مجموعه داده‌های شما به‌خوبی تنظیم کرد. چارچوب‌های یادگیری عمیق ارائه شده، در حالی که بر اساس نسخه‌های منبع باز آن‌ها است، برای پردازنده‌های گرافیکی Nvidia بهینه‌سازی شده‌اند.

نمودار جریان پشته نرم افزار هوش مصنوعی Nvidia. یادداشت های سخت افزاری در پایین سمت چپ برای آموزش هستند. یادداشت های پایین سمت راست برای استنباط هستند.

سخت افزار Nvidia AI Enterprise و LaunchPad

انویدیا در مورد سیستم‌های DGX سروصدای زیادی به پا کرده است. a>، که دارای ۴ تا ۱۶ پردازنده گرافیکی A100 به شکل فاکتورهای مختلف هستند، از دستگاه های گروه کاری برج گرفته تا سیستم های مبتنی بر رک که برای استفاده در مراکز داده طراحی شده اند. در حالی که این شرکت هنوز به DGX برای نصب‌های بزرگ متعهد است، برای اهداف آزمایشی Nvidia AI Enterprise تحت برنامه‌های LaunchPad، این شرکت سیستم‌های کوچک‌تر ۱U تا ۲U روی رک را با سرورهای کالایی مبتنی بر پردازنده‌های دوگانه Intel Xeon Gold 6354 مونتاژ کرده است. پردازنده‌های گرافیکی Nvidia T4 یا A30 و Nvidia DPU (واحدهای پردازش داده). نه منطقه Equinix Metal در سرتاسر جهان هر کدام ۲۰ سرور رک نصب شده برای استفاده توسط مشتریان Nvidia که واجد شرایط آزمایش LaunchPad هستند، دارند.

انویدیا سیستم‌های مشابهی را برای استقرار سازمانی Nvidia AI Enterprise توصیه می‌کند. این سیستم ها علاوه بر خرید برای اجاره یا اجاره نیز در دسترس هستند.

سخت افزار سرور برای پشتیبانی از LaunchPad و Nvidia AI Enterprise. در حالی که سرورهای LaunchPad همه Dell R750s هستند، این موضوع به جای ترجیح، در دسترس بودن بود. همه شرکت‌هایی که در سرورهای تولید درستی که توسط Nvidia برای Nvidia AI Enterprise پشتیبانی می‌شوند، فهرست شده‌اند.

تست رانندگی Nvidia AI Enterprise

انویدیا سه برنامه آزمایشی مختلف را برای کمک به مشتریان برای شروع کار با Nvidia AI Enterprise ارائه می‌کند. برای تمرین‌کنندگان هوش مصنوعی که فقط می‌خواهند پاهای خود را خیس کنند، یک نسخه آزمایشی درایو وجود دارد که شامل پیش‌بینی کرایه‌های تاکسی شهر نیویورک و امتحان پاسخ به سؤال BERT در تنسورفلو است. رانندگی آزمایشی به حدود یک ساعت کار عملی نیاز دارد و ۴۸ ساعت دسترسی را ارائه می‌دهد.

LaunchPad کمی گسترده‌تر است. این آزمایشگاه‌های عملی را برای متخصصان هوش مصنوعی و کارکنان فناوری اطلاعات ارائه می‌کند که به حدود هشت ساعت کار عملی نیاز دارند، با دسترسی به سیستم‌ها به مدت دو هفته، با تمدید اختیاری تا چهار هفته.

برنامه آزمایشی سوم یک ارزیابی ۹۰ روزه در محل است که برای انجام یک POC (اثبات مفهوم) کافی است. مشتری باید یک سیستم دارای گواهینامه Nvidia را با VMware vSphere 7 u2 (یا جدیدتر) عرضه کند (یا اجاره کند)، و Nvidia مجوزهای ارزیابی رایگان را ارائه می‌کند.

سه راه برای آزمایش Nvidia AI Enterprise وجود دارد: نمایش آزمایشی درایو آزمایشی یک ساعته با دسترسی ۴۸ ساعته. آزمایشگاه های هشت ساعته Nvidia LaunchPad با دو هفته دسترسی؛ و مجوز ارزیابی ۹۰ روزه برای استفاده در مرحله اولیه.

نمایش لانچ پد انویدیا برای مدیران فناوری اطلاعات

از آنجایی که من به علوم داده بیشتر از مدیریت فناوری اطلاعات علاقه دارم، فقط یک نسخه آزمایشی از آزمایشگاه مدیریت عملی را تماشا کردم، اگرچه بعداً به آن دسترسی پیدا کردم. اولین تصویر زیر شروع دستورالعمل های آزمایشگاه را نشان می دهد. دوم صفحه ای از رابط وب سرویس گیرنده VMware vSphere را نشان می دهد. به گفته انویدیا، اکثر ادمین‌های فناوری اطلاعاتی که آموزش می‌دهند قبلاً با vSphere و Windows آشنا هستند، اما با لینوکس اوبونتو کمتر آشنا هستند.

این صفحه دستورالعمل ایجاد یک ماشین مجازی Nvidia AI Enterprise با استفاده از VMware vSphere را ارائه می دهد. این بخشی از آموزش مدیریت فناوری اطلاعات است.

این صفحه نمای کلی سخت افزار ماشین مجازی Nvidia AI Enterprise را نشان می دهد که برای اهداف آموزشی در VMware vSphere ایجاد شده است.

آزمایشگاه Launchpad برای تمرین‌کنندگان هوش مصنوعی

من بیشتر یک روز را در آزمایشگاه LaunchPad برای تمرین‌کنندگان هوش مصنوعی گذراندم، که عمدتاً به‌عنوان یک نوت‌بوک Jupyter ارائه می‌شد. افراد انویدیا به من گفتند که این یک آموزش ۴۰۰ سطحی است. مطمئناً اگر من مجبور بودم کد را خودم بنویسم. همانطور که بود، همه کدها قبلاً نوشته شده بود، یک مدل BERT پایه آموزش دیده برای تنظیم دقیق وجود داشت، و تمام داده های آموزشی و آزمایشی برای تنظیم دقیق از SQuAD (مجموعه داده پاسخ به سؤالات استنفورد) ارائه شد.

GPU A30 در سرور ارائه شده برای LaunchPad وقتی به مرحله تنظیم دقیق رسیدم که ۹۷ دقیقه طول کشید، تمرین کرد. بدون پردازنده گرافیکی، کار خیلی بیشتر طول می کشید. آموزش مدل BERT از ابتدا، مثلاً محتویات ویکی‌پدیا، یک کار بزرگ است که به تعداد زیادی GPU و زمان طولانی (احتمالاً هفته‌ها) نیاز دارد.

بخش بالایی این صفحه کاربر را به یک نوت بوک Jupyter می فرستد که مدل BERT را برای خدمات مشتری تنظیم می کند. بخش پایین نحوه صادرات مدل آموزش دیده به سرور استنتاج را توضیح می دهد. به هر حال، اگر فراموش کنید که هسته را پس از مرحله تنظیم دقیق خاموش کنید، مرحله صادرات با ردیابی خطاهای مرموز با شکست مواجه می شود. از من نپرسید از کجا می دانم.

این شروع نوت بوک Jupyter است که اولین مرحله از دوره AI Practitioner را اجرا می کند. از یک مدل BERT TensorFlow از پیش آموزش‌دیده استفاده می‌کند، که در مرحله ۳ دانلود شده است، و سپس آن را برای مجموعه داده‌ای متمرکز و کوچک‌تر که در مرحله ۲ دانلود شده است، تنظیم دقیق می‌کند.

این مرحله از TensorFlow برای تبدیل جملات نمونه به فرم توکن شده استفاده می کند. چند دقیقه طول می کشد تا روی CPU اجرا شود.

مرحله تنظیم دقیق باید با استفاده از پردازنده گرافیکی A30 حدود ۹۰ دقیقه طول بکشد. در اینجا ما به تازگی آموزش را با فراخوان estimator.train(…) آغاز می کنیم.

مرحله آموزش تنظیم دقیق در نهایت در ۵۸۳۸ ثانیه (۹۷ دقیقه) انجام شد. حدود چهار دقیقه برای سربار راه اندازی استفاده شد.

نوت بوک Jupyter با یک تست استنتاج و یک مرحله ارزیابی، هر دو با استفاده از مدل TensorFlow BERT به‌خوبی تنظیم شده، ادامه می‌یابد. پس از این مرحله، نوت بوک Jupyter را خاموش می کنیم و سرور استنتاج Triton را در VM راه اندازی می کنیم، سپس سرور Triton را از کنسول Jupyter تست می کنیم.

به طور کلی، Nvidia AI Enterprise یک بسته سخت افزاری/نرم افزاری بسیار خوب برای مقابله با مشکلات هوش مصنوعی است، و LaunchPad راه مناسبی برای آشنایی با Nvidia AI Enterprise است. من از این که چگونه نرم افزار یادگیری عمیق از آخرین نوآوری های پردازنده های گرافیکی معماری Nvidia Ampere مانند هسته های محاسباتی دقیق و تانسور استفاده می کند، شگفت زده شدم. متوجه شدم که تجربه آزمایش‌های عملی Nvidia AI Enterprise در نمونه سرور انویدیا بسیار بهتر از تجربیاتی است که نمونه‌های TensorFlow و PyTorch را روی سخت‌افزار خودم و روی ماشین‌های مجازی ابری و سرویس‌های هوش مصنوعی اجرا کرده‌ام.

همه ابرهای عمومی اصلی دسترسی به پردازنده‌های گرافیکی Nvidia، و همچنین به TPU (Google)، FPGA (Azure) و شتاب‌دهنده‌های سفارشی مانند تراشه‌های Habana Gaudi برای آموزش (در نمونه‌های AWS EC2 DL1) و تراشه‌های AWS Inferentia را ارائه می‌دهند. برای استنتاج (در نمونه های آمازون EC2 Inf1). حتی می توانید به TPU و GPU به صورت رایگان در Google Colab دسترسی داشته باشید. ارائه‌دهندگان ابر همچنین دارای نسخه‌هایی از TensorFlow، PyTorch و سایر چارچوب‌هایی هستند که برای ابرهایشان بهینه شده‌اند.

با فرض اینکه می‌توانید به Nvidia LaunchPad برای Nvidia AI Enterprise دسترسی داشته باشید و آن را با موفقیت آزمایش کنید، قدم بعدی شما اگر می‌خواهید ادامه دهید به احتمال زیاد باید یک اثبات مفهومی برای یک برنامه هوش مصنوعی تنظیم کنید که ارزش بالایی دارد. شرکت شما، با خرید و پشتیبانی مدیریت. می‌توانید یک سرور کوچک دارای گواهینامه Nvidia با پردازنده گرافیکی کلاس Ampere اجاره کنید و از مجوز ارزیابی رایگان ۹۰ روزه Nvidia برای Nvidia AI Enterprise استفاده کنید تا POC را با حداقل هزینه و ریسک انجام دهید.