آشنایی با Azure HPC

با ابزارهای محاسباتی با کارایی بالا Azure، ابر رایانه خود را در فضای ابری بسازید.

خیلی پیش، زمانی که داستان پیش می‌رود، شخصی گفت ما فقط به پنج رایانه برای کل جهان نیاز داریم. بحث اینکه Azure، خدمات وب آمازون، پلتفرم ابری گوگل و مواردی از این دست همگی پیاده‌سازی‌های یک خوشه محاسباتی بسیار مقیاس‌پذیر هستند، با هر سرور و هر مرکز داده مؤلفه‌ای دیگر که برای ساختن یک رایانه بزرگ و در مقیاس سیاره‌ای جمع می‌شود، بسیار آسان است. . در واقع، بسیاری از فن‌آوری‌هایی که ابرهای ما را نیرو می‌دهند، در ابتدا برای ساخت و راه‌اندازی ابر رایانه‌ها با استفاده از سخت‌افزار کالاهای تولید شده توسعه داده شدند.

چرا از ابر برای ساخت، استقرار و اجرای سیستم‌های HPC (محاسبات با کارایی بالا) استفاده نمی‌کنیم که فقط تا زمانی که برای حل مشکلات به آنها نیاز داریم وجود دارند؟ شما می توانید به ابرها به همان روشی فکر کنید که فیلمسازان Weta Digital در مورد مزارع رندر خود، اتاق های سرور سخت افزاری ساخته شده برای آماده سازی جلوه های CGI برای فیلم هایی مانند King Kong و هابیت. این تجهیزات به عنوان یک ابررایانه موقت برای دولت نیوزیلند در حالی که منتظر استفاده برای ساخت فیلم بودند، دو برابر شد.

اولین مطالعات موردی بزرگ ابرهای عمومی بر روی این قابلیت متمرکز شدند و از آنها برای ظرفیت انفجاری استفاده کردند که در گذشته ممکن بود به سخت‌افزار HPC داخل محل می‌رفت. آنها صرفه جویی قابل توجهی در هزینه ها بدون نیاز به سرمایه گذاری در فضای مرکز داده، ذخیره سازی و قدرت نشان دادند.

معرفی Azure HPC

قابلیت‌های HPC همچنان یک ویژگی مهم است برای Azure و دیگر ابرها، دیگر به سخت‌افزار کالا متکی نیست، اما اکنون نمونه‌های محاسباتی متمرکز بر HPC را ارائه می‌کند و با فروشندگان HPC کار می‌کند تا ابزارهای خود را به عنوان یک سرویس ارائه دهند، و HPC را به‌عنوان یک سرویس پویا تلقی می‌کند که می‌تواند به سرعت و به راحتی راه‌اندازی شود و در عین حال قادر باشد با نیازهای خود مقیاس کنید.

ابزارهای HPC Azure را شاید بتوان به‌عنوان مجموعه‌ای از اصول معماری در نظر گرفت که بر ارائه آنچه مایکروسافت به عنوان «محاسبات بزرگ» توصیف می‌کند، متمرکز است. شما از مقیاس Azure برای انجام وظایف ریاضی در مقیاس بزرگ استفاده می کنید. برخی از این وظایف ممکن است وظایف کلان داده باشند، در حالی که برخی دیگر ممکن است بیشتر بر محاسبات متمرکز شوند، به عنوان مثال، از تعداد محدودی ورودی برای انجام یک شبیه سازی استفاده می کنند. این وظایف شامل ایجاد شبیه‌سازی‌های مبتنی بر زمان با استفاده از دینامیک سیالات محاسباتی، یا اجرای چندین تحلیل آماری مونت کارلو، یا کنار هم قرار دادن و اجرای یک مزرعه رندر برای یک فیلم CGI است.

ویژگی‌های HPC Azure در نظر گرفته شده‌اند تا HPC را برای دسته وسیع‌تری از کاربرانی که ممکن است نیازی به ابررایانه ندارند اما به سطح محاسباتی بالاتری نسبت به یک ایستگاه کاری مهندسی یا حتی یک خوشه کوچک از سرورها نیاز دارند، در دسترس قرار دهد. شما یک سیستم HPC کلید در دست دریافت نخواهید کرد. شما همچنان باید یک زیرساخت خوشه ویندوز یا لینوکس با استفاده از ماشین های مجازی متمرکز بر HPC و یک پلت فرم ذخیره سازی مناسب و همچنین اتصالات با استفاده از ویژگی های شبکه RDMA پر توان Azure ایجاد کنید.

ساخت معماری HPC در فضای ابری

فناوری هایی مانند ARM و Bicep برای ایجاد و حفظ محیط HPC شما کلیدی هستند. این مانند خدمات پلتفرم Azure نیست، زیرا شما مسئول بیشتر تعمیر و نگهداری خود هستید. داشتن یک زیرساخت به عنوان کد برای استقرار شما باید باعث شود که زیرساخت HPC خود را به عنوان چیزی که می‌توان در صورت لزوم ساخته و از بین برد، با زیرساخت‌های یکسان هر بار که سرویس HPC خود را اجرا می‌کنید، آسان‌تر می‌کند.

Microsoft چند نوع ماشین مجازی مختلف را برای بارهای کاری HPC ارائه می‌کند بیشتر برنامه‌ها از ماشین‌های مجازی سری H استفاده می‌کنند که برای عملیات فشرده CPU بهینه‌سازی شده‌اند، بسیار شبیه به آن‌هایی که از بارهای کاری محاسباتی متمرکز بر شبیه‌سازی و مدل‌سازی انتظار دارید. آنها ماشین های مجازی قدرتمندی هستند، با سری HBv3 به شما تعداد ۱۲۰ هسته AMD و ۴۴۸ گیگابایت رم؛ هزینه یک سرور ۹.۱۲ دلار در ساعت برای ویندوز یا ۳.۶۰ دلار در ساعت برای اوبونتو. یک شبکه انویدیا InfiniBand به ایجاد یک خوشه با تأخیر کم برای مقیاس‌بندی کمک می‌کند. گزینه‌های دیگر سخت‌افزار قدیمی‌تر را با هزینه کمتر ارائه می‌کنند، در حالی که ماشین‌های مجازی کوچک‌تر HC و سری H از پردازنده‌های اینتل به عنوان جایگزینی برای AMD استفاده می‌کنند. اگر می‌خواهید محاسبات GPU را به یک کلاستر اضافه کنید، برخی از سری‌های N ماشین های مجازی اتصالات InfiniBand را برای کمک به ایجاد یک CPU و GPU ترکیبی ارائه می دهند.

توجه به این نکته مهم است که همه ماشین‌های مجازی سری H در همه مناطق Azure در دسترس نیستند، بنابراین ممکن است لازم باشد منطقه‌ای دور از مکان خود انتخاب کنید تا تعادل سخت‌افزاری مناسب برای پروژه خود پیدا کنید. برای پروژه های بزرگ، به خصوص زمانی که فضای ذخیره سازی و شبکه را اضافه می کنید، آماده بودجه چند هزار دلاری در ماه باشید. علاوه بر ماشین‌های مجازی و فضای ذخیره‌سازی، احتمالاً برای داده‌ها و نتایج به پیوند با پهنای باند بالا به Azure نیاز دارید.

هنگامی که ماشین‌های مجازی خود را انتخاب کردید، باید یک سیستم‌عامل، یک زمان‌بندی و یک مدیر حجم کاری انتخاب کنید. گزینه های مختلفی در Azure Marketplace وجود دارد، یا اگر ترجیح می دهید، می توانید یک راه حل منبع باز آشنا را به کار بگیرید. این رویکرد، آوردن بارهای کاری HPC موجود به Azure یا ساخت مجموعه مهارت ها و زنجیره های ابزار موجود را نسبتاً ساده می کند. شما حتی می توانید با سرویس های پیشرفته Azure مانند پشتیبانی رو به رشد FPGA آن کار کنید. همچنین شراکتی با Cray وجود دارد که مدیریت شده را ارائه می دهد ابررایانه‌ای که می‌توانید در صورت نیاز بچرخانید، و برنامه‌های HPC معروف در بازار Azure در دسترس هستند که نصب را ساده می‌کنند. آماده باشید تا در صورت لزوم مجوزهای خود را بیاورید.

مدیریت HPC با Azure CycleCloud

لازم نیست یک معماری کامل را از ابتدا بسازید. Azure CycleCloud سرویسی است که به مدیریت هر دو کمک می کند ذخیره سازی و زمانبندی، محیطی را برای مدیریت ابزارهای HPC به شما می دهد. شاید بهتر باشد در مقایسه با ابزارهایی مانند ARM، زیرا راهی برای ساخت قالب‌های زیرساختی است که بر سطح بالاتری نسبت به ماشین‌های مجازی تمرکز می‌کنند، زیرساخت شما را به عنوان مجموعه‌ای از گره‌های محاسباتی در نظر می‌گیرد و سپس VM‌ها را در صورت لزوم مستقر می‌کند، با استفاده از زمان‌بندی انتخابی شما و ارائه خودکار. مقیاس بندی.

همه چیز از طریق یک صفحه شیشه ای مدیریت می شود، با درگاه مخصوص به خود برای کمک به کنترل منابع محاسباتی و ذخیره سازی شما، یکپارچه با ابزارهای نظارتی Azure. حتی یک API وجود دارد که در آن می توانید پسوندهای خود را بنویسید تا اتوماسیون اضافی اضافه کنید. CycleCloud بخشی از پورتال Azure نیست، آن را به عنوان یک VM با رابط کاربری مبتنی بر وب خود نصب می‌کند.

محاسبات بزرگ با Azure Batch

اگرچه اکثر ابزارهای Azure HPC زیرساختی به عنوان یک سرویس هستند، یک گزینه پلتفرم به شکل دسته لاجوردی. این برای بارهای کاری موازی ذاتی طراحی شده است، مانند شبیه سازی مونت کارلو، که در آن هر بخش از یک برنامه موازی مستقل از هر بخش دیگری است (اگرچه ممکن است منابع داده را به اشتراک بگذارند). این مدلی مناسب برای رندر کردن فریم‌های یک فیلم CGI یا برای کارهای علوم زیستی، به عنوان مثال برای تجزیه و تحلیل توالی‌های DNA است. شما نرم افزاری را برای اجرای وظیفه خود ارائه می دهید که بر روی Batch API ساخته شده است. دسته‌ای به شما امکان می‌دهد از نمونه‌های نقطه‌ای از ماشین‌های مجازی استفاده کنید که در آن‌ها به هزینه حساس هستید اما وابسته به زمان نیستید، و در صورت وجود ظرفیت، مشاغل خود را اجرا کنید.

هر کار HPC را نمی توان در Azure Batch اجرا کرد، اما برای کارهایی که می توانند، گزینه های مقیاس پذیری جالبی را دریافت می کنید که به کاهش هزینه ها کمک می کند. یک سرویس مانیتور به مدیریت کارهای دسته ای کمک می کند، که ممکن است چندین هزار نمونه را همزمان اجرا کنند. این ایده خوبی است که داده ها را از قبل آماده کنید و از برنامه های جداگانه قبل و بعد از پردازش برای مدیریت داده های ورودی و خروجی استفاده کنید.

استفاده از Azure به عنوان یک ابر رایانه DIY منطقی است. ماشین های مجازی سری H سرورهای قدرتمندی هستند که قابلیت های محاسباتی زیادی را ارائه می کنند. با پشتیبانی از ابزارهای آشنا، می‌توانید بارهای کاری داخلی را به Azure HPC منتقل کنید یا بدون نیاز به یادگیری مجموعه جدیدی از ابزارها، برنامه‌های جدید بسازید. تنها سوال واقعی اقتصادی است: آیا هزینه استفاده از محاسبات با کارایی بالا بر اساس تقاضا< /a> تغییر مکان از مرکز داده خود را توجیه می کنید؟