چگونه ابر و محاسبات بزرگ HPC را بازسازی می کنند

پروژه های محاسباتی با کارایی بالا به مقادیر زیادی از منابع محاسباتی نیاز دارند. جفت کردن شبیه سازی و سخت افزار تخصصی با ابر، پیشرفت های آینده را تقویت می کند.

تقریباً ۲۵ سال پیش، چند فن‌آوری منبع باز با هم ترکیب شدند تا یک اینترنت تجاری قوی ایجاد کنند که در نهایت آماده انجام تجارت و گرفتن پول شما بود. این ترکیب منبع باز که پشته LAMP (Linux، Apache HTTP Server، MySQL و PHP/Perl/Python) نامیده می شود، به پشته توسعه استاندارد برای نسلی از توسعه دهندگان تبدیل شد.

اکنون نگاه نکنید، اما ممکن است در آستانه یک لحظه پشته LAMP دیگر باشیم.

اما این بار، تمرکز بر ساخت یک راه جدید و آنلاین برای فروش غذای سگ نیست. در عوض، یک رنسانس فناوری جدید برای مقابله با حجم کاری پیچیده و در مقیاس بزرگ که مقادیر زیادی از منابع محاسباتی را مصرف می‌کنند، در حال انجام است. به واکسیناسیون کووید-۱۹، ساخت جت‌های مافوق صوت جدید یا رانندگی با وسایل نقلیه خودران فکر کنید. دنیای علم و مهندسی سریع‌تر ارسال می‌شود و نوآوری‌های جدیدتر را با سرعتی سرگیجه‌آور ارائه می‌کند که قبلاً هرگز شاهد آن نبوده‌ایم.

چطور؟ ابر اما نه فقط ابری.

طلوع “محاسبات بزرگ” یا “فناوری عمیق”

شاید Cloud برای آنچه اتفاق می‌افتد، توصیف بسیار ساده‌ای باشد. ما برای این تحول کوتاه نویسی هوشمندانه نداریم، مانند پشته LAMP برای اینترنت. چیزی به طور ناگهانی باعث شد تا انواع دکترا از نوآوری در موتورهای محاسباتی با پیچیدگی بسیار زیاد برای نیرو دادن به حجم کاری الگوریتمی استفاده کنند که زندگی ما را به روش‌های بسیار عمیق‌تری نسبت به آنچه که یک Friendster یا Pets.com وعده داده بود تغییر می‌دهد.

“محاسبات با عملکرد بالا” (HPC) رایج‌ترین برچسب مرتبط با این بارهای کاری است. اما این قبل از این بود که ابرهای عمومی به پلتفرم های قابل دوام برای این برنامه های کاربردی جدید تبدیل شوند. لیست ۵۰۰ برتر سریعترین ابررایانه های جهان را اسکن کنید و خواهید دید تعداد فزاینده ای بر اساس ابرهای عمومی. این تصادفی نیست: ابررایانه‌های داخلی و خوشه‌های عظیم لینوکس برای دهه‌ها (قبل از اینترنت تجاری) وجود داشته‌اند، اما این روند جدید – که گاهی اوقات «محاسبات بزرگ” یا “تکنولوژی عمیق“—به شدت به ابر بستگی دارد.

همانطور که شرکت مشاوره BCG بیان می کند، “افزایش قدرت و کاهش هزینه‌های محاسباتی و افزایش پلتفرم‌های فناوری مهم‌ترین کمک‌کننده‌ها هستند. رایانش ابری به طور پیوسته عملکرد را بهبود می بخشد و وسعت استفاده را افزایش می دهد.»

اما این «پشته» جدید فقط مربوط به ابر نیست. درعوض، به سه مگاترند در فناوری بستگی دارد: افزایش سریع وسعت و عمق نرم افزار شبیه سازی، سخت افزار تخصصی و ابر. اینها بلوک‌های سازنده فناوری هستند که امروزه هر تیم تحقیقاتی و علمی در حال حرکت سریع از آنها استفاده می‌کند و چرا صدها استارت‌آپ به وجود آمده‌اند تا صنایع دیرپایی را که یک دهه یا بیشتر تثبیت شده‌اند، متزلزل کنند.

کمک به مهندسان برای حرکت سریعتر

دقیقاً مانند لحظه جادویی پشته LAMP، لحظه بزرگ محاسباتی/فناوری عمیق امروزی همه چیز در مورد فعال کردن بهره‌وری مهندسی است. Cloud برای این امر بسیار مهم است، اگرچه به تنهایی کافی نیست.

به عنوان مثال، هوافضا را در نظر بگیرید. یک مهندس هوافضا برای طراحی یک جت مافوق صوت جدید به طور سنتی به یک خوشه HPC در محل برای شبیه سازی همه متغیرهای لازم مربوط به بلند شدن و فرود بستگی دارد. در مقابل، شرکت‌های هوافضای استارت‌آپ مستقیماً به سراغ فضای ابری رفتند، با زیرساخت‌های انعطاف‌پذیری که به آنها امکان مدل‌سازی و شبیه‌سازی برنامه‌ها را بدون قرار گرفتن در صف پشت همکاران برای سخت‌افزار بسیار تخصصی HPC می‌دهد. زمان کمتری برای ساخت و نگهداری سخت افزار. زمان بیشتری برای آزمایش و مهندسی. این زیبایی رویکرد ابر محاسباتی بزرگ است.

این را با آرایه‌ای متنوع از نرم‌افزارهای شبیه‌سازی که امکان مدل‌سازی نوآوری‌های جدید را قبل از ساخته شدن و نمونه‌سازی اولیه چیزهای فیزیکی پیچیده فراهم می‌کنند، انجام دهید. سخت افزار تخصصی، چون گاز قانون مور تمام می شود، این شبیه سازی های الگوریتمی پیچیده را نیرو می دهد. و زندان ابری همه اینها را از ابررایانه‌ها و خوشه‌های داخلی جدا می‌کند، و ایجاد و اجرای مدل‌ها، تکرار و بهبود، و اجرای مجدد آن‌ها را قبل از انتقال به نمونه‌های اولیه فیزیکی آسان‌تر می‌کند. (برای روشن بودن، بیشتر این فناوری محاسباتی/عمیق مربوط به ساختن چیزهای فیزیکی است، نه نرم افزار.)

آنچه در مورد این دامنه دشوار است، پیکربندی‌های سخت‌افزار و نرم‌افزار سفارشی است که برای اجرای آن‌ها لازم است و گردش‌های کاری پیچیده‌ای که برای بهینه‌سازی عملکرد آن‌ها لازم است. این نوع از بارهای کاری فشرده از نظر الگوریتمی به GPU تخصصی و دیگر معماری های جدیدتر تراشه نیاز دارند. شرکت‌هایی که برای طراحی توربین بزرگ بعدی یا سس مخفی پیشرانه جت، دکترای گران قیمتی می‌پردازند، نمی‌خواهند با وادار کردن آنها به یادگیری نحوه ایستادن ماشین‌ها با نرم‌افزارهای شبیه‌سازی و ترکیب‌های سخت‌افزار، آن‌ها را غرق کنند.

“پانزده سال پیش، هر شرکتی در این حوزه HPC خود را بر اساس نحوه اجرای سخت افزار در محل خود متمایز می کرد و اساساً شرط گذاشت که قانون مور به ارائه عملکرد مداوم بهتر در معماری x86 سال به سال ادامه دهد. جوریس پورت، مدیر عامل شرکت Rescale، در مصاحبه ای گفت. “امروزه آنچه که بیش از همه اهمیت دارد سرعت و انعطاف‌پذیری است – اطمینان حاصل کنید که دکترای شما از بهترین نرم‌افزار شبیه‌سازی برای کار خود استفاده می‌کنند و آنها را از متخصص شدن در زیرساخت‌های بزرگ محاسباتی تخصصی رها می‌کند تا بتوانند نوآوری‌های جدید را سریع‌تر ارسال کنند.”

ابر رایانه های تخصصی

آیا هر شرکتی در نهایت از شبیه سازی و سخت افزار تخصصی در فضای ابری استفاده خواهد کرد؟ احتمالا نه. امروزه این حوزه موشک‌ها، نیروی محرکه، زیست‌شناسی محاسباتی، سیستم‌های حمل و نقل و ۱% از سخت‌ترین چالش‌های محاسباتی جهان است. اما در حالی که امروزه از محاسبات بزرگ برای رفع مشکلات بسیار استفاده می‌شود، مطمئناً شاهد موج جدیدی از نتفلیکس‌ها خواهیم بود که با استفاده از ترکیب LAMP پشته‌ای از ابر، نرم‌افزار شبیه‌سازی، و سخت‌افزار تخصصی، بلاک‌باسترهای جهان را سرنگون می‌کنند.