۳ راز برای استقرار LLM در پلتفرم های ابری

بیایید همان اشتباهات ۱۰ سال پیش را مرتکب نشویم. امکان استقرار مدل های زبان بزرگ در فضای ابری مقرون به صرفه تر و با ریسک کمتر وجود دارد.

در دو سال گذشته، من با پروژه‌های هوش مصنوعی مولد با استفاده از مدل‌های زبان بزرگ (LLM) بیشتر از سیستم‌های سنتی درگیر بوده‌ام. من برای محاسبات ابری بدون سرور نوستالژیک شده ام. کاربردهای آنها از تقویت هوش مصنوعی مکالمه تا ارائه راه حل های تحلیلی پیچیده در سراسر صنایع و بسیاری از عملکردهای فراتر از آن را شامل می شود. بسیاری از شرکت‌ها این مدل‌ها را بر روی پلتفرم‌های ابری مستقر می‌کنند، زیرا اکوسیستم آماده‌ای از ارائه‌دهندگان ابر عمومی وجود دارد و مسیر کمترین مقاومت است. با این حال، ارزان نیست.

ابرها همچنین مزایای دیگری مانند مقیاس‌پذیری، کارایی، و قابلیت‌های محاسباتی پیشرفته (GPUs در صورت تقاضا) را ارائه می‌کنند. فرآیند استقرار LLM در پلتفرم های ابری عمومی دارای اسرار کمتر شناخته شده ای است که می تواند موفقیت یا شکست را به طور قابل توجهی تحت تأثیر قرار دهد. شاید به این دلیل که متخصصان هوش مصنوعی زیادی وجود ندارند که بتوانند با LLM ها سر و کار داشته باشند، و چون ما مدت زیادی است که این کار را انجام نداده ایم، شکاف های زیادی در دانش ما وجود دارد.

بیایید سه “نکته” کمتر شناخته شده برای استقرار LLM در ابرها را که شاید حتی مهندسان هوش مصنوعی شما هم ندانند، بررسی کنیم. با توجه به اینکه بسیاری از آن پسرها و دخترها حدود ۳۰۰۰۰۰ دلار درآمد دارند، شاید وقت آن رسیده است که از آنها در مورد جزئیات انجام درست این کار سؤال کنید. من اشتباهات بیشتری از همیشه می بینم زیرا همه به سمت هوش مصنوعی مولد می روند که انگار موهایشان آتش گرفته است.

مدیریت کارایی هزینه و مقیاس پذیری

یکی از جذابیت‌های اصلی استفاده از پلتفرم‌های ابری برای استقرار LLM، توانایی مقیاس‌سازی منابع در صورت نیاز است. ما نباید برنامه ریز ظرفیت خوبی باشیم زیرا پلتفرم های ابری منابعی دارند که می توانیم با کلیک ماوس یا به صورت خودکار تخصیص دهیم.

اما صبر کنید، ما در آستانه استفاده از رایانش ابری همان اشتباهاتی هستیم که مرتکب شدیم. مدیریت هزینه در حین مقیاس بندی مهارتی است که بسیاری برای پیمایش مؤثر به کمک آن نیاز دارند. به یاد داشته باشید، خدمات ابری اغلب بر اساس منابع محاسباتی مصرف شده شارژ می شوند. آنها به عنوان یک ابزار کاربردی عمل می کنند. هرچه بیشتر پردازش کنید، بیشتر پرداخت می کنید. با توجه به اینکه پردازنده‌های گرافیکی هزینه بیشتری خواهند داشت (و انرژی بیشتری می‌سوزانند)، این یکی از نگرانی‌های اصلی LLM در ارائه‌دهندگان ابر عمومی است.

مطمئن شوید که از ابزارهای مدیریت هزینه استفاده می‌کنید، هم ابزارهایی که توسط پلتفرم‌های ابری ارائه می‌شوند و هم آن‌هایی که توسط پخش‌کننده‌های نظارت و نظارت بر هزینه شخص ثالث ارائه می‌شوند (finops). به عنوان مثال می‌توان به پیاده‌سازی مقیاس‌بندی و زمان‌بندی خودکار، انتخاب انواع نمونه‌های مناسب، یا استفاده از نمونه‌های قابل پیش‌گیری برای بهینه‌سازی هزینه‌ها اشاره کرد. همچنین، به یاد داشته باشید که به طور مداوم بر استقرار نظارت داشته باشید تا منابع را بر اساس میزان مصرف تنظیم کنید و نه صرفاً از بار پیش بینی شده استفاده کنید. این به معنای اجتناب از تامین بیش از حد به هر قیمتی است (ببینید من در آنجا چه کار کردم؟).

حریم خصوصی داده ها در محیط های چند مستاجر

استقرار LLM ها اغلب شامل پردازش حجم وسیعی از داده ها و مدل های دانش آموزش دیده است که ممکن است حاوی داده های حساس یا اختصاصی باشد. خطر استفاده از ابرهای عمومی این است که شما همسایگانی در قالب نمونه های پردازشی دارید که بر روی سخت افزار فیزیکی مشابهی کار می کنند. بنابراین، ابرهای عمومی با این خطر همراه هستند که با ذخیره و پردازش داده ها، به نوعی توسط ماشین مجازی دیگری که روی همان سخت افزار فیزیکی در مرکز داده ابری عمومی اجرا می شود، به آنها دسترسی پیدا کند.

از یک ارائه دهنده ابر عمومی در این مورد بپرسید، و آنها برای دریافت پاورپوینت های به روز شده خود اجرا می کنند، که نشان می دهد این امکان وجود ندارد. در حالی که این عمدتا درست است، اما کاملاً دقیق نیست. همه سیستم های چند مستاجر با این خطر همراه هستند. شما باید آن را کاهش دهید من متوجه شده‌ام که هرچه ارائه‌دهنده ابر کوچک‌تر باشد، مانند بسیاری از ارائه‌دهنده‌هایی که فقط در یک کشور واحد فعالیت می‌کنند، احتمال اینکه این مشکل بیشتر باشد. این برای ذخیره سازی داده ها و LLM ها است.

راز این است که ارائه‌دهندگان ابری را انتخاب کنید که با استانداردهای امنیتی سخت‌گیرانه‌ای مطابقت داشته باشند که می‌توانند ثابت کنند: رمزگذاری در حالت استراحت و حمل‌ونقل، مدیریت هویت و دسترسی (IAM) و سیاست‌های جداسازی. البته، این ایده بسیار بهتری است که استراتژی امنیتی و پشته فناوری امنیتی خود را پیاده سازی کنید تا مطمئن شوید که ریسک با استفاده چند مستاجر از LLM در ابرها کم است.

مدیریت استقرار مدل حالت دار

LLMها عمدتا حالتی هستند، به این معنی که اطلاعات را از یک تعامل به تعامل دیگر حفظ می کنند. این ترفند قدیمی یک مزیت جدید ارائه می دهد: توانایی افزایش کارایی در سناریوهای یادگیری مداوم. با این حال، مدیریت وضعیت این مدل‌ها در محیط‌های ابری، که در آن نمونه‌ها ممکن است زودگذر یا بدون حالت طراحی شوند، مشکل است.

ابزارهای ارکستراسیون مانند Kubernetes که از استقرار حالت پشتیبانی می‌کنند مفید هستند. آن‌ها می‌توانند از گزینه‌های ذخیره‌سازی پایدار برای LLMها استفاده کنند و پیکربندی شوند تا وضعیت خود را در طول جلسات حفظ و اجرا کنند. برای پشتیبانی از تداوم و عملکرد LLM به این نیاز دارید.

با انفجار هوش مصنوعی مولد، استقرار LLM ها بر روی پلتفرم های ابری یک نتیجه قطعی است. برای اکثر شرکت‌ها، استفاده از فضای ابری نه بسیار راحت است. ترس من از این عجله جنون آمیز بعدی این است که چیزهایی را که رسیدگی به آنها آسان است از دست بدهیم و مرتکب اشتباهات بزرگ و پرهزینه ای شویم که در پایان روز عمدتاً قابل اجتناب بودند.