AWS سرمایه گذاری زیادی در ساخت ابزار برای LLMops دارد

یکی از مدیران ارشد گفت که hyperscaler برای ایجاد قابلیت‌های پیرامون عملیاتی کردن و مدیریت مدل‌های زبان بزرگ پایه سرمایه‌گذاری کرده است.

سرویس‌های وب آمازون (AWS) با معرفی «plug and play» Amazon Q در کنفرانس re:Invent 2023 خود. اما برای شرکت‌هایی که می‌خواهند دستیار هوش مصنوعی مولد خود را با مدل زبان بزرگ (LLM) خود یا شخص دیگری بسازند، همه چیز پیچیده‌تر است.

برای کمک به شرکت‌ها در چنین شرایطی، AWS در ساخت و افزودن ابزارهای جدید برای LLMops – راه اندازی و مدیریت LLMs – به Amazon SageMaker، یادگیری ماشینی و آن سرمایه‌گذاری کرده است. سرویس هوش مصنوعی، آنکور مهروترا، مدیر کل SageMaker در AWS، به InfoWorld.com گفت.

“ما در عملیات یادگیری ماشینی (MLops) و قابلیت‌های عملیات مدل زبان بزرگ برای کمک به شرکت‌ها در مدیریت مدل‌های مختلف LLM و ML در تولید سرمایه‌گذاری می‌کنیم. این قابلیت‌ها به شرکت‌ها کمک می‌کند تا به سرعت حرکت کنند و قطعات مدل‌ها یا کل مدل‌ها را به محض در دسترس قرار گرفتن، تعویض کنند.

مهروترا انتظار دارد قابلیت‌های جدید به زودی اضافه شوند – و اگرچه او نمی‌گوید چه زمانی، منطقی‌ترین زمان در re:Invent امسال خواهد بود. در حال حاضر تمرکز او بر کمک به شرکت‌ها در فرآیند نگهداری، تنظیم دقیق و به‌روزرسانی LLMهایی است که استفاده می‌کنند.

سناریوهای مدل سازی

او گفت که چندین سناریو وجود دارد که در آن شرکت‌ها این قابلیت‌های LLMops را مفید خواهند یافت، و AWS قبلاً ابزارهایی را در برخی از این موارد ارائه کرده است.

یکی از این موارد زمانی است که نسخه جدیدی از مدل مورد استفاده، یا مدلی که برای آن مورد استفاده بهتر عمل می‌کند، در دسترس قرار می‌گیرد.

«شرکت‌ها به ابزارهایی برای ارزیابی عملکرد مدل و زیرساخت‌های مورد نیاز آن قبل از اینکه بتوانند به طور ایمن به تولید منتقل شوند، نیاز دارند. این جایی است که ابزارهای SageMaker مانند آزمایش سایه و Clarify می‌توانند به این شرکت‌ها کمک کنند.

آزمایش سایه به شرکت‌ها اجازه می‌دهد تا قبل از حرکت به سمت تولید، مدلی را برای یک کاربرد خاص ارزیابی کنند. Clarify سوگیری‌ها را در رفتار مدل تشخیص می‌دهد.

مدیر کل گفت: سناریوی دیگر زمانی است که یک مدل پاسخ‌های متفاوت یا ناخواسته را ارائه می‌دهد زیرا ورودی کاربر به مدل در طول زمان بسته به نیاز مورد استفاده تغییر کرده است. این امر مستلزم آن است که شرکت‌ها مدل را بیشتر تنظیم کنند یا از بازیابی نسل افزوده (RAG) استفاده کنند.

«SageMaker می‌تواند به شرکت‌ها در انجام هر دو کمک کند. در یک طرف شرکت ها می توانند از ویژگی های داخل سرویس برای کنترل نحوه پاسخگویی یک مدل استفاده کنند و از طرف دیگر SageMaker با LangChain برای RAG ادغام می شود.  

SageMaker به عنوان یک پلتفرم هوش مصنوعی عمومی شروع به کار کرد، اما اخیراً AWS قابلیت‌های بیشتری را با تمرکز بر اجرای هوش مصنوعی مولد اضافه کرده است. در نوامبر گذشته، دو پیشنهاد جدید به نام های SageMaker HyperPod و SageMaker Inference را معرفی کرد تا به شرکت ها کمک کند تا LLM ها را به طور کارآمد آموزش دهند.

برخلاف فرآیند آموزش دستی LLM – مشروط به تاخیر، هزینه‌های غیرضروری و سایر عوارض – HyperPod کارهای سنگین مربوط به ساخت و بهینه‌سازی زیرساخت‌های یادگیری ماشین را برای مدل‌های آموزشی حذف می‌کند و زمان آموزش را تا ۴۰% کاهش می‌دهد. شرکت گفت.

مهروترا گفت که AWS در چند ماه گذشته شاهد افزایش تقاضا برای آموزش مدل و حجم کار استنباط مدل بوده است زیرا شرکت‌ها به دنبال استفاده از هوش مصنوعی مولد برای اهداف بهره‌وری و تولید کد هستند.

در حالی که او تعداد دقیق شرکت‌هایی را که از SageMaker استفاده می‌کنند ارائه نکرد، مدیر کل گفت که این سرویس در عرض چند ماه تقریباً ۱۰ برابر رشد داشته است.

مهروترا گفت: «چند ماه پیش، ما می‌گفتیم که SageMaker ده‌ها هزار مشتری دارد و اکنون می‌گوییم که صدها هزار مشتری دارد. آزمایش‌های هوش مصنوعی تولیدی آنها در حال تولید است.