آمازون وب سرویس (AWS) قصد دارد هزینه‌های ذخیره‌سازی برای تعبیه‌های LLM را با Amazon S3 Vectors کاهش دهد

AWS می‌گوید می‌توانید بدون پایگاه‌های داده‌ی برداری تخصصی برای برنامه‌های هوش مصنوعی مولد و هوش مصنوعی عاملی کار کنید.

AWS در حال ارائه پیش‌نمایشی از یک سرویس ذخیره‌سازی تخصصی به نام Amazon S3 Vectors است که ادعا می‌کند می‌تواند هزینه بارگذاری، ذخیره‌سازی و پرس‌وجوی بردها را تا ۹۰٪ نسبت به استفاده از یک پایگاه داده بردی کاهش دهد؛ اقداماتی که احتمالاً برای کسانی که برنامه‌های هوش مصنوعی مولد یا هوش مصنوعی عامله‌ای را در ابر اجرا می‌کنند، جالب باشد.

مدل‌های یادگیری ماشین معمولاً داده‌ها را به صورت بردها — گروهی از پارامترها که شیء را توصیف می‌کنند — نمایش می‌دهند و سیستم‌های هوش مصنوعی از این تعبیه‌های بردی برای جستجو و استدلال کارآمد بین قطعات مختلف داده استفاده می‌کنند.

بردها معمولاً در پایگاه‌های داده بردی تخصصی یا پایگاه‌های داده‌ای با قابلیت‌های بردی برای جستجوی مشابهت و بازیابی در مقیاس ذخیره می‌شوند.

در مقابل، AWS پیشنهاد می‌کند که شرکت‌ها از نوع جدیدی از سطل S3 که به‌طور اختصاصی برای ذخیره‌سازی و پرس‌وجوی داده‌های بردی ساخته شده است، به نام Amazon S3 Vector استفاده کنند؛ این سرویس ادعا می‌کند نیاز به فراهم‌آوری زیرساخت برای یک پایگاه داده بردی را حذف می‌کند.

رایا موکه‌رجی، تحلیلگر ارشد در Everest Group، گفت که Amazon S3 یا هر ذخیره‌سازی شیء مبتنی بر ابر دیگری نسبت به پایگاه‌های داده بردی به‌دلیل تفاوت‌های ساختاری و نیازهای سخت‌افزاری، هزینه اجرا و نگهداری کمتری دارد و بنابراین به شرکت‌ها کمک می‌کند تا معماری را ساده‌سازی کنند، هزینه‌های عملیاتی را کاهش دهند و هزینه کلی را کم کنند.

در حالی که ذخیره‌سازی شیء برای مدیریت حجم‌های عظیم داده‌های ساختارنیافته با استفاده از معماری صاف که سربار را به حداقل می‌رساند و بازیابی کارآمد فایل‌های فردی را پشتیبانی می‌کند طراحی شده است، پایگاه‌های داده بردی برای جستجوی مشابهت با عملکرد بالا در داده‌های پیچیده و چندبعدی ساخته شده‌اند و اغلب به روش‌های ایندکس‌گذاری تخصصی و شتاب‌دهی سخت‌افزاری وابسته‌اند که می‌تواند هزینه‌های زیرساخت و عملیاتی را افزایش دهد.

هر سطل Amazon S3 Vectors می‌تواند تا ۱۰,۰۰۰ ایندکس بردی فردی را پشتیبانی کند و هر ایندکس قادر است ده‌ها میلیون برد را ذخیره کند؛ این سطل به‌صورت خودکار ذخیره‌سازی را برای عملکرد و هزینه بهینه می‌کند همان‌طور که بردها نوشته، به‌روزرسانی یا حذف می‌شوند، طبق گفته AWS.

علاوه بر این، AWS سرویس S3 Vectors را با پایگاه‌های دانش Amazon Bedrock، Amazon SageMaker Unified Studio و Amazon OpenSearch Service یکپارچه کرده است.

به گفته موکه‌رجی، این باید استفاده کارآمد از منابع را حتی با رشد و تحول مجموعه داده‌ها تضمین کند.

در حالی که یکپارچه‌سازی با پایگاه‌های دانش Bedrock و SageMaker Unified Studio به توسعه‌دهندگان کمک می‌کند تا برنامه‌های RAG بسازند که کارایی هزینه‌ای تنظیم دقیق مدل‌های زبانی بزرگ را تضمین کرده و هالوسی‌نان‌ها را کاهش می‌دهد، یکپارچه‌سازی OpenSearch انعطاف‌پذیری برای شرکت‌ها فراهم می‌کند تا بردهای کمتر مورد دسترسی را برای صرفه‌جویی در هزینه ذخیره کنند.

شرکت اعلام کرد که زمانی که این بردها مورد نیاز شوند، توسعه‌دهندگان می‌توانند به‌صورت پویا آنها را به OpenSearch منتقل کنند تا جستجوی زمان واقعی و با تأخیر کم انجام دهد.

شرکت‌ها و توسعه‌دهندگان می‌توانند Amazon S3 Vectors و یکپارچه‌سازی‌های آن با Amazon Bedrock، Amazon OpenSearch Service و Amazon SageMaker را در مناطق US East (N. Virginia)، US East (Ohio)، US West (Oregon)، Europe (Frankfurt) و Asia Pacific (Sydney) امتحان کنند.