Azure Cosmos DB به زنجیره ابزار هوش مصنوعی پیوست

مایکروسافت طیفی از ابزارهای جدید را برای آسان‌تر کردن سفارشی‌سازی و تمرکز خروجی مدل‌های هوش مصنوعی مبتنی بر GPT معرفی کرده است. Cosmos DB نقش مهمی ایفا می کند.

مدیر عامل مایکروسافت، ساتیا نادلا، ورود مدل‌های هوش مصنوعی با زبان بزرگ مانند GPT-4 را به عنوان «لحظه‌ای موزائیک» توصیف کرد که با ورود اولین مرورگر وب گرافیکی قابل مقایسه است. برخلاف آن لحظه اولیه موزائیک، زمانی که مایکروسافت به جنگ مرورگرها دیر رسید و مجبور شد اولین ابزار توسعه وب خود را بخرد، این شرکت در زمینه هوش مصنوعی جایگاه قطبی را به دست آورده است و به سرعت فناوری‌های هوش مصنوعی را در محصولات سازمانی و مصرفی عرضه می‌کند.

یکی از کلیدهای درک مایکروسافت این است که خود را یک شرکت پلت فرم است. این فرهنگ داخلی آن را به ارائه ابزارها و فناوری‌هایی برای توسعه‌دهندگان و پایه‌هایی هدایت می‌کند که توسعه‌دهندگان می‌توانند بر اساس آن‌ها کار کنند. برای هوش مصنوعی، با Azure OpenAI APIs شروع می‌شود و به ابزارهایی مانند Prompt Engine و Semantic Kernel گسترش می‌یابد که توسعه تجربیات سفارشی را ساده می‌کند. در بالای شبکه های عصبی مبتنی بر ترانسفورماتور OpenAI.

در نتیجه، بسیاری از رویداد توسعه‌دهنده مایکروسافت بیلد امسال بر این موضوع متمرکز است که چگونه می‌توانید از این ابزار برای ساخت برنامه‌های کاربردی مبتنی بر هوش مصنوعی خود استفاده کنید، با استفاده از مدل «کمپیلوت» ابزار کمکی هوش مصنوعی که مایکروسافت در حال استفاده از آن است. در مرورگر Edge و موتور جستجوی Bing، در GitHub و ابزار توسعه‌دهنده آن، و برای شرکت‌ها در Microsoft 365 و Power Platform. ما همچنین می آموزیم که مایکروسافت قصد دارد کجا شکاف های موجود در پلتفرم خود را پر کند و ابزار خود را به فروشگاهی تک مرحله ای برای توسعه هوش مصنوعی تبدیل کند.

LLMها ابزارهای پردازش برداری هستند

در قلب یک مدل زبان بزرگ مانند GPT-4 OpenAI یک شبکه عصبی عظیم است که با نمایش برداری از زبان کار می کند و به دنبال بردارهایی مشابه با بردارهایی است که دستورات آن را توصیف می کنند و مسیر بهینه را از طریق فضای معنایی چند بعدی ایجاد و اصلاح می کند که منجر به خروجی قابل درک این شبیه به رویکردی است که توسط موتورهای جستجو استفاده می شود، اما در جایی که جستجو در مورد یافتن بردارهایی مشابه با بردارهایی است که به سؤالات شما پاسخ می دهند، LLM ها مجموعه اولیه نشانه های معنایی را که دستور اولیه شما را تشکیل می دهند (و اعلان مورد استفاده برای تنظیم زمینه LLM در حال استفاده). این یکی از دلایلی است که چرا اولین محصولات LLM مایکروسافت، GitHub Copilot و Bing Copilot، بر اساس سرویس‌های مبتنی بر جستجو ساخته می‌شوند، زیرا آنها قبلاً از پایگاه‌های داده و نمایه‌های برداری استفاده می‌کنند و زمینه را فراهم می‌کنند که پاسخ‌های LLM را در مسیر خود نگه می‌دارد.

متأسفانه برای بقیه ما، پایگاه‌های داده برداری نسبتاً کمیاب هستند و بر اساس اصول بسیار متفاوت از پایگاه‌های داده آشنای SQL و NoSQL ساخته شده‌اند. شاید بتوان آنها را به‌عنوان پسوندهای چند بعدی پایگاه‌های داده گراف در نظر گرفت، با داده‌هایی که به‌عنوان بردارهایی با جهت و اندازه جاسازی شده‌اند. بردارها یافتن داده های مشابه را سریع و دقیق می کنند، اما به روش کار بسیار متفاوت نسبت به سایر اشکال داده نیاز دارند.

اگر می‌خواهیم نسخه‌های کمکی سازمانی خود را بسازیم، باید پایگاه‌های داده برداری خودمان را داشته باشیم، زیرا به ما اجازه می‌دهند LLM‌ها را با داده‌های دامنه خاص خود گسترش و اصلاح کنیم. شاید این داده ها کتابخانه ای از قراردادهای رایج یا مستندات محصول چندین دهه یا حتی تمام سوالات و پاسخ های پشتیبانی مشتری شما باشد. اگر بتوانیم آن داده‌ها را به روش درست ذخیره کنیم، می‌توان از آن برای ایجاد رابط‌های مبتنی بر هوش مصنوعی برای کسب و کار شما استفاده کرد.

اما آیا ما زمان یا منابع لازم برای گرفتن آن داده‌ها و ذخیره آن‌ها را در قالبی ناآشنا، روی یک محصول اثبات‌نشده داریم؟ چیزی که ما نیاز داریم راهی برای ارائه سریع آن داده‌ها به هوش مصنوعی است، بر اساس ابزارهایی که قبلاً استفاده می‌کنیم.

جستجوی برداری به Cosmos DB می آید

مایکروسافت در BUILD 2023 مجموعه ای از به روز رسانی ها را برای پایگاه داده اسناد ابری Cosmos DB خود در BUILD 2023 اعلام کرد. در حالی که بیشتر به روز رسانی ها بر روی کار با حجم زیادی از داده ها و مدیریت جستجوها متمرکز هستند، شاید مفیدترین آنها برای توسعه برنامه های کاربردی هوش مصنوعی اضافه شدن قابلیت جستجوی برداری این امر در مورد نمونه‌های موجود Cosmos DB نیز صدق می‌کند و به مشتریان امکان می‌دهد از انتقال داده‌ها به یک پایگاه داده برداری جدید اجتناب کنند.

جستجوی بردار جدید Cosmos DB بر اساس Cosmos است که اخیراً راه اندازی شده است. سرویس DB for MongoDB vCore، که به شما امکان می‌دهد تا نمونه‌ها را به زیرساخت‌های مجازی خاص، همراه با در دسترس بودن بالا در مناطق در دسترس، محدود کنید – و از یک مدل قیمت‌گذاری قابل پیش‌بینی‌تر برای هر گره استفاده کنید، در حالی که هنوز از APIهای آشنای MongoDB استفاده می‌کنید. پایگاه داده های موجود MongoDB را می توان به Cosmos DB منتقل کرد و به شما امکان می دهد از MongoDB در محل برای مدیریت داده های خود استفاده کنید و از Cosmos DB در Azure برای اجرای برنامه های خود استفاده کنید. ابزار جدید فید تغییر Cosmos DB باید ساخت ماکت در مناطق مختلف را آسان‌تر کند و تغییرات را از یک پایگاه داده در میان خوشه‌های دیگر تکرار کند.

جستجوی برداری این ابزار را گسترش می‌دهد و یک حالت جستجوی جدید به پایگاه داده‌های شما اضافه می‌کند که می‌تواند برای کار با برنامه‌های هوش مصنوعی شما استفاده شود. در حالی که جستجوی برداری یک پایگاه داده برداری واقعی نیست، بسیاری از ویژگی های مشابه را ارائه می دهد، از جمله راهی برای ذخیره جاسازی ها و استفاده از آنها به عنوان کلید جستجو برای داده های خود، با استفاده از قوانین شباهت مشابه به عنوان جایگزین های پیچیده تر. ابزاری که مایکروسافت راه‌اندازی می‌کند از نمایه‌سازی برداری اولیه (با استفاده از IVF Flat)، سه نوع معیار فاصله، و امکان ذخیره و جستجو بر روی بردارهایی با ابعاد تا ۲۰۰۰ پشتیبانی می‌کند. معیارهای فاصله یک ویژگی کلیدی در جستجوی برداری است، زیرا به تعیین شباهت بردارها کمک می کند.

چیزی که شاید در مورد راه حل اولیه مایکروسافت جالب تر باشد این است که این یک افزونه برای یک پایگاه داده اسناد محبوب است. استفاده از پایگاه داده سند برای ایجاد یک فروشگاه معنایی برای یک LLM بسیار منطقی است: این یک ابزار آشنا است که ما قبلاً می دانیم چگونه از آن برای ارائه و مدیریت محتوا استفاده کنیم. در حال حاضر کتابخانه‌هایی وجود دارند که به ما امکان می‌دهند فرمت‌های مختلف اسناد را ضبط و تبدیل کنیم و آنها را در JSON کپسوله کنیم، بنابراین می‌توانیم از ابزار ذخیره‌سازی موجود به جاسازی‌های برداری آماده LLM بدون تغییر گردش کار یا نیاز به توسعه مهارت‌ها با یک کلاس کاملاً جدید از پایگاه‌های داده برویم.

این رویکردی است که باید کار جمع‌آوری مجموعه‌های داده سفارشی مورد نیاز برای ساخت جستجوی معنایی خود را ساده کند. Azure OpenAI APIهایی را برای ایجاد جاسازی از اسناد شما ارائه می دهد که می توانند در Cosmos DB همراه با اسناد منبع ذخیره شوند. برنامه‌ها جاسازی‌های جدیدی را بر اساس ورودی‌های کاربر ایجاد می‌کنند که می‌تواند با جستجوی برداری Cosmos DB برای یافتن اسناد مشابه استفاده شود.

نیازی نیست که آن اسناد حاوی هیچ یک از کلمات کلیدی در جستار اولیه باشند. آنها فقط باید از نظر معنایی مشابه باشند. تنها کاری که باید انجام دهید این است که اسناد را از طریق یک خلاصه‌کننده GPT اجرا کنید و سپس جاسازی‌ها را ایجاد کنید و یک مرحله آماده‌سازی داده را به توسعه برنامه خود اضافه کنید. هنگامی که یک مجموعه داده آماده کردید، باید یک فرآیند بارگذاری ایجاد کنید که افزودن جاسازی‌ها را خودکار می‌کند، زیرا اسناد جدید در Cosmos DB ذخیره می‌شوند.

این رویکرد باید در کنار به‌روزرسانی‌های Azure AI Studio به خوبی کار کند تا داده‌های خصوصی آماده هوش مصنوعی را به برنامه‌های مبتنی بر Azure OpenAI شما ارائه دهد. معنی این کد برای کد شما این است که تمرکز برنامه‌ها بسیار ساده‌تر خواهد بود و خطر از بین رفتن سریع آنها و ایجاد نتایج واهی را کاهش می‌دهد. درعوض، برنامه‌ای که پاسخ‌های پیشنهادی را برای مثلاً قراردادهای دولتی ایجاد می‌کند، می‌تواند از داده‌های اسنادی از تاریخچه مناقصه‌های موفق شرکت شما استفاده کند تا طرح کلی را ارائه دهد که می‌تواند شکل‌دهی و شخصی‌سازی شود.

استفاده از جستجوی برداری به عنوان حافظه معنایی

مایکروسافت در کنار ابزارهای هوش مصنوعی مبتنی بر ابر خود، یک پسوند Semantic Kernel تعاملی را به Visual Studio Code می آورد که به توسعه دهندگان این امکان را می دهد تا مهارت ها و پلاگین های هوش مصنوعی را در اطراف Azure OpenAI و OpenAI با استفاده از C# یا Python بسازند و آزمایش کنند. ابزارهایی مانند جستجوی برداری Cosmos DB باید ساخت حافظه های معنایی را برای Semantic Kernel ساده کند و به شما امکان می دهد برنامه های پیچیده تری را پیرامون فراخوانی های API ایجاد کنید. نمونه‌ای از نحوه استفاده از جاسازی‌ها به‌عنوان پسوند نمونه Copilot Chat موجود است، که به شما امکان می‌دهد به جای تابع تحلیل سند از پیش ساخته شده، جستجوی برداری را جایگزین کنید.

پلتفرم هوش مصنوعی مایکروسافت بسیار شبیه به آن است، پلتفرمی است که شما می توانید بر روی آن بسازید. Azure OpenAI ستون فقرات را تشکیل می دهد و میزبان LLM ها است. آوردن جستجوی برداری به داده‌ها در Cosmos DB، پایه‌گذاری نتایج را در دانش و محتوای سازمان خودمان آسان‌تر می‌کند. این باید در سایر اطلاعیه‌های پلتفرم هوش مصنوعی، پیرامون ابزارهایی مانند جستجوی شناختی Azure، که اتصال هر منبع داده‌ای به مدل‌های Azure OpenAI را خودکار می‌کند، ارائه یک نقطه پایانی ساده برای برنامه‌های شما و ابزاری برای آزمایش سرویس بدون خروج از استودیوی هوش مصنوعی Azure، در نظر بگیرد.

آنچه که مایکروسافت در اینجا ارائه می‌کند طیفی از ابزارهای توسعه‌دهنده هوش مصنوعی است که با Azure AI Studio و Copilot Maker کم‌کد آن، از طریق نقاط پایانی جستجوی شناختی سفارشی، شروع می‌شود تا جستجوی برداری خود را در اسنادتان انجام دهید. این باید برای کمک به شما در ساخت برنامه مبتنی بر LLM که نیازهای شما را برآورده می کند، کافی باشد.