Azure AI Studio: جعبه ابزار تقریباً کاملی برای توسعه هوش مصنوعی

استودیوی هوش مصنوعی Azure، در حالی که هنوز در حال پیش‌نمایش است، اکثر جعبه‌ها را برای سازنده برنامه‌های هوش مصنوعی مولد، با پشتیبانی از مهندسی سریع، RAG، ساخت عامل و توسعه با کد پایین یا بدون کد بررسی می‌کند.

• کاتالوگ مدل Azure AI Studio
• معیارهای مدل Azure AI Studio
• مدل به عنوان یک سرویس در مقابل مدل به عنوان یک پلت فرم
• معیارهای فیلتر مدل Azure AI Studio
• روش‌های سفارشی‌سازی مدل
• ابزارها و اجزای استودیوی هوش مصنوعی Azure
• شروع سریع و آموزش استودیوی هوش مصنوعی Azure
• توسعه هوش مصنوعی بدون درد

در ۱۵ نوامبر، مایکروسافت Azure AI Studio را معرفی کرد، یک پلتفرم جدید برای هوش مصنوعی مولد< /a> توسعه اپلیکیشن، با استفاده از مدل‌های OpenAI مانند GPT-4، و همچنین مدل‌هایی از Microsoft Research، Meta، Hugging Face، و غیره. مایکروسافت گفت که انگیزه این محصول این است که «پیمایش پیچیدگی‌های مهندسی سریع، موتورهای جستجوی برداری، الگوی نسل افزوده‌شده بازیابی (RAG) و ادغام با سرویس OpenAI Azure می‌تواند دلهره‌آور باشد.

به نظر می رسد که استودیوی هوش مصنوعی Azure یک سیستم خوب برای انتخاب مدل های هوش مصنوعی مولد، برای زمین کردن آنها با RAG با استفاده از جاسازی های برداری، جستجوی برداری و داده، و برای تنظیم دقیق آن مدل ها است. همه برای ایجاد خلبان ها یا عوامل با هوش مصنوعی. این ابزار «سطح زیرزمین» برای ایجاد نسخه‌های کمکی است که برای توسعه‌دهندگان با تجربه و دانشمندان داده هدف قرار می‌گیرد، در حالی که Copilot Studio مایکروسافت یک ابزار کد پایین در طبقه دوم است. برای سفارشی کردن ربات های چت.

استودیوی هوش مصنوعی Azure رقابتی با مظنونین معمولی دارد، به‌علاوه چند موردی که ممکن است از قبل در مورد آنها ندانید. Amazon Bedrock با Azure AI Studio رقابت می کند و Amazon Q با Microsoft Copilots رقابت می کند. Bedrock فهرستی از مدل‌های پایه، RAG و جاسازی‌ها، پایگاه‌های دانش، تنظیم دقیق و پیش‌آموزش مداوم برای ساخت برنامه‌های هوش مصنوعی مولد ارائه می‌دهد.

یک آزمایش تا حدودی رقابتی از Google وجود دارد، به نام NotebookLM، که ” فقط» به شما امکان می‌دهد اسناد (سندنگار Google، فایل‌های PDF و متن چسب‌شده) را برای RAG در برابر یک مدل زبان بزرگ ارائه دهید. من “فقط” را در نقل قول هوا قرار می دهم زیرا استفاده از RAG در برابر یک مدل خوب اغلب برای تولید یک برنامه هوش مصنوعی مولد خوب کافی است. Google سابقه طولانی در کشتن آزمایش‌های خود دارد، بنابراین من هیچ شرطی در مورد اینکه NotebookLM به یک محصول تبدیل می‌شود یا چگونه است، نمی‌پذیرم.

Google یک محصول حرفه ای در این زمینه دارد. Google Vertex AI Generative AI Studio به شما امکان می‌دهد مدل‌های پایه را با داده‌های خود با استفاده از تنظیم تنظیم کنید. گزینه هایی مانند تنظیم آداپتور و یادگیری تقویتی از بازخورد انسانی (RLHF)، یا تنظیم سبک و موضوع برای تولید تصویر. که مکمل Vertex AI مدل باغ و مدل‌های پایه به عنوان API.

اگر می توانید کمی Python، JavaScript یا Go بنویسید، می توانید بسیاری از کارهای مشابهی را که می توانید با هوش مصنوعی Azure انجام دهید. استودیو — یا احتمالاً بیشتر — با LangChain و LangSmith. همچنین می‌توانید برخی از موارد مشابه را با Poe انجام دهید، که انتخاب خوبی از مدل‌ها دارد و به شما امکان می‌دهد ربات‌ها را با درخواست های متن ساده و همچنین با کد.

کاتالوگ مدل Azure AI Studio

Azure AI Studio میزبان مدل‌های AI از Microsoft Research، OpenAI، Meta، Hugging Face، و Databricks و همچنین مدل‌های پایه NVIDIA است تا بتوانید بهترین مدل فعلی را برای برنامه خود یا حداقل مدلی که به خوبی کار می‌کند پیدا کنید. کافی. علاوه بر این، استودیوی هوش مصنوعی Azure، نیم دوجین مدل زبان Azure OpenAI را ارائه می‌کند که برخی از آنها قابلیت تنظیم دقیق دارند.

به طور کلی، مدل‌های OpenAI «به‌عنوان یک سرویس» ارائه می‌شوند، به این معنی که در یک مجموعه مدل با پردازنده‌های گرافیکی خاص خود مستقر می‌شوند. هنگامی که آنها را تهیه می کنید، یک نقطه پایان استنتاج در اشتراک خود و احتمالاً توانایی استفاده از آنها در کارهای تنظیم دقیق و ارزیابی دریافت می کنید. وقتی در مورد سفارشی‌سازی مدل در زیر صحبت می‌کنیم، تنظیمات دقیق را مورد بحث قرار می‌دهیم.

کاتالوگ مدل‌های Azure AI Studio دارای طیف گسترده‌ای از مدل‌ها از چندین فروشنده، از جمله OpenAI، NVIDIA، Meta، Hugging Face، Databricks و Microsoft Research است. مدل‌ها بر اساس مهارت‌های استنتاج و همچنین سازندگانشان طبقه‌بندی می‌شوند.

معیارهای مدل Azure AI Studio

هر مدل هوش مصنوعی مولد قابلیت یا عملکرد یکسانی ندارد. از لحاظ تاریخی، مدل‌های بهتر قیمت بالاتری داشته‌اند، اما اخیراً برخی از مدل‌های منبع باز رایگان، عملکرد بسیار خوبی در کارهای رایج از خود نشان داده‌اند.

به‌ویژه تعدادی معیار استاندارد برای LLM وجود دارد که اندازه‌گیری خودکار آنها آسان‌تر از مدل‌هایی است که رسانه تولید می‌کنند. همانطور که در نمودار زیر می بینید، GPT-4 32K قهرمان فعلی در بین مدل های نصب شده در Azure برای بیشتر معیارهای دقت است، اما به خاطر داشته باشید که تصویر عملکرد LLM تقریباً روزانه تغییر می کند.

در حال نوشتن این مطلب، گوگل ادعا می کند که مدل جدید Gemini آن از GPT-4 پیشی گرفته است. من نتوانستم آن را آزمایش کنم تا بدانم آیا این درست است یا خیر. ظاهراً نسخه «واقعاً خوب» Ultra Gemini تا سال آینده در دسترس نخواهد بود. نسخه Pro که آزمایش کردم تقریباً در سطح GPT-3.5 است.

علاوه بر این، اخیراً حداقل سه مدل زبان کوچک رقابتی منتشر شده است. آنها عبارتند از Starling-LM-7B، که از یادگیری تقویتی از بازخورد هوش مصنوعی (RLAIF) از UC Berkeley استفاده می کند.

معیارهای مدل Azure AI Studio. در اینجا ما دقت مدل چهار LLM، GPT-3.5 Turbo، GPT-4 32K، Llama 2 70b، و Llama 2 70b چت را برای پاسخگویی به سوالات و تولید متن مقایسه می کنیم. جای تعجب نیست که GPT-4 32K، بزرگترین و گران ترین مدل در نظر گرفته شده، در صدر قرار گرفت. توجه داشته باشید که مدل‌های چت که برای استفاده تعاملی بهینه‌سازی شده‌اند، انتظار نمی‌رود در کارهای تکمیلی از مدل‌های غیر چت بهتر عمل کنند.

مدل به عنوان یک سرویس در مقابل مدل به عنوان یک پلت فرم

Azure AI Studio مدل ها را از طریق دو مکانیسم ارائه می دهد: مدل به عنوان یک سرویس (MaaS) و مدل به عنوان یک پلت فرم (MaaP). مدل به‌عنوان یک سرویس به این معناست که شما از طریق یک API به مدل دسترسی پیدا می‌کنید و معمولاً هزینه استفاده را در حین حرکت پرداخت می‌کنید. خود مدل در یک استخر مرکزی زندگی می کند که در آن به GPU دسترسی دارد. مدل‌های Azure OpenAI همگی به عنوان MaaS در دسترس هستند، که منطقی است زیرا برای اجرا به ظرفیت GPU زیادی نیاز دارند. همانطور که من این را می نویسم، شش مدل Meta Llama 2 به تازگی به عنوان MaaS در دسترس قرار گرفتند.

مدل به‌عنوان یک پلتفرم به این معنی است که مدل را در ماشین‌های مجازی که متعلق به اشتراک Azure شما هستند، مستقر می‌کنید. وقتی این را امتحان کردم، داشتم یک مدل Mistral 7B را روی یک ماشین مجازی از نوع Standard_NC24ads_A100_v4، که دارای ۲۴ vCPU، ۲۲۰.۰ گیگابایت حافظه، یک پردازنده گرافیکی NVIDIA A100 PCIe، و از نسل سوم پردازنده های AMD EPYC 7V13 (Milan) است، استفاده می کردم. من تحت تأثیر نتایج استنتاج غیرمستقیم Mistral 7B در درخواست‌های سفارشی‌ام قرار نگرفتم – پاسخ درست در آنجا بود، اما با توهمات نامربوط احاطه شده بود – اگرچه تصور می‌کنم می‌توانم آن را با مهندسی سریع و/یا RAG برطرف کنم. (بخش «روش‌های سفارشی‌سازی مدل» را در زیر ببینید.) گمانه‌زنی‌هایی مبنی بر اینکه Mistral 7B بر روی داده‌های تست معیار آموزش دیده است، وجود دارد که می‌تواند توضیح دهد که چرا بیش از آنچه از امتیازات معیارش انتظار دارید، از ریل خارج می‌شود.

من ادعاهایی شنیده ام که مدل جدید Mixtral 8x7B هشت طرفه ترکیبی از متخصصان بسیار بهتر است، اما در کاتالوگ Azure AI Studio در زمان آزمایش در دسترس نبود. GPT-4 نیز ظاهراً یک مدل ترکیبی از متخصصان هشت طرفه است، اما بسیار بزرگتر است. OpenAI هنوز نحوه ساخت این مدل را تایید نکرده است.

اگر حساب/اشتراک/منطقه Azure شما هیچ سهمیه GPU ندارد، همچنان می‌توانید یک مدل هوش مصنوعی مولد را به‌عنوان پلتفرمی با ظرفیت GPU مشترک اجرا کنید. نقطه مقابل آن این است که ظرفیت GPU مشترک فقط برای مدت زمان محدودی خوب است، که به طور متفاوت ۲۴ یا ۱۶۸ ساعت ذکر می شود. تا زمانی که سرپرست ابری شما بتواند مقداری سهمیه GPU را برای شما ترتیب دهد، این یک توقف در نظر گرفته می‌شود.

معیار فیلتر مدل Azure AI Studio

Azure AI Studio می‌تواند مدل‌ها را بر اساس مجموعه‌ها، وظایف استنتاجی که پشتیبانی می‌کنند و وظایف تنظیم دقیقی که پشتیبانی می‌کنند فیلتر کند. در حال حاضر هشت مجموعه وجود دارد که عمدتاً منابع مدل مانند Azure OpenAI، Meta و Mistral AI را نشان می‌دهند. در حال حاضر ۲۰ کار استنتاج شامل تولید متن، پاسخ به سؤال، جاسازی، ترجمه و طبقه بندی تصویر وجود دارد. و ۱۱ کار تنظیم دقیق وجود دارد که همگی از فهرست وظایف استنتاج گرفته شده‌اند، اما شامل جاسازی‌ها نمی‌شوند، که بیشتر یک ابزار میانی برای پیاده‌سازی نسل افزوده‌شده بازیابی است.

فیلترهای مدل Azure AI Studio. این‌ها از نسخه‌ای از محصول در ماه دسامبر گرفته شده‌اند و احتمالاً در طول زمان تغییر خواهند کرد.

روش های سفارشی سازی مدل

در این مرحله ارزش آن را دارد که درباره راه‌های سفارشی‌سازی مدل‌ها به طور کلی بحث کنیم. در بخش زیر، ابزارها و اجزای موجود در Azure AI Studio را خواهید دید.

مهندسی سریع یکی از ساده‌ترین راه‌ها برای سفارشی‌سازی یک مدل هوش مصنوعی مولد است. به طور معمول، مدل ها دو اعلان، یک فرمان کاربر و یک فرمان سیستم را می پذیرند و یک خروجی تولید می کنند. شما معمولاً درخواست کاربر را دائماً تغییر می‌دهید و از فرمان سیستم برای تعریف ویژگی‌های کلی که می‌خواهید مدل استفاده کند، استفاده می‌کنید.

مهندسی سریع اغلب برای تعریف روشی که می‌خواهید یک مدل برای یک کار کاملاً تعریف شده پاسخ دهد، مانند تولید متن در سبک‌های خاص، کافی است. تصویر زیر نمونه دستور Azure AI Studio را برای دستیار نوشتن شکسپیر نشان می دهد. شما به راحتی می توانید تصور کنید که یک اعلان مشابه برای “Talk Like a Pirate Day” ایجاد کنید. اوه، رفیق.

LLM ها اغلب دارای هایپرپارامترهایی هستند که می توانید آنها را به عنوان بخشی از درخواست خود تنظیم کنید. تنظیم فراپارامتر به همان اندازه که برای آموزش مدل‌های یادگیری ماشینی برای درخواست‌های LLM مهم است. فراپارامترهای مهم معمول برای اعلان های LLM دما، پنجره زمینه، حداکثر تعداد نشانه ها و توالی توقف هستند، اما می توانند از مدلی به مدل دیگر متفاوت باشند.

دما، تصادفی بودن خروجی را کنترل می کند. بسته به مدل می تواند از ۰ تا ۱ یا ۰ تا ۲ متغیر باشد. مقادیر دمای بالاتر تصادفی بیشتری را می طلبد. در برخی از مدل ها، ۰ به معنای “تنظیم دما به طور خودکار” است. در مدل های دیگر، ۰ به معنای “بدون تصادفی” است.

پنجره زمینه، تعداد نشانه‌های قبلی (کلمات یا زیرکلمات) را که مدل برای پاسخ خود در نظر می‌گیرد، کنترل می‌کند. حداکثر تعداد نشانه ها طول پاسخ تولید شده را محدود می کند. توالی توقف برای سرکوب محتوای توهین آمیز یا نامناسب در خروجی استفاده می شود.

نسل تقویت‌شده با بازیابی یا RAG به پایه‌گذاری LLM با منابع خاص کمک می‌کند، اغلب منابعی که در آموزش اصلی مدل‌ها گنجانده نشده‌اند. همانطور که ممکن است حدس بزنید، سه مرحله RAG عبارتند از بازیابی از یک منبع مشخص، تقویت درخواست با متن بازیابی شده از منبع، و سپس تولید با استفاده از مدل و اعلان تقویت شده.

روش‌های RAG اغلب از جاسازی برای محدود کردن طول و ارتباط زمینه بازیابی شده را بهبود بخشد. اساساً، یک تابع جاسازی یک کلمه یا عبارت را می گیرد و آن را به بردار اعداد ممیز شناور ترسیم می کند. اینها معمولاً در پایگاه داده ای ذخیره می شوند که از فهرست جستجوی برداری پشتیبانی می کند. سپس مرحله بازیابی از یک جستجوی تشابه معنایی استفاده می کند، که معمولاً از کسینوس زاویه بین جاسازی پرس و جو و بردارهای ذخیره شده استفاده می کند تا اطلاعات “نزدیک” را برای استفاده در اعلان تقویت شده پیدا کند. موتورهای جستجو معمولاً همین کار را برای یافتن پاسخ های خود انجام می دهند.

عامل‌ها، با نام عامل‌های بازیابی مکالمه، ایده LLMهای مکالمه را با ترکیبی از ابزارها، کدهای در حال اجرا، جاسازی‌ها و ذخیره‌های برداری گسترش می‌دهند. به عبارت دیگر، آنها RAG به علاوه مراحل اضافی هستند. نماینده ها اغلب به تخصصی کردن LLM ها در حوزه های خاص و تنظیم خروجی LLM کمک می کنند. Azure Copilots معمولاً عامل هستند. گوگل و آمازون از عبارت agent استفاده می کنند. LangChain و LangSmith ساخت خطوط لوله و عوامل RAG را ساده می کنند.

تنظیم دقیق مدل‌های زبان بزرگ یک فرآیند یادگیری تحت نظارت است که شامل تنظیم پارامترهای مدل برای یک کار خاص است. این کار با آموزش مدل بر روی یک مجموعه داده کوچکتر و مختص کار انجام می شود که با نمونه هایی مرتبط با کار هدف برچسب گذاری شده است. تنظیم دقیق اغلب با استفاده از بسیاری از GPU های سطح سرور ساعت ها یا روزها طول می کشد و به صدها یا هزاران نمونه برچسب گذاری شده نیاز دارد. هنوز هم بسیار سریعتر از پیش‌آموزش طولانی است.

LoRA یا سازگاری با رتبه پایین، روشی است که یک ماتریس وزن را به دو ماتریس وزن کوچکتر تجزیه می کند. این تقریباً تنظیم دقیق کامل نظارت شده را به روشی کارآمدتر از نظر پارامتر انجام می دهد. نسخه اصلی مقاله LoRA مایکروسافت در سال ۲۰۲۱ منتشر شد. یک تغییر کوانتیزه شده در سال ۲۰۲۳ در LoRA، QLoRA، مقدار حافظه GPU مورد نیاز برای فرآیند تنظیم را کاهش می دهد. LoRA و QLoRA معمولاً تعداد نمونه های برچسب گذاری شده و زمان مورد نیاز را در مقایسه با تنظیم دقیق استاندارد کاهش می دهند.

پیش‌آموزش فرآیند یادگیری بدون نظارت در مجموعه داده‌های متنی عظیم است که به LLM‌ها اصول زبان را آموزش می‌دهد و یک مدل پایه عمومی ایجاد می‌کند. پیش‌آموزش گسترده یا مستمر، مجموعه‌های داده‌ای بدون برچسب مربوط به دامنه یا کار خاص را به مدل پایه اضافه می‌کند تا مدل را تخصصی کند، به عنوان مثال برای افزودن یک زبان، افزودن اصطلاحات برای تخصصی مانند پزشکی، یا افزودن توانایی تولید کد. پیش‌آموزش مستمر (با استفاده از یادگیری بدون نظارت) اغلب با تنظیم دقیق (با استفاده از یادگیری تحت نظارت) دنبال می‌شود.

مهندسی سریع. این یک نمونه سریع استودیوی هوش مصنوعی Azure برای دستیار نوشتن شکسپیر است. پنج بخش برای فرمان وجود دارد: حالت، وظیفه، پیام سیستم، یک پیام کاربر نمونه، و یک نمونه پاسخ دلخواه.

ابزارها و اجزای استودیوی هوش مصنوعی Azure

در اوایل این بررسی، کاتالوگ مدل Azure AI Studio و معیارهای مدل را مشاهده کردید. علاوه بر آن‌ها، در برگه کاوش، استودیوی هوش مصنوعی Azure قابلیت‌های گفتار، بینایی، و زبان، هوش مصنوعی مسئول و نمونه‌های فوری را ارائه می‌کند، مانند دستیار نوشتن شکسپیر که در بخش قبل دیدید.

استودیوی هوش مصنوعی Azure در برگه ساخت خود، ابزارهای Playground، Evaluation، Prompt Flow، صدای عصبی سفارشی و تنظیم دقیق و اجزای داده، شاخص‌ها، توسعه‌ها و فیلترهای محتوا را ارائه می‌کند. در برگه مدیریت، می‌توانید منابع خود و (حداقل در سایت مرحله‌بندی) سهمیه‌های خود را برای هر اشتراک و منطقه مشاهده کنید.

گفتار

• Azure AI Studio

  < meta content="4.5" itemprop="ratingValue"/>
  بیشتر بیاموزید

  در span>

  استودیوی هوش مصنوعی Azure، در حالی که هنوز در حال پیش‌نمایش است و تا حدودی در حال ساخت است، اکثر کادرها را برای سازنده برنامه‌های هوش مصنوعی مولد بررسی می‌کند و به شما امکان می‌دهد مدل‌ها را انتخاب کنید و آنها را با بازیابی زمین‌بندی کنید. -تولید افزوده شده، آنها را تنظیم کنید و از آنها برای ایجاد خلبان ها یا عوامل با هوش مصنوعی استفاده کنید.

  مزایا

  • مجموعه گسترده ای از مدل های هوش مصنوعی مولد و انتخاب خوبی از فیلترها را ارائه می دهد
  • قابل استفاده برای برنامه نویسان و غیر برنامه نویسان
  • از مهندسی سریع، RAG و ساختمان عامل پشتیبانی می کند
  • داده‌ها، جاسازی‌ها، جستجوی برداری و ایمنی محتوا را مدیریت می‌کند

  معایب

  • هنوز باید در مورد مهندسی سریع، RAG، ساختمان عامل و غیره بیاموزید
  • شما باید انتظار داشته باشید که زمان قابل توجهی را صرف بهینه سازی برنامه های خود کنید

Azure AI Studio

استودیوی هوش مصنوعی Azure، در حالی که هنوز در حال پیش‌نمایش است و تا حدودی در حال ساخت است، اکثر کادرها را برای سازنده برنامه‌های هوش مصنوعی مولد بررسی می‌کند و به شما امکان می‌دهد مدل‌ها را انتخاب کنید و آنها را با بازیابی زمین‌بندی کنید. -تولید افزوده شده، آنها را تنظیم کنید و از آنها برای ایجاد خلبان ها یا عوامل با هوش مصنوعی استفاده کنید.

• مجموعه گسترده ای از مدل های هوش مصنوعی مولد و انتخاب خوبی از فیلترها را ارائه می دهد
• قابل استفاده برای برنامه نویسان و غیر برنامه نویسان
• از مهندسی سریع، RAG و ساختمان عامل پشتیبانی می کند
• داده‌ها، جاسازی‌ها، جستجوی برداری و ایمنی محتوا را مدیریت می‌کند

• هنوز باید در مورد مهندسی سریع، RAG، ساختمان عامل و غیره بیاموزید
• شما باید انتظار داشته باشید که زمان قابل توجهی را صرف بهینه سازی برنامه های خود کنید

• هوش مصنوعی مولد< /a>
• هوش مصنوعی< /a>
• توسعه نرم افزار< /a>
• رایانش ابری< /a>
• مایکروسافت