شروع کار با Azure OpenAI

مدل‌های زبان OpenAI مایکروسافت با میزبانی Azure اکنون به طور کلی در دسترس هستند و استفاده از آنها در کد شما به طرز شگفت‌آوری ساده است.

تحقیقات یادگیری ماشینی و هوش مصنوعی مدرن به سرعت از آزمایشگاه به IDE های ما منتقل شده است، با ابزارهایی مانند خدمات شناختی Azure که دسترسی مبتنی بر API به مدل های از پیش آموزش دیده را ارائه می دهد. روش‌های مختلفی برای ارائه خدمات هوش مصنوعی وجود دارد، یکی از روش‌های امیدوارکننده‌تر برای کار با زبان، تکنیکی به نام پیش‌آموزش مولد یا GPT است که حجم زیادی از متن را مدیریت می‌کند.

OpenAI و Microsoft

آزمایشگاه تحقیقاتی OpenAI پیشگام این تکنیک بود و مقاله اولیه درباره این موضوع در سال ۲۰۱۸. مدلی که از آن استفاده می‌کند چندین بار تکرار شده است، که با GPT-2 بدون نظارت شروع شد، که از داده‌های بدون برچسب برای تقلید از انسان استفاده می‌کرد. GPT-2 که بر روی ۴۰ گیگابایت محتوای اینترنتی عمومی ساخته شده بود، برای ارائه مدلی با ۱.۵ میلیارد پارامتر به آموزش قابل توجهی نیاز داشت. به دنبال آن GPT-3، یک مدل بسیار بزرگتر با ۱۷۵ میلیارد پارامتر، قرار گرفت. GPT-3 با مجوز انحصاری مایکروسافت، مبنای ابزارهایی مانند Codex متمرکز بر کد برنامه نویسی است که توسط GitHub Copilot و DALL-E تولید کننده تصویر استفاده می شود.

با مدلی مانند GPT-3 که به مقادیر قابل توجهی محاسبات و حافظه، به ترتیب هزاران پتافلاپ در ثانیه، نیاز دارد، یک نامزد ایده آل برای محاسبات با کارایی بالا مبتنی بر ابر بر روی سخت‌افزار تخصصی ابر رایانه است. مایکروسافت سرورهای مبتنی بر Nvidia خود را برای ابررایانه در Azure، با نمونه‌های ابری آن در فهرست ابر رایانه‌های TOP500 ظاهر می‌شود. سرورهای هوش مصنوعی Azure پیرامون پردازنده‌های گرافیکی Nvidia Ampere A12000 Tensor Core ساخته شده‌اند که از طریق یک شبکه پرسرعت InfiniBand به هم متصل هستند.

افزودن OpenAI به Azure

ابزارهای هوش مصنوعی مولد OpenAI بر روی سرورهای Azure ساخته و آموزش داده شده اند. به عنوان بخشی از یک معامله طولانی مدت بین OpenAI و مایکروسافت، ابزارهای OpenAI به عنوان بخشی از Azure با API های خاص Azure و ادغام با صورتحساب Azure در دسترس هستند. خدمات. پس از مدتی در پیش‌نمایش خصوصی، مجموعه Azure OpenAI از APIها اکنون به طور کلی در دسترس است، با پشتیبانی از تولید متن GPT-3 و مدل کد کدکس. مایکروسافت گفته است که تولید تصویر DALL-E را در به‌روزرسانی آینده اضافه خواهد کرد.

این بدان معنا نیست که هر کسی می تواند برنامه ای بسازد که از GPT-3 استفاده کند. مایکروسافت همچنان در حال دسترسی است تا اطمینان حاصل کند که پروژه‌ها با خط‌مشی‌های استفاده از هوش مصنوعی اخلاقی خود مطابقت دارند و به شدت در موارد استفاده خاص قرار دارند. همچنین برای دسترسی به Azure OpenAI باید مشتری مستقیم مایکروسافت باشید. مایکروسافت از فرآیند مشابهی برای دسترسی به دسترسی محدود خود استفاده می کند خدمات شناختی، که در آن احتمال جعل هویت یا نقض حریم خصوصی وجود دارد.

این خط‌مشی‌ها احتمالاً سخت‌گیرانه باقی می‌مانند، و برخی از حوزه‌ها، مانند خدمات بهداشتی، احتمالاً برای برآورده کردن الزامات نظارتی نیاز به حفاظت بیشتری دارند. تجربیات خود مایکروسافت با مدل‌های زبان هوش مصنوعی درسی را به آن آموخته است که نمی‌خواهد آن را تکرار کند. به عنوان یک محافظت اضافی، فیلترهای محتوا در ورودی ها و خروجی ها وجود دارد که هشدارهایی برای مایکروسافت و توسعه دهندگان وجود دارد.

کاوش Azure OpenAI Studio

وقتی حساب شما برای استفاده از Azure OpenAI تأیید شد، می‌توانید شروع به ساخت کدی کنید که از نقاط پایانی API آن استفاده می‌کند. منابع Azure مناسب را می توان از پورتال، Azure CLI یا قالب های Arm ایجاد کرد. اگر از پورتال Azure استفاده می‌کنید، منبعی را ایجاد کنید که به حساب شما و گروه منابعی که می‌خواهید برای برنامه خود و هر سرویس و زیرساخت مرتبط Azure استفاده کنید اختصاص داده شود. در مرحله بعد، منبع را نام ببرید و ردیف قیمت گذاری را انتخاب کنید. در حال حاضر، تنها یک گزینه قیمت گذاری وجود دارد، اما احتمالاً با ارائه خدمات جدید مایکروسافت، این گزینه تغییر خواهد کرد.

با وجود یک منبع، اکنون می توانید یک مدل را با استفاده از Azure OpenAI Studio مستقر کنید. اینجا جایی است که بیشتر کار خود را با OpenAI انجام خواهید داد. در حال حاضر، می‌توانید بین اعضای خانواده GPT-3 یکی را انتخاب کنید. از مدل ها، از جمله Codex مبتنی بر کد. مدل‌های اضافی از جاسازی‌ها، اطلاعات معنایی پیچیده استفاده می‌کنند که برای جستجو بهینه شده‌اند.

در هر خانواده، مجموعه ای از مدل های مختلف با نام هایی وجود دارد که هم هزینه و هم قابلیت را نشان می دهد. اگر از GPT-3 استفاده می کنید، Ada کمترین هزینه و کمترین توانایی را دارد و Davinci بالاترین. هر مدل ابرمجموعه‌ای از مدل قبلی است، بنابراین با پیچیده‌تر شدن کارها، نیازی به تغییر کد خود ندارید، فقط یک مدل متفاوت را انتخاب می‌کنید. جالب توجه است، مایکروسافت توصیه می‌کند هنگام طراحی یک برنامه کاربردی مبتنی بر OpenAI، با توانمندترین مدل شروع کنید، زیرا این به شما امکان می‌دهد تا زمانی که وارد تولید می‌شوید، مدل اصلی را برای قیمت و عملکرد تنظیم کنید.

کار با سفارشی سازی مدل

اگرچه ویژگی‌های تکمیل متن GPT-3 ویروسی شده‌اند، در عمل برنامه شما باید بسیار بیشتر بر روی مورد استفاده خاص شما متمرکز باشد. شما نمی خواهید GPT-3 یک سرویس پشتیبانی را که به طور منظم توصیه های نامربوط ارائه می دهد، راه اندازی کند. شما باید یک مدل سفارشی با استفاده از نمونه‌های آموزشی با ورودی‌ها و خروجی‌های دلخواه بسازید که Azure OpenAI آن را «تکمیل‌ها» می‌نامد. داشتن مجموعه بزرگی از داده های آموزشی مهم است و مایکروسافت استفاده از چند صد مثال را توصیه می کند. برای ساده‌تر کردن مدیریت داده‌های آموزشی خود، می‌توانید تمام درخواست‌ها و تکمیل‌های خود را در یک فایل JSON قرار دهید.

با یک مدل سفارشی‌شده، می‌توانید از Azure OpenAI Studio برای آزمایش نحوه عملکرد GPT-3 برای سناریوی شما. یک زمین بازی اولیه به شما امکان می‌دهد ببینید که مدل چگونه به درخواست‌های خاص پاسخ می‌دهد، با یک برنامه کنسول پایه که به شما امکان می‌دهد یک درخواست را تایپ کنید و یک تکمیل OpenAI را برمی‌گرداند. مایکروسافت ساخت یک اعلان خوب را به عنوان «نمایش، نگو» توصیف می‌کند و نشان می‌دهد که برای دریافت بهترین خروجی، درخواست‌ها باید تا حد امکان صریح باشند. زمین بازی همچنین به آموزش مدل شما کمک می‌کند، بنابراین اگر در حال ساخت یک طبقه‌بندی هستید، می‌توانید فهرستی از متن و خروجی‌های مورد انتظار را قبل از ارائه ورودی‌ها و یک ماشه برای دریافت پاسخ ارائه کنید.

یکی از ویژگی‌های مفید زمین بازی، توانایی تنظیم یک هدف و رفتارهای مورد انتظار است، بنابراین اگر از OpenAI برای راه‌اندازی ابزار تریاژ میز کمک استفاده می‌کنید، می‌توانید انتظار داشته باشید که خروجی مودبانه و آرام باشد. اطمینان حاصل شود که کاربر عصبانی را تقلید نمی کند. از همین ابزارها می توان با مدل Codex استفاده کرد، بنابراین می توانید نحوه عملکرد آن را به عنوان ابزاری برای تکمیل کد یا به عنوان دستیار پویا مشاهده کنید.

نوشتن کد برای کار با Azure OpenAI

وقتی برای شروع کدنویسی آماده شدید، می‌توانید از نقاط پایانی REST استقرار خود استفاده کنید، یا مستقیم یا با کتابخانه های OpenAI Python. احتمالاً دومی سریع‌ترین مسیر شما به سمت کد زنده است. شما به URL نقطه پایانی، یک کلید احراز هویت و نام استقرار خود نیاز دارید. هنگامی که اینها را دارید، متغیرهای محیطی مناسب را برای کد خود تنظیم کنید. مثل همیشه، در تولید، بهتر است از کلیدهای کد سخت استفاده نکنید و از ابزاری مانند Azure Key Vault برای مدیریت آنها استفاده کنید.

فراخوانی نقطه پایانی به اندازه کافی آسان است: به سادگی از روش openai.Completion.create برای دریافت پاسخ استفاده کنید و حداکثر تعداد نشانه های مورد نیاز برای حاوی درخواست و پاسخ آن را تنظیم کنید. شی پاسخی که توسط API برگردانده می شود حاوی متن تولید شده توسط مدل شما است که می تواند استخراج، قالب بندی و سپس توسط بقیه کد شما استفاده شود. تماس‌های اصلی ساده هستند و پارامترهای دیگری نیز وجود دارد که کد شما می‌تواند برای مدیریت پاسخ از آن استفاده کند. اینها خلاقیت مدل و نحوه نمونه برداری از نتایج آن را کنترل می کنند. می‌توانید از این پارامترها برای اطمینان از صریح و دقیق بودن پاسخ‌ها استفاده کنید.

اگر از زبان دیگری استفاده می‌کنید، از REST و ابزار تجزیه JSON آن استفاده کنید. می‌توانید یک مرجع API را در اسناد Azure OpenAI پیدا کنید یا از مشخصات Swagger میزبان GitHub Azure برای ایجاد تماس های API و کار با داده های برگشتی. این رویکرد با IDE هایی مانند Visual Studio به خوبی کار می کند.

قیمت گذاری Azure OpenAI

یکی از عناصر کلیدی مدل‌های OpenAI، نشانه است. مدل قیمت گذاری مبتنی بر. توکن‌ها در Azure OpenAI رمز احراز هویت آشنا نیستند. آنها بخش هایی از رشته ها هستند که با استفاده از یک مدل آماری داخلی ایجاد می شوند. OpenAI ابزاری را در سایت خود ارائه می‌کند که نشان می‌دهد رشته‌ها چگونه توکن می‌شوند تا به شما در درک نحوه صدور صورت‌حساب درخواست‌هایتان کمک کند. شما می توانید انتظار داشته باشید که یک نشانه تقریباً چهار کاراکتر متن باشد، اگرچه می تواند کمتر یا بیشتر باشد. با این حال، باید با ۷۵ کلمه به حدود ۱۰۰ نشانه (تقریباً یک پاراگراف متن عادی) ختم شود.

هرچه مدل پیچیده‌تر باشد، توکن‌ها قیمت بالاتری دارند. مدل پایه Ada با قیمت ۰.۰۰۰۴ دلار به ازای هر ۱۰۰۰ توکن عرضه می شود و داوینچی گران قیمت ۰.۰۲ دلار است. اگر تنظیم خود را اعمال کنید، هزینه ذخیره‌سازی وجود دارد، و اگر از جاسازی‌ها استفاده می‌کنید، به دلیل افزایش نیازهای محاسباتی، هزینه‌ها می‌تواند یک مرتبه بالاتر باشد. هزینه های اضافی برای مدل های تنظیم دقیق وجود دارد که از ۲۰ دلار در هر ساعت محاسبه شروع می شود. وب‌سایت Azure دارای قیمت‌های نمونه است، اما قیمت واقعی بسته به رابطه حساب سازمان شما با مایکروسافت می‌تواند متفاوت باشد.

شاید شگفت‌انگیزترین چیز در مورد Azure OpenAI این است که چقدر ساده است. همانطور که از مدل های از پیش ساخته شده (با گزینه تنظیم دقیق) استفاده می کنید، تنها کاری که باید انجام دهید این است که برخی از پیش آموزش های اولیه را اعمال کنید، بفهمید که چگونه درخواست ها خروجی ایجاد می کنند، و ابزارها را به کد خود پیوند دهید، محتوای متنی یا کد را در زمان و زمان ایجاد کنید. مورد نیاز است.