مایکروسافت از ابزارهای ایمنی و امنیتی برای هوش مصنوعی مولد رونمایی کرد

ابزارهای جدیدی برای تشخیص حملات سریع تزریق و توهمات و برای اطمینان از ایمنی مدل به استودیوی هوش مصنوعی Azure آمده است.

مایکروسافت در حال افزودن ابزارهای ایمنی و امنیتی به Azure AI Studio، مجموعه ابزار مبتنی بر ابر این شرکت برای ساخت برنامه‌های هوش مصنوعی مولد است. ابزارهای جدید شامل محافظت در برابر حملات تزریق سریع، تشخیص توهم در خروجی مدل، پیام های سیستم برای هدایت مدل ها به سمت خروجی ایمن، ارزیابی ایمنی مدل، و نظارت بر ریسک و ایمنی است.

مایکروسافت ویژگی‌های جدید را در ۲۸ مارس اعلام کرد. ارزیابی‌های ایمنی اکنون در پیش‌نمایش در استودیوی هوش مصنوعی Azure در دسترس هستند. مایکروسافت گفت که سایر ویژگی ها به زودی ارائه می شوند. Azure AI Studio، همچنین در پیش نمایش، از ai.azure.com قابل دسترسی است.

سپرهای اعلان حملات تزریق را شناسایی و مسدود می‌کند و یک مدل جدید برای شناسایی حملات سریع غیرمستقیم قبل از تأثیرگذاری بر مدل ارائه می‌کند. این ویژگی در حال حاضر به صورت پیش نمایش در Azure AI Content Safety موجود است. تشخیص زمین برای شناسایی توهمات مبتنی بر متن، از جمله نادرستی های جزئی، در خروجی های مدل طراحی شده است. مایکروسافت گفت: این ویژگی برای پشتیبانی از کیفیت خروجی های LLM، “مواد غیر پایه” را در متن شناسایی می کند.

پیام‌های سیستم ایمنی، همچنین به عنوان metaprompts شناخته می شود، رفتار مدل را به سمت خروجی های ایمن و مسئولانه هدایت می کند. ارزیابی‌های ایمنی توانایی برنامه‌ها در فرار از زندان و ایجاد خطرات محتوا را ارزیابی می‌کند. آنها علاوه بر معیارهای کیفیت مدل، معیارهای مربوط به محتوا و خطرات امنیتی را ارائه می دهند.

در نهایت، نظارت بر خطر و ایمنی به کاربران کمک می‌کند بفهمند ورودی‌ها، خروجی‌ها و کاربران چه مدل‌هایی هستند. فعال کردن فیلترهای محتوا برای اطلاع از کاهش. این ویژگی در حال حاضر به صورت پیش نمایش در سرویس Azure OpenAI موجود است.