Copilot Runtime: ساختن هوش مصنوعی در ویندوز

مایکروسافت صرفاً روی هوش مصنوعی در ویندوز شرط‌بندی نمی‌کند، بلکه شرط می‌بندد که زبان طبیعی و محاسبات معنایی آینده ویندوز هستند.

تشخیص موضوع رانندگی Build 2024. از راه‌اندازی رایانه‌های شخصی Copilot+ قبل از رویداد تا دو سخنرانی مهم از ساتیا نادلا و اسکات گاتری، همه اش هوش مصنوعی بود. حتی تور سالانه مدیر عامل شرکت Azure Mark Russinovich از نوآوری های سخت افزاری Azure بر پشتیبانی از هوش مصنوعی متمرکز بود.

در چند سال اول پس از مدیرعامل شدن نادلا، او بارها در مورد آنچه که “ابر هوشمند و لبه هوشمند” نامیده بود صحبت کرد و قدرت داده های بزرگ، یادگیری ماشینی را در هم آمیخت. ، و پردازش مبتنی بر لبه. این یک نمای صنعتی از دنیای بومی ابری بود، اما با استفاده از قابلیت‌های ابر محاسباتی Azure برای میزبانی آموزش و استنتاج مدل‌های هوش مصنوعی ما در فضای ابری، صرف نظر از اینکه این مدل‌ها چقدر بزرگ یا کوچک هستند، لحن را برای رویکرد مایکروسافت به هوش مصنوعی تعیین کرد. مدل ها هستند.

حرکت هوش مصنوعی به لبه

با توجه به قدرت و نیازهای خنک‌کننده هوش مصنوعی متمرکز، جای تعجب نیست که اعلامیه‌های کلیدی مایکروسافت در Build بر انتقال بیشتر قابلیت‌های هوش مصنوعی نقطه پایانی خود از Azure به رایانه‌های شخصی خود کاربران متمرکز شده است. شتاب دهنده های هوش مصنوعی محلی برای استنتاج بر روی مجموعه ای از الگوریتم های مختلف. به جای اجرای Copilot در Azure، از واحدهای پردازش عصبی یا NPUها استفاده می‌کند که بخشی از نسل بعدی سیلیکون دسکتاپ از Arm، Intel و AMD هستند.

شتاب سخت افزاری یک رویکرد اثبات شده است که بارها و بارها کار کرده است. در اوایل دهه ۱۹۹۰ من در حال نوشتن کدهای تحلیل المان محدود بودم که از سخت افزار پردازش برداری برای تسریع عملیات ماتریس استفاده می کرد. NPU های امروزی فرزندان مستقیم آن پردازنده های برداری هستند که برای عملیات مشابه در فضای برداری پیچیده استفاده شده توسط شبکه های عصبی بهینه شده اند. اگر از هر یک از نسل کنونی دستگاه‌های Arm مایکروسافت (یا تعداد انگشت شماری از دستگاه‌های اخیر اینتل یا AMD) استفاده می‌کنید، در حال حاضر یک NPU دارید، البته نه به اندازه ۴۰ TOPS (عملیات ترا در ثانیه) که برای پاسخگویی لازم است. الزامات کامپیوتر Copilot+ Microsoft.

مایکروسافت قبلاً طیف وسیعی از برنامه‌های کاربردی مبتنی بر NPU را بر روی این سخت‌افزار موجود با دسترسی توسعه‌دهندگان از طریق DirectML API و پشتیبانی از زمان اجرا استنتاج ONNX نشان داده است. با این حال، بیلد ۲۰۲۴ سطح متفاوتی از تعهد را به مخاطبان توسعه‌دهنده خود نشان داد، با مجموعه جدیدی از سرویس‌های هوش مصنوعی میزبان نقطه پایانی که تحت نام تجاری جدیدی قرار گرفتند: زمان اجرای Copilot Windows.

Windows Copilot Runtime ترکیبی از سرویس های جدید و موجود است که برای کمک به ارائه برنامه های کاربردی هوش مصنوعی در ویندوز در نظر گرفته شده است. مجموعه جدیدی از کتابخانه‌های توسعه‌دهنده و بیش از ۴۰ مدل یادگیری ماشینی، از جمله Phi Silica، نسخه‌ای متمرکز بر NPU از خانواده مایکروسافت Phi از مدل‌های زبان کوچک وجود دارد.

مدل‌های Windows Copilot Runtime همه مدل‌های زبان نیستند. بسیاری از آنها برای کار با خط لوله ویدیویی ویندوز طراحی شده اند و از نسخه های پیشرفته افکت های استودیو موجود پشتیبانی می کنند. اگر مدل‌های همراه کافی نیستند یا موارد استفاده خاص شما را برآورده نمی‌کنند، ابزارهایی وجود دارد که به شما کمک می‌کند مدل‌های خود را در ویندوز اجرا کنید، با پشتیبانی مستقیم از PyTorch و یک مدل جدید میزبان وب زمان اجرا، WebNN، که به مدل‌ها اجازه می‌دهد در مرورگر وب (و احتمالاً در آینده) اجرا شوند انتشار، در برنامه های WebAssembly).

یک پشته توسعه هوش مصنوعی برای ویندوز

مایکروسافت Windows Copilot Runtime را به عنوان “روشهای جدید تعامل با سیستم عامل” با استفاده از ابزارهای هوش مصنوعی توصیف می کند. در Build، Windows Copilot Runtime به‌عنوان پشته‌ای در حال اجرا بر روی قابلیت‌های سیلیکونی جدید، با کتابخانه‌ها و مدل‌های جدید، همراه با ابزارهای لازم برای کمک به شما در ساخت آن کد نشان داده شد.

این پشته ساده چیزی شبیه به سادگی بیش از حد است. سپس دوباره، نشان دادن هر جزء از Windows Copilot Runtime به سرعت یک اسلاید پاورپوینت را پر می کند. در قلب آن دو ویژگی جالب وجود دارد: فروشگاه برداری محلی DiskANN و مجموعه ای از APIهایی که در مجموع به آنها اشاره می شود. به عنوان کتابخانه Copilot Windows.

شما ممکن است DiskANN را به عنوان معادل پایگاه داده برداری SQLite در نظر بگیرید. این یک ذخیره محلی سریع برای داده های برداری است که کلید ساخت برنامه های تولید افزوده شده با بازیابی (RAG) هستند. مانند SQLite، DiskANN هیچ رابط کاربری ندارد. همه چیز از طریق واسط خط فرمان یا تماس‌های API انجام می‌شود. DiskANN از جستجوی داخلی نزدیکترین همسایه استفاده می کند و می تواند برای ذخیره سازی جاسازی ها و محتوا استفاده شود. همچنین با جستجوی داخلی ویندوز کار می‌کند و به ساختارها و فایل‌های NTFS پیوند می‌دهد.

ساخت کد در بالای Windows Copilot Runtime از بیش از ۴۰ مدل مختلف هوش مصنوعی و یادگیری ماشین همراه با پشته استفاده می کند. باز هم، اینها همه مدل‌های تولیدی نیستند، زیرا بسیاری از آنها بر روی مدل‌هایی ساخته شده‌اند که توسط Azure Cognitive Services برای کارهای بینایی کامپیوتری مانند تشخیص متن و خط لوله دوربین Windows Studio Effects استفاده می‌شوند.

حتی گزینه جابه‌جایی به APIهای ابری نیز وجود دارد، به‌عنوان مثال، انتخاب یک مدل زبان کوچک محلی یا یک مدل زبان بزرگ دارای میزبانی ابری مانند ChatGPT را ارائه می‌دهد. کد ممکن است به طور خودکار بین این دو بر اساس پهنای باند موجود یا پیچیدگی کار فعلی جابجا شود.

مایکروسافت یک چک لیست اساسی ارائه می دهد تا به شما کمک کند بین APIهای هوش مصنوعی محلی و ابری تصمیم بگیرید. نکات کلیدی که باید در نظر گرفت منابع موجود، حریم خصوصی و هزینه ها هستند. استفاده از منابع محلی هیچ هزینه ای ندارد، در حالی که هزینه های استفاده از خدمات هوش مصنوعی ابری می تواند غیرقابل پیش بینی باشد.

APIهای کتابخانه Copilot Windows مانند تشخیص متن AI به یک NPU مناسب برای استفاده از قابلیت‌های شتاب سخت‌افزاری آن نیاز دارد. قبل از فراخوانی API، تصاویر باید به بافر تصویر اضافه شوند. مانند Azure API معادل، قبل از جمع آوری متن شناسایی شده به عنوان یک رشته، باید یک بیت مپ به API تحویل دهید. علاوه بر این، می‌توانید جزئیات کادر محدود را دریافت کنید، بنابراین می‌توانید روی تصویر اولیه، به همراه سطوح اطمینان برای متن شناسایی شده، پوششی ارائه کنید.

Phi Silica: یک مدل زبان روی دستگاه برای NPU ها

یکی از اجزای کلیدی Windows Copilot Runtime مدل زبان کوچک Phi Silica با NPU بهینه شده. Phi Silica که بخشی از خانواده مدل‌های Phi است، یک مدل هوش مصنوعی مولد با کاربری ساده است که برای ارائه پاسخ‌های متنی به ورودی‌های فوری طراحی شده است. کد نمونه نشان می‌دهد که Phi Silica از یک فضای نام Microsoft.Windows.AI.Generative C# استفاده می‌کند و به‌صورت ناهمزمان فراخوانی می‌شود و به درخواست‌های رشته با یک پاسخ رشته تولیدی پاسخ می‌دهد.

استفاده از API پایه Phi Silica سرراست است. هنگامی که روشی برای رسیدگی به تماس ها ایجاد کردید، می توانید منتظر یک رشته کامل باشید یا نتایجی را که تولید می شوند به دست آورید که به شما امکان می دهد تجربه کاربری را انتخاب کنید. تماس‌های دیگر اطلاعات وضعیت را از مدل دریافت می‌کنند، بنابراین می‌توانید ببینید آیا درخواست‌ها پاسخی ایجاد کرده‌اند یا تماس ناموفق بوده است.

Phi Silica بر روی محتوای کتاب درسی آموزش دیده است، بنابراین مانند ChatGPT انعطاف پذیر نیست. با این حال، کمتر مستعد خطا است، و می‌توان آن را با استفاده از تکنیک‌های RAG و یک نمایه برداری محلی ذخیره‌شده در DiskANN در سازمان‌دهی عامل محلی خود، ایجاد کرد و فایل‌ها را در یک پوشه خاص هدف قرار می‌دهد.

مایکروسافت در مورد Windows Copilot Runtime به عنوان یک جزء جداگانه از پشته برنامه نویس ویندوز صحبت کرده است. در واقع، بسیار عمیق‌تر از آنچه که نکات کلیدی Build پیشنهاد می‌کنند، یکپارچه‌تر است و به عنوان بخشی از به‌روزرسانی ژوئن ۲۰۲۴ به Windows App SDK. مایکروسافت صرفاً روی هوش مصنوعی در ویندوز شرط‌بندی نمی‌کند، بلکه شرط می‌بندد که هوش مصنوعی و به طور خاص، زبان طبیعی و محاسبات معنایی آینده ویندوز هستند.

ابزارهای ساخت ویندوز AI

در حالی که احتمالاً پشته Windows Copilot Runtime بر روی ابزارهای موجود Windows AI Studio ساخته خواهد شد، که اکنون به جعبه ابزار هوش مصنوعی برای کد ویژوال استودیو تغییر نام داده است، تصویر کامل هنوز وجود ندارد. جالب اینجاست که ساخت‌های اخیر AI Toolkit (پس از ساخت ۲۰۲۴) پشتیبانی از تنظیم و توسعه مدل لینوکس x64 و Arm64 را اضافه کردند. این نویدبخش عرضه سریع مجموعه کاملی از ابزارهای توسعه هوش مصنوعی و یک جعبه ابزار هوش مصنوعی در آینده برای ویژوال استودیو است.

یک ویژگی مهم جعبه ابزار هوش مصنوعی که برای کار با مدل‌های Windows Copilot Runtime ضروری است، زمین بازی آن است، جایی که می‌توانید مدل‌های خود را قبل از ساختن آن‌ها در Copilot خود آزمایش کنید. در نظر گرفته شده است که با مدل‌های زبان کوچک مانند Phi یا با مدل‌های منبع باز PyTorch از Hugging Face کار کند، بنابراین باید از ویژگی‌های سیستم‌عامل جدید در نسخه ۲۴ ساعته ویندوز و از سخت‌افزار NPU در رایانه‌های شخصی Copilot+ بهره مند شوید.

با انتشار ماه ژوئن Windows App SDK و ورود اولین سخت‌افزار Copilot+ PC جزئیات بیشتری را خواهیم آموخت. با این حال، از قبل واضح است که مایکروسافت قصد دارد پلتفرمی را ارائه دهد که هوش مصنوعی را در قلب ویندوز قرار دهد و در نتیجه، افزودن ویژگی‌های هوش مصنوعی را به برنامه‌های دسکتاپ شما آسان می‌کند – به صورت ایمن و خصوصی، تحت کنترل کاربران شما. به‌عنوان یک امتیاز برای مایکروسافت، باید به کنترل قدرت و بودجه خنک‌کننده Azure نیز کمک کند.