ServiceNow، Hugging Face و Nvidia StarCoder2 Coding LLM را گسترش می دهند

مدل دسترسی آزاد و بدون حق امتیاز از بیش از ۶۰۰ زبان برنامه نویسی پشتیبانی می کند و در سه اندازه برای بهره وری بیشتر از منابع ارائه می شود.

ServiceNow، Hugging Face و Nvidia StarCoder2 را منتشر کرده‌اند، نسل بعدی از مدل زبان بزرگ (LLM) با دسترسی آزاد و بدون حق امتیاز خود که برای تولید کد آموزش دیده است. ، در تلاشی برای استفاده از ابزارهای برنامه نویسی مبتنی بر هوش مصنوعی از جمله GitHub Copilot متعلق به مایکروسافت، Google’s Bard AI و Amazon CodeWhisperer.

StarCoder2 در واقع یک خانواده از سه LLM است: یک مدل با ۳ میلیارد پارامتر آموزش دیده توسط ServiceNow، یک مدل با ۷ میلیارد پارامتر که توسط Hugging Face آموزش داده شده است و یک مدل با پارامتر ۱۵ میلیارد که توسط Nvidia با کمک ساخته شده است. از چارچوب NeMo آن.

سه اندازه مدل مختلف به شرکت‌ها این امکان را می‌دهد تا با استفاده از مدل‌های کارآمد کمتر در مواردی که منابع مشکل دارند، در هزینه‌های محاسباتی صرفه‌جویی کنند.

توسعه‌دهنده‌ها می‌توانند از LLM‌ها برای تکمیل کد، خلاصه‌سازی پیشرفته کد، و بازیابی قطعه کد از جمله قابلیت‌های دیگر استفاده کنند.

«StarCoder2 پتانسیل برنامه‌های کدنویسی مبتنی بر هوش مصنوعی، از جمله قابلیت‌های متن به کد و متن به گردش کار را ارتقا می‌دهد. این شرکت‌ها در بیانیه‌ای مشترک گفتند: با آموزش برنامه‌نویسی گسترده‌تر و عمیق‌تر، زمینه مخزن را فراهم می‌کند و پیش‌بینی‌های دقیق و آگاه از زمینه را ممکن می‌سازد.

نکته کلیدی تمایز بین نسل اول و دوم LLM پشتیبانی داخلی از زبان های برنامه نویسی بیشتر است. در حالی که نسل اول از ۸۰ زبان برنامه نویسی پشتیبانی می کرد، نسل دوم LLM حداکثر از ۶۱۹ زبان برنامه نویسی پشتیبانی می کند.

اساس StarCoder2 مجموعه داده کد جدیدی است به نام Stack v2، که بیشتر است بیش از هفت برابر بزرگتر از Stack v1. شرکت‌ها از تکنیک‌های آموزشی جدید برای کمک به مدل استفاده کردند تا با زبان‌هایی مانند COBOL که منابع آنلاین کمی برای آن‌ها در دسترس است، برخورد کند و ریاضیات و بحث‌های مربوط به کد منبع برنامه را مدیریت کند. با توانایی درک COBOL، LLM های جدید اکنون می توانند با پیشنهادات مثل دستیار کد Watsonx IBM پیش بروند.

تنظیم دقیق برای شرکت

شرکت‌ها این انتخاب را خواهند داشت که مدل‌ها را با داده‌های خود با استفاده از ابزارهایی مانند NeMo یا Hugging Face TRL برای ایجاد ربات‌های چت سفارشی یا دستیارهای کدنویسی تنظیم کنند.

نخستین انتشار StarCoder در ماه مه ۲۰۲۳ توجه را به خود جلب کرد زیرا LLM ها برخلاف مدل هایی مانند Duet AI یا CodeWhisperer عمدتا رایگان بودند و در عین حال بر روی داده های دارای مجوز آموزش دیده بودند.

>

ServiceNow و Hugging Face با هم ترکیب شدند و پروژه BigCode را تشکیل دادند که هدف آن ایجاد “سیستم های پیشرفته هوش مصنوعی برای کد به شیوه ای باز و مسئولانه با حمایت جامعه تحقیقاتی هوش مصنوعی علمی باز” بود.

شرکت‌ها سپس گفته بودند که آموزش LLM بر روی کد منبع دارای مجوز، مسائل حقوقی مربوط به موتورهای هوش مصنوعی مولد را که در پاسخ به پرسش‌های زبان طبیعی کد غیرمنصوب تولید می‌کنند، حل می‌کند.

به عنوان مثال،

GitHub در حال حاضر با یک دعوی حقوقی در مورد دستیار کدنویسی هوش مصنوعی Copilot خود مواجه است.

با این حال، اعضای BigCode گفتند که برخلاف نرم‌افزارهای متن‌باز سنتی که بدون محدودیت استفاده منتشر می‌شوند، مجوز StarCoder شامل محدودیت‌هایی است که برای تغییرات مدل و برنامه‌های کاربردی استفاده‌کننده از مدل اعمال می‌شود، از جمله محدودیت‌هایی در توزیع کدهای مخرب.

کد منبع پشتیبانی برای مدل‌ها در صفحه GitHub پروژه BigCode در دسترس است.

در حالی که دو مدل کوچکتر را می توان مستقیماً از Hugging Face بارگیری کرد، مدل پارامتری ۱۵ میلیاردی فقط در کاتالوگ مدل های بنیاد هوش مصنوعی انویدیا.