چرا Databricks LLM خود را به صورت Dolly 2.0 منبع باز کرد؟

به گفته تحلیلگران، مدل های زبان بزرگ مبتنی بر منبع باز مانند Dolly تقاضای بالایی دارند زیرا شرکت ها می خواهند از آنها برای موارد استفاده هدفمند یا خاص استفاده کنند.

Databricks در پاسخ به تقاضای فزاینده برای هوش مصنوعی مولد و برنامه‌های کاربردی مرتبط، نسخه‌ای مبتنی بر منبع باز از مدل زبان بزرگ خود (LLM) به نام Dolly 2.0 منتشر کرده است. نسخه جدید می تواند توسط شرکت ها برای موارد تحقیقاتی و استفاده تجاری مجوز بگیرد.

اقدام Databricks برای انتشار مدل زبان بزرگ بر اساس داده‌های منبع باز را می‌توان به تقاضای شرکت‌ها برای کنترل مدل و استفاده از آن برای موارد استفاده هدفمند یا خاص بر خلاف آموزش حلقه بسته نسبت داد. مدل‌هایی مانند به گفته تحلیلگران، ChatGPT، که محدودیت هایی را برای استفاده تجاری ایجاد می کند.

«از آنجایی که این مدل‌ها (مانند Dolly 2.0) عمدتاً باز هستند و نیازی به ماه‌ها آموزش روی خوشه‌های GPU بزرگ ندارند، درهای جالبی را برای شرکت‌هایی که مشتاق ساختن خود هستند باز می‌کنند. بردلی شیمین، تحلیلگر ارشد در Omdia، گفت: پیاده سازی تولید کننده هوش مصنوعی داخلی.

«این مدل‌های کوچک (از آنجایی که بر روی تعداد کمتری از پارامترها آموزش داده شده‌اند) به شدت از جفت‌های سریع/پاسخ برای داده‌های آموزشی استفاده می‌کنند و به همین دلیل است که برای موارد استفاده بسیار هدفمند برای شرکت‌هایی که مایل به کنترل کل راه‌حل هستند، عالی هستند. Shimmin گفت، برای مثال، یک پایگاه داده موجود در Helpdesk از جفت‌های پرسش/پاسخ.

به گفته هیون پارک، تحلیلگر ارشد Amalgam Insights، یکی دیگر از دلایل تقاضا برای LLM های مبتنی بر منبع باز، توانایی Dolly 2.0 است که به شرکت ها اجازه می دهد تا حاکمیت داده، محل اقامت و ارتباط مرتبط با موارد استفاده را ردیابی کنند. پشتیبانی می شود.

پارک گفت: «این به این دلیل است که استفاده از مدل‌های دیگر مانند ChatGPT OpenAI به API ها وابسته است و برای برخی از شرکت‌ها، این وابستگی می‌تواند باعث انطباق، حاکمیت یا مسائل امنیتی داده مرتبط با APIها شود. با استناد به کنایه نام OpenAI.

به گفته دیوید شوبمهل، معاون پژوهشی IDC، LLM های مبتنی بر منبع باز دارای ویژگی هایی هستند که می تواند برای محققان و همچنین شرکت ها مفید باشد.

Schubmehl گفت: “محققان می توانند LLM های منبع باز را با سرعت بیشتری بررسی، تنظیم و بهبود بخشند و در نتیجه پتانسیل نوآوری را افزایش دهند.” او گفت که شرکت ها می توانند این نوع از LLM ها را با برنامه های کاربردی سازمانی خود ترکیب کنند و رابط تعاملی تری را برای آن برنامه ها فراهم کنند.

به گفته اندی تورای، تحلیلگر اصلی در Constellation Research،

Dolly 2.0 و سایر LLM های مبتنی بر منبع باز برای شرکت هایی که به شدت تحت نظارت هستند مفید خواهند بود.

Thurai “این اولین گام خوب برای نشان دادن نحوه ایجاد و مالکیت مدل های خود به شرکت ها بدون نیاز به پرداخت هزینه های دسترسی API یا به اشتراک گذاری داده ها با ارائه دهندگان LLM است که می تواند یک مشکل بزرگ برای شرکت های خاص در صنایع تحت نظارت باشد.” گفت.

با این حال، برخی از تحلیلگران نسبت به مشکلات استفاده از مدل های زبان بزرگ مبتنی بر منبع باز هشدار داده اند.

“به دلیل ماهیت کوچکتر پارامترها و مجموعه آموزشی مدل‌های دالی مانند، پاسخ‌ها می‌تواند برای برخی بی‌ادب، کوتاه، سمی و توهین‌آمیز باشد. این مدل بر اساس داده‌های «The Pile» ایجاد شده است، که برای سوگیری داده‌ها، حساسیت، رفتارهای غیرقابل قبول و غیره پاکسازی نشده است.» Thurai گفت که متن خروجی فعلی Dolly 2.0 فقط به انگلیسی محدود شده است. p>

Arun Chandrasekaran معاون و تحلیلگر گارتنر گفت:

باید توجه داشت که یک مدل مبتنی بر منبع باز ممکن است همیشه “رویکرد ارجح یا برتر نسبت به مدل های منبع بسته از دیدگاه سازمانی” نباشد.

چاندراسکاران با اشاره به تسلط مدل‌های بسته در فضای هوش مصنوعی مولد گفت: «استقرار این مدل‌ها اغلب به دانش فوق‌العاده، تکرار مداوم و زیرساخت‌های بزرگ برای آموزش و بهره‌برداری از آنها نیاز دارد.

تفاوت بین LLMهای مبتنی بر منبع باز و بسته

به گفته تحلیلگران، برخلاف LLM های بسته، مدل های مبتنی بر منبع باز را می توان برای استفاده تجاری یا سفارشی سازی کرد تا متناسب با نیازهای یک شرکت باشد، زیرا داده های مورد استفاده برای آموزش این مدل ها برای استفاده عمومی باز است.

مدل‌های بسته مانند ChatGPT بر روی داده‌های متعلق به توسعه‌دهنده آن OpenAI آموزش دیده‌اند، و این مدل را برای استفاده از طریق یک API دسترسی پرداختی در دسترس قرار می‌دهد و از استفاده تجاری مستقیم منع می‌شود.

«اصطلاح «ال‌ام‌های باز» می‌تواند چندین معانی داشته باشد. قابل مشاهده ترین و قابل توجه ترین دسترسی به کد منبع و انعطاف پذیری استقرار این مدل ها است. فراتر از آن، باز بودن می‌تواند شامل دسترسی به وزن‌های مدل، مجموعه داده‌های آموزشی و نحوه تصمیم‌گیری به شیوه‌ای باز و مشارکتی باشد.»

به گفته Schubmehl از IDC، Dolly 2.0 نیز از فلسفه مدل مبتنی بر منبع باز پیروی می کند.

«Dolly 2.0 یک LLM است که در آن مدل، کد آموزشی، مجموعه داده و وزن‌های مدلی که با آن آموزش داده شده است، همگی به‌عنوان منبع باز از Databricks در دسترس هستند، به طوری که شرکت‌ها می‌توانند از آن برای ایجاد مدل خود استفاده تجاری کنند. LLM سفارشی شده،” Schubmehl گفت، و افزود که این رویکرد با سایر LLM ها در تضاد است، که اجزای جداگانه خود را که مدل با آن ساخته شده است را به منبع باز تبدیل نکرده اند.

نقطه تفاوت دیگر بین LLM های بسته و “باز” ​​تعداد پارامترهایی است که مدل ها بر روی آنها آموزش دیده اند، و افزودند که LLM های بسته معمولاً بر روی تعداد بیشتری از پارامترها آموزش داده می شوند.

برای مثال ChatGPT4 بر روی ۱۰۰ تریلیون پارامتر در مقابل ۱۲ میلیارد پارامتر Dolly 2.0 آموزش دیده است.

دالی ۲.۰ چگونه آموزش داده شد؟

Dolly 2.0 بر اساس اولین نسخه Dolly توسط این شرکت ساخته شده است، که برای ۳۰ دلار با استفاده از مجموعه داده ای که Stanford Alpaca با استفاده از OpenAI API ایجاد کرده بود.

Databricks در یک پست وبلاگ گفت: «مجموعه داده‌های مورد استفاده برای آموزش Dolly 1.0 حاوی خروجی ChatGPT بود، و همانطور که تیم استنفورد اشاره کرد، شرایط خدمات به دنبال جلوگیری از ایجاد مدلی است که با OpenAI رقابت می‌کند.

برای دور زدن این مشکل و ایجاد مدلی برای استفاده تجاری، Databricks Dolly 2.0 را با استفاده از یک مدل زبان پارامتری ۱۲ میلیاردی بر اساس خانواده مدل Pythia EleutherAI ساخت.

شرکت گفت که این مدل منحصراً بر اساس یک دستورالعمل جدید، با کیفیت بالا و توسط مجموعه داده‌های تولید شده توسط انسان تنظیم شده است که در میان ۵۰۰۰ کارمند Databricks جمع‌آوری شده است.

شرکت پاسخ‌ها یا درخواست‌های با کیفیت بالا و ایجاد شده توسط انسان را databricks می‌نامد. -dolly-15k که از مجوز Creative Commons Attribution-ShareAlike 3.0 Unported استفاده می کند.

این شرکت گفت: «هرکسی می‌تواند از این مجموعه داده برای هر هدفی، از جمله برنامه‌های تجاری، استفاده، اصلاح یا گسترش دهد.» و افزود که مجموعه داده را می‌توان از صفحه GitHub.

بر اساس داده‌های Databricks، وزن‌های مدل را می‌توان از صفحه Hugging Face

Databricks دانلود کرد.

چگونه Dolly 2.0 در استراتژی هوش مصنوعی مولد Databricks قرار می گیرد

براساس Thurai از Constellation Research، حرکت Databricks برای راه اندازی Dolly 2.0 می تواند به عنوان یک استراتژی برای به دست آوردن بخشی از تجارت مولد هوش مصنوعی تلقی شود.

«در اصل، بسیاری از کسب‌وکارهای LLM و مدل‌های بنیادی به سمت فرامقیاس‌ها می‌رفت که هر کدام تنوع خاص خود را داشتند – مایکروسافت با ChatGPT، Google با Bard و AWS با ارائه زیرساخت، فرآیند، ابزار، و به اشتراک گذاری مدل و کاتالوگ از طریق مشارکت Huggingface. Databricks می‌خواست بخشی از آن کسب‌وکار را بدون از دست دادن همه آن به دست آورد.

سایر تحلیلگران گفتند که راه اندازی Dolly با استراتژی این شرکت برای ارائه محصولات منبع باز به بازارها مطابقت دارد.

“Databricks به دلیل ارائه ابزارها و خدمات مختلف هوش مصنوعی به عنوان منبع باز برای کمک به مشتریان خود برای استفاده کامل از داده ها و عملیات خود شناخته شده است. Schubmehl از IDC گفت: Dolly یک نمونه عالی برای ارائه گزینه‌هایی در مورد جدیدترین‌های هوش مصنوعی به سازمان‌ها است، یعنی مدل‌های زبان بزرگ.

به گفته تحلیلگران، با این حال، Databricks Dolly 2.0 ممکن است تاثیر فوری بر رقبایی مانند ChatGPT یا Bard نداشته باشد.

“Dolly یا هر یک از این پیاده سازی های مولد AI LLM مبتنی بر منبع باز و منبع باز مجموعه فعلی LLM ها مانند Bard، ChatGPT و Galactica را به طور کامل مختل می کند. Shimmin از Omdia گفت: این راه حل ها دارای موقعیت آماده و طولانی مدت در راه حل های مقیاس بزرگ مانند Google Workplace، Microsoft Office و غیره هستند.

بر اساس Amalgam Insights Park، در عوض، دالی در نهایت یک همراه مفید برای ابزارهایی مانند ChatGPT خواهد بود که به عنوان یک ابزار عمومی استفاده می شود.

پارک گفت: «مردم یاد می‌گیرند که از هوش مصنوعی مولد از ابزارهای استفاده عمومی استفاده کنند و آن‌ها را تشویق کنند و سپس از مدل‌های مبتنی بر دالی برای موارد استفاده خاص که به دنبال انجام کارهای دقیق‌تر و تخصصی‌تر هستند، استفاده کنند.