Arctic LLM منبع باز Snowflake برای مقابله با Llama 3، Grok، Mistral و DBRX

Arctic تحت مجوز Apache 2.0 در دسترس خواهد بود و می توان از طریق Snowflake Cortex برای استنباط بدون سرور یا ارائه دهندگانی مانند AWS، Azure، Nvidia، Perplexity و Together AI و غیره به آن دسترسی داشت.

شرکت انبار داده مبتنی بر فضای ابری Snowflake یک مدل زبان منبع باز بزرگ (LLM)، قطب شمال، برای مقابله با امثال Llama متا توسعه داده است. ۳، خانواده مدل های Mistral، xAI’s Grok-1 و Databricks’ DBRX.

Snowflake چهارشنبه گفت که Arctic وظایف سازمانی مانند تولید SQL، تولید کد، و دستورالعمل های زیر را هدف قرار داده است.

برای استنتاج بدون سرور از طریق پیشنهاد ابر داده و ارائه دهندگان مدل مانند Hugging Face، Lamini، AWS، Azure، Nvidia، می‌توان از طریق سرویس یادگیری ماشین و هوش مصنوعی مدیریت شده Snowflake، Cortex، به آن دسترسی داشت. این شرکت گفت که در میان دیگران، هوش مصنوعی و هوش مصنوعی گیج کننده. کاربران سازمانی می‌توانند آن را از صورت در آغوش گرفته دانلود کنند و از مخزن Github Snowflake.

Snowflake Arctic در مقابل سایر LLM ها

اساساً، Snowflake’s Arctic بسیار شبیه به سایر LLM های منبع باز است که از ترکیبی از معماری متخصصان (MoE) استفاده می کنند و این شامل DBRX نیز می شود. Grok-1 و Mixtral در میان دیگران.

معماری MoE یک مدل هوش مصنوعی از مدل‌های کوچک‌تر آموزش‌دیده بر روی مجموعه داده‌های مختلف می‌سازد، و بعداً این مدل‌های کوچک‌تر در یک مدل ترکیب می‌شوند که در حل انواع مختلف مسائل عالی است. قطب شمال ترکیبی از ۱۲۸ مدل کوچکتر است.

یک استثنا در میان مدل‌های منبع باز موجود در بازار، Meta’s Llama 3 است که دارای معماری مدل ترانسفورماتور است – تکامل معماری رمزگذار-رمزگشا که توسط Google در سال ۲۰۱۷ برای اهداف ترجمه توسعه یافت.

به گفته اسکات روزن-لوی، مدیر فناوری در شرکت خدمات دیجیتال West Monroe، تفاوت بین این دو معماری در این است که یک مدل MoE امکان آموزش کارآمدتر را با کارآمدتر بودن محاسبات فراهم می‌کند.

روزن-لوی گفت: «هیئت منصفه هنوز در مسیر درستی برای مقایسه پیچیدگی و پیامدهای آن بر کیفیت LLMها، چه مدل‌های MOE یا مدل‌های کاملاً متراکم، هستند.

Snowflake ادعا می‌کند که مدل قطبی آن از بیشتر مدل‌های منبع باز و چند مدل منبع بسته با پارامترهای کمتر عملکرد بهتری دارد و همچنین از توان محاسباتی کمتری برای آموزش استفاده می‌کند.

شرکت گفت: «آرکتیک تقریباً ۵۰ درصد پارامترهای کمتری نسبت به DBRX و ۷۵ درصد کمتر از Llama 3 70B در حین استنتاج یا آموزش فعال می‌کند» و افزود که تنها از دو مدل از ترکیبی از مدل‌های خبره در یک زمان یا حدوداً استفاده می‌کند. ۱۷ میلیارد از ۴۸۰ میلیارد پارامتر آن.

DBRX و Grok-1 که به ترتیب دارای ۱۳۲ میلیارد پارامتر و ۳۱۴ میلیارد پارامتر هستند، همچنین پارامترهای کمتری را در هر ورودی فعال می کنند. در حالی که Grok-1 از دو مدل از هشت مدل MoE خود در هر ورودی استفاده می کند، DBRX فقط ۳۶ میلیارد از ۱۳۲ میلیارد پارامتر خود را فعال می کند.

با این حال، دیلن پاتل، تحلیلگر ارشد شرکت تحقیقاتی نیمه هادی Semianalysis، گفت که لاما ۳ هنوز حداقل با یک معیار به طور قابل توجهی بهتر از قطب شمال است.

پاتل با اشاره به ظرفیت محاسباتی و حافظه مورد نیاز قطب شمال گفت: «از لحاظ هزینه، مدل قطب شمال با پارامتر ۴۷۵ میلیاردی در FLOPS بهتر است، اما در حافظه نه.»

علاوه بر این، پاتل گفت، قطب شمال برای استنباط آفلاین به جای استنباط آنلاین بسیار مناسب است.

استنتاج آفلاین، که در غیر این صورت به عنوان استنباط دسته ای شناخته می شود، فرآیندی است که در آن پیش بینی ها اجرا می شوند، ذخیره می شوند و بعداً در صورت درخواست ارائه می شوند. در مقابل، استنتاج آنلاین، که در غیر این صورت به عنوان استنتاج پویا شناخته می شود، پیش بینی هایی را در زمان واقعی ایجاد می کند.

محک گذاری معیارها

طبق گفته Snowflake، Arctic در کدنویسی و معیارهای تولید SQL مانند HumanEval+، MBPP+ و Spider از مدل های منبع باز مانند DBRX و Mixtral-8x7B بهتر عمل می کند، اما از بسیاری از مدل ها، از جمله Llama 3- بهتر عمل نمی کند. ۷۰B، در درک زبان عمومی (MMLU)، ریاضی، و سایر معیارها.

کارشناسان ادعا می‌کنند که در اینجاست که پارامترهای اضافی در مدل‌های دیگر مانند Llama 3 احتمالاً مزیت‌هایی را به همراه خواهد داشت.

مایک فینلی گفت: «این واقعیت که Llama 3-70B در معیارهای GSM8K و MMLU بسیار بهتر از قطب شمال عمل می‌کند، نشان‌دهنده خوبی است که نشان می‌دهد Llama 3 در کجا از این نورون‌های اضافی استفاده کرده است، و این نسخه از قطب شمال در کجا ممکن است شکست بخورد. مدیر ارشد فناوری Answer Rocket، ارائه‌دهنده نرم‌افزار تحلیلی.

فینلی گفت: «برای درک اینکه قطب شمال واقعا چقدر خوب کار می‌کند، یک شرکت باید یکی از مدل‌های خود را به جای تکیه بر آزمون‌های آکادمیک، با سرعت بالا قرار دهد. گویش SQL برای یک شرکت خاص اگرچه در معیار Spider عملکرد خوبی دارد.

به گفته بردلی شیمین، تحلیلگر ارشد Omdia، کاربران سازمانی نباید بیش از حد روی معیارها برای مقایسه مدل ها تمرکز کنند.

“تنها امتیاز نسبتاً عینی ما در حال حاضر LMSYS Arena Leaderboard است که داده ها را جمع آوری می کند. از تعاملات واقعی کاربر شیمین گفت: تنها معیار واقعی، ارزیابی تجربی یک مدل در محل در چارچوب مورد استفاده از دیدگاه آن است.

چرا Snowflake Arctic را تحت مجوز Apache 2.0 ارائه می دهد؟

Snowflake مدل‌های جاسازی متن Arctic و دیگر آن را به همراه الگوهای کد و وزن‌های مدل تحت مجوز Apache 2.0 ارائه می‌کند که امکان استفاده تجاری را بدون هیچ هزینه‌ای برای مجوز فراهم می‌کند.

در مقابل، خانواده مدل‌های لاما از متا مجوز محدودتری برای استفاده تجاری دارند.

تحلیل‌گران گفتند که استراتژی تبدیل به‌طور کامل منبع باز ممکن است برای Snowflake در بسیاری از زمینه‌ها مفید باشد.

«با این رویکرد، Snowflake می‌تواند منطقی را که واقعاً اختصاصی است حفظ کند و در عین حال به افراد دیگر اجازه می‌دهد تا خروجی‌های مدل را تغییر دهند و بهبود دهند. هیون پارک، تحلیلگر ارشد Amalgam Insights گفت: در هوش مصنوعی، مدل یک خروجی است نه کد منبع.

پارک گفت: «روش‌ها و داده‌های اختصاصی واقعی برای هوش مصنوعی، فرآیندهای آموزشی برای مدل، داده‌های آموزشی مورد استفاده، و هر روش اختصاصی برای بهینه‌سازی سخت‌افزار و منابع برای فرآیند آموزش هستند.

طبق گفته پل نشاواتی، مدیر اجرایی نوسازی و توسعه اپلیکیشن در The Futurum Research، مزیت دیگری که Snowflake ممکن است ببیند، علاقه بیشتر توسعه دهندگان است.

این تحلیلگر توضیح داد: “مولفه های منبع باز مدل آن می توانند مشارکت توسعه دهندگان خارجی را جذب کنند، که منجر به بهبودها، رفع اشکالات و ویژگی های جدیدی می شود که به نفع Snowflake و کاربران آن است.” و افزود که منبع باز بودن ممکن است سهم بیشتری از بازار را اضافه کند از طریق “خوبی محض”.

Rozen-Levy از وست مونرو نیز با Nashawaty موافق بود، اما اشاره کرد که حرفه‌ای بودن منبع باز بودن لزوماً به این معنی نیست که Snowflake همه چیزهایی را که می‌سازد با همان مجوز منتشر می‌کند.

“شاید Snowflake مدل های قدرتمندتری داشته باشد که آنها قصد انتشار آنها را در منبع باز ندارند. این تحلیلگر توضیح داد: انتشار LLM به صورت کاملاً منبع باز شاید یک بازی اخلاقی و/یا روابط عمومی علیه تمرکز کامل هوش مصنوعی توسط یک موسسه باشد.

مدل های دیگر Snowflake

در اوایل این ماه، شرکت خانواده ای متشکل از پنج مدل را بر روی جاسازی های متنی با اندازه پارامترهای مختلف منتشر کرد و ادعا کرد که این مدل ها نسبت به سایر مدل های جاسازی بهتر عمل می کنند.

ارائه‌دهندگان LLM به طور فزاینده‌ای چندین مدل از مدل‌ها را منتشر می‌کنند تا به شرکت‌ها اجازه دهند بسته به موارد استفاده، بین تأخیر و دقت انتخاب کنند. در حالی که یک مدل با پارامترهای بیشتر می تواند نسبتا دقیق تر باشد، مدلی که پارامترهای کمتری دارد به محاسبات کمتری نیاز دارد، زمان کمتری برای پاسخ دادن نیاز دارد و بنابراین هزینه کمتری دارد.

این شرکت نوشت: «مدل‌ها هنگام ترکیب مجموعه داده‌های اختصاصی با LLM به عنوان بخشی از سرویس نسل تقویت‌شده بازیابی (RAG) یا جستجوی معنایی، مزیت جدیدی به شرکت‌ها می‌دهند. در یک پست وبلاگ، اضافه کرد که این مدل ها نتیجه تخصص فنی و دانشی است که از خرید Neeva در ماه مه گذشته به دست آورده است.

پنج مدل جاسازی نیز منبع باز هستند و در Hugging Face برای استفاده فوری و دسترسی آنها از طریق Cortex در حال حاضر در پیش نمایش است.