مایکروسافت در حال کار بر روی یک LLM برای مقابله با Gemini، GPT-4

LLM جدید با کد MAI-1 دارای ۵۰۰ میلیارد پارامتر است.

گزارش‌ها نشان می‌دهد که مایکروسافت در حال کار بر روی یک مدل زبان بزرگ (LLM) برای مقابله با Google’s Gemini و GPT-4 OpenAI.

با نام رمز MAI-1، LLM جدید در حال حاضر در مرحله توسعه است و توسط مصطفی سلیمان، یکی از بنیانگذاران Google DeepMind و Inflection AI، اطلاعات گزارش شده به نقل از دو منبع.

طبق یک پست وبلاگ نوشته شده توسط مدیر اجرایی مایکروسافت ساتیا نادلا.

مایکروسافت همچنین ۶۵۰ میلیون دلار به هوش مصنوعی Inflection پرداخت کرده بود تا نرم افزار خود را مجوز دهد. سلیمان و سیمونیان به همراه سایر کارکنان هوش مصنوعی Inflection که به مایکروسافت می پیوندند، بخشی از همین معامله هستند.

در حالی که منابع ذکر شده توسط اطلاعات هدف از ساخت پارامتر ۵۰۰ میلیاردی LLM را فاش نکردند، آنها گفتند که LLM جدید می تواند در کنفرانس بیلد این شرکت در اواخر این ماه معرفی شود.

بر اساس گزارش‌ها، این شرکت مقدار زیادی از منابع محاسباتی را برای آموزش مدل اختصاص داده است، از جمله استفاده از داده‌های اینترنت و داده‌های تولید شده از GPT-4.

برای قرار دادن همه چیز در چارچوب، گزارش شده است که GPT-4 OpenAI دارای ۱.۷۶ تریلیون پارامتر است و شرکت برای آموزش آن بیش از ۱۰۰ میلیون دلار برای منابع محاسباتی هزینه کرده است.

در حالی که ممکن است مایکروسافت در حال کار بر روی مدل غول‌پیکر باشد، این شرکت ماه گذشته خانواده جدیدی از مدل‌های زبان کوچک (SLM) را راه‌اندازی کرد –  خانواده Phi-3 – به عنوان بخشی از برنامه خود برای ساخت سبک‌وزن فناوری  هوش مصنوعی مولد با عملکرد بالا در پلتفرم‌های بیشتری از جمله دستگاه‌های تلفن همراه موجود است.

خانواده Phi-3 از سه مدل تشکیل شده است – Phi-3 Mini با ۳.۸ میلیارد پارامتر، Phi-3 Small با ۷ میلیارد پارامتر و Phi-3 Medium با پارامتر ۱۴ میلیارد.

در چند ماه گذشته شاهد انبوهی از LLMهایی بودیم که توسط چندین فروشنده، مانند Snowflake، Databricks، Cohere، Mistral، Anthropic، Meta، Google و AWS اعلام شد.

در حالی که Snowflake Arctic LLM خود را راه اندازی کرد، Databricks مدل DBRX خود را راه اندازی کرد. متا به طور جداگانه مدل Llama 3 خود را منتشر کرده بود. تنها چند روز بعد، Cohere نسخه‌های تکراری از خانواده مدل‌های Command خود را راه‌اندازی کرد.