Llama 2 چیست؟ مدل زبان بزرگ متا توضیح داده شد

Llama 2 یک خانواده از مدل‌های متن تولیدی است که برای موارد استفاده از چت دستیار بهینه شده است یا می‌تواند برای انواع وظایف تولید زبان طبیعی سازگار شود. مدل های Code Llama برای کارهای برنامه نویسی به خوبی تنظیم شده اند.

• آیا Llama 2 ایمن است؟
• ملاحظات اخلاقی برای Llama 2
• آیا Llama 2 منبع باز است؟
• کد لاما چیست؟

Llama 2 خانواده ای از مدل های زبان بزرگ از پیش آموزش دیده و تنظیم شده است. (LLMs)، در مقیاسی از پارامترهای ۷B تا ۷۰B، از گروه هوش مصنوعی در Meta، شرکت مادر فیس بوک. براساس هوش مصنوعی متا، Llama 2 Chat LLM ها برای موارد استفاده از گفتگو بهینه شده اند و در اکثر معیارهایی که آزمایش کرده اند از مدل های چت منبع باز بهتر عمل می کنند. بر اساس ارزیابی های انسانی متا برای کمک و ایمنی، این شرکت می گوید Llama 2 ممکن است “جایگزین مناسبی برای مدل های منبع بسته” باشد.

Llama 2، مانند مدل اصلی Llama، مبتنی بر معماری ترانسفورماتور Google، با پیشرفت‌هایی است. بهبودهای Llama شامل پیش عادی سازی RMSNorm است که از GPT-3 الهام گرفته شده است. یک تابع فعال سازی SwiGLU، الهام گرفته از Google’s Palm. توجه چند پرس و جو به جای توجه چند سر. و تعبیه‌های موقعیتی چرخشی (RoPE)، با الهام از GPT Neo. آموزش لاما از بهینه ساز AdamW استفاده کرد. تفاوت های اصلی Llama 2 با Llama افزایش طول زمینه (۴۰۹۶ در مقابل ۲۰۴۸ توکن) و توجه به پرسش گروهی ( GQA) به جای توجه چند پرس و جو (MQA) در دو مدل بزرگتر.

مجموعه آموزشی Llama 2 شامل ترکیبی از داده‌ها از منابع عمومی است که متا می‌گوید داده‌های محصولات یا خدمات متا را شامل نمی‌شود. دو تریلیون نشانه داده آموزشی وجود داشت.

متا از Research Super Cluster و برخی از خوشه‌های تولید داخلی برای پیش‌آموزش با پردازنده‌های گرافیکی Nvidia A100 استفاده کرد. زمان قبل از آموزش از ۱۸۴ هزار GPU ساعت برای مدل ۷B پارامتر تا ۱.۷ میلیون ساعت GPU برای مدل ۷۰B پارامتر متغیر بود.

تنظیم دقیق Llama 2 Chat ماهها طول کشید و شامل تنظیم دقیق (SFT) و یادگیری تقویتی با بازخورد انسانی (RLHF) بود. متا از Ghost Attention (GAtt) استفاده کرد تا Llama 2 Chat پیام سیستم خود (دستورالعمل کلی) را از نوبت به نوبت در دیالوگ فراموش نکند.

آیا Llama 2 ایمن است؟

برخی از هوش مصنوعی مولد به دلیل ساختن (یا توهم) پاسخ ها، گفتن چیزهای وحشتناک و حتی توصیه به خودکشی بدنام هستند. البته موقعیت‌های زیادی وجود دارد که پاسخ‌های اشتباه می‌تواند خطرناک باشد، و تقریباً همه LLM‌ها با هشدارهای دیگ بخار ارائه می‌شوند. مهم نیست که یک هوش مصنوعی چقدر “ایمن” است، همیشه باید پاسخ های آن را بررسی کنید، زیرا در نهایت این فقط یک طوطی تصادفی.

متا ادعا می‌کند که Llama 2-chat به همان اندازه ایمن یا ایمن‌تر از مدل‌های دیگر است، بر اساس ارزیابی توسط ارزیاب‌های انسانی با استفاده از ۲۰۰۰ پیام خصمانه، همانطور که در مقاله لاما ۲ متا. با این حال به هشدار متا توجه داشته باشید: ممکن است به دلیل محدودیت‌های مجموعه سریع، ذهنی بودن دستورالعمل‌های بررسی و ذهنی بودن ارزیابی‌کنندگان فردی، سوگیری ذاتی در ارزیابی‌های LLM وجود داشته باشد. این ارزیابی‌های ایمنی با استفاده از استانداردهای محتوایی انجام می‌شوند که احتمالاً نسبت به مدل‌های گپ Llama 2 تعصب دارند.

ملاحظات اخلاقی برای Llama 2

علاوه بر مسائل اخلاقی و ایمنی معمول برای LLMها، Llama 2 و Llama با یکی از مجموعه‌های مجموعه آموزشی خود، بخش Books3 شمع. در یک دعوای دسته جمعی دعوا توسط ریچارد کادری، سارا سیلورمن و کریستوفر گلدن، شاکیان ادعا می‌کنند که متا با آموزش در Books3، که شامل کتاب‌های دارای حق چاپ آنها می‌شود، حق نسخه‌برداری آن‌ها را نقض کرده است و درخواست خسارت و استرداد سود کرده‌اند. این دعوی هنوز مورد دعوا یا حل و فصل قرار نگرفته است.

حداقل یک مخزن، چشم، اخیراً به یک DMCA درخواست حذف از گروه دانمارکی ضد دزدی دریایی حقوق اتحاد و حذف Books3. Books3 هنوز در سایت‌های دیگر موجود است، اگرچه اتحاد حقوق در تلاش است آنها را نیز حذف کند. از قضا، پس از اینکه OpenAI از مجموعه داده های کتاب های خصوصی برای آموزش GPT-3 استفاده کرد، Books3 به دموکراتیزه کردن آموزش هوش مصنوعی مولد در نظر گرفته شد.

آیا Llama 2 منبع باز است؟

در مقدمه بررسی من از Llama 2 Chat و Code Llama، Llama 2 را به عنوان “رایگان تقریباً منبع باز” توصیف کردم. چرا “تقریبا” منبع باز؟ به این دلیل که مجوز Llama 2 دارای چند محدودیت است. طبق استفانو مافولی از OSI (ابتکار منبع باز) ،

در میان سایر الزامات، برای منبع باز بودن مجوز، ممکن است بین افراد یا گروه‌ها یا زمینه‌های فعالیت تبعیض قائل نشود (OSD نکات ۵ و ۶). مجوز متا برای مدل‌ها و کدهای LLaMa با این استاندارد مطابقت ندارد. به طور خاص، محدودیت هایی را برای استفاده تجاری برای برخی از کاربران ایجاد می کند (بند ۲) و همچنین استفاده از مدل و نرم افزار را برای اهداف خاصی محدود می کند (خط مشی استفاده قابل قبول).

بند ۲ از قرارداد مجوز انجمن Llama 2 می‌گوید

۲. شرایط تجاری اضافی اگر در تاریخ انتشار نسخه Llama 2، کاربران فعال ماهانه محصولات یا خدماتی که توسط یا برای دارنده پروانه، یا شرکت های وابسته به او در دسترس است، بیش از ۷۰۰ میلیون کاربر فعال ماهانه در ماه تقویمی قبل باشد، باید مجوز را از Meta، که متا ممکن است به صلاحدید خود به شما اعطا کند، و شما مجاز به استفاده از هیچ یک از حقوق تحت این قرارداد نیستید، مگر اینکه متا به طور صریح چنین حقوقی را به شما اعطا کند.

به نظر می‌رسد برای حذف AWS، Google Cloud و Microsoft Azure طراحی شده است. این از روح مجوز نرم افزار تجاری، که در اصل توسط MariaDB توسعه یافته است، پیروی می کند. اکثر توسعه دهندگان نرم افزار واقعاً به این نوع محدودیت ها اهمیت نمی دهند، اما طرفداران متن باز بسیار اهمیت می دهند.

خط‌مشی استفاده قابل قبول لاما می‌گوید، در سطح بالایی، می‌توانید از لاما برای نقض قانون یا حقوق دیگران استفاده کنید. مشارکت، ترویج، تحریک، تسهیل یا کمک به برنامه ریزی یا توسعه فعالیت هایی که خطر مرگ یا آسیب بدنی برای افراد ایجاد می کند. فریب دادن یا گمراه کردن عمدی دیگران؛ یا اینکه خطرات شناخته شده سیستم هوش مصنوعی خود را به طور مناسب برای کاربران نهایی افشا نکنید. آنها می گویند که اگر از Llama برای توسعه سلاح، ایجاد مواد مخدر غیرقانونی، ایجاد اظهارات یا تصاویر افتراآمیز یا هر یک از لیست طولانی مضراتی که از سایر مدل های هوش مصنوعی ناشی شده است استفاده کنید، در این صورت مجوز خود را نقض می کنید.

من می توانم با آن نگرش همدردی کنم و تقریباً با آن موافقم، اما مفولی درست می گوید که تعریف منبع باز را نقض می کند< /a> (OSD). با این حال، باید بپرسم که آیا یک خط پیشینی واضح بین، مثلاً، استفاده از هوش مصنوعی مولد برای طراحی داروهای قانونی و داروهای غیرقانونی وجود دارد.

به عنوان مثال، فرض کنید در حال طراحی ترکیبی برای تسکین درد با استفاده از Llama هستید، اما نظارت بر ایمنی دارو پس از فروش مشخص می‌کند که این ماده بسیار اعتیادآور است و متعاقباً به عنوان یک ماده جدول ۱ طبقه‌بندی می‌شود و ممنوع است. چگونه در طول فرآیند طراحی متوجه می شوید که خط مشی استفاده قابل قبول را نقض می کنید؟ من فکر می‌کنم که دانستن از قبل، اگر نگوییم غیرممکن، دشوار است، و من شک دارم که این سیاست در دادگاه پایدار بماند. در همین حال، OSI در تلاش است تا تعریف جدیدی از هوش مصنوعی منبع باز ارائه دهد.

کد لاما چیست؟

کد لاما توسط fine- آموزش داده شد تنظیم Llama 2 بر روی مجموعه داده های کد خاص، به طور خاص بیشتر از همان کدی که برای آموزش Llama 2 برای شروع استفاده شد. متا می گوید که Code Llama می تواند کد و زبان طبیعی در مورد کد را از هر دو دستور کد و زبان طبیعی تولید کند و همچنین می تواند برای تکمیل کد و اشکال زدایی استفاده شود. Code Llama از بسیاری از محبوب ترین زبان هایی که امروزه استفاده می شود پشتیبانی می کند، از جمله Python، C++، Java، PHP، TypeScript (JavaScript)، C# و Bash.

براساس هوش مصنوعی متا:

• Code Llama یک LLM پیشرفته است که قادر به تولید کد، و زبان طبیعی در مورد کد، از هر دو درخواست کد و زبان طبیعی است.
• کد لاما برای تحقیقات و استفاده تجاری رایگان است.
• Code Llama در بالای Llama 2 ساخته شده است و در سه مدل موجود است:
• کد لاما، مدل کد پایه؛
• کد لاما – پایتون، تخصصی برای پایتون؛
• و Code Llama – Instruct که برای درک دستورالعمل های زبان طبیعی به خوبی تنظیم شده است.
• در آزمایش معیار خود متا، Code Llama در کارهای کد از LLMهای موجود در دسترس عموم بهتر عمل کرد.

• کد لاما، مدل کد پایه؛
• کد لاما – پایتون، تخصصی برای پایتون؛
• و Code Llama – Instruct که برای درک دستورالعمل های زبان طبیعی به خوبی تنظیم شده است.

سه اندازه از Code Llama با پارامترهای ۷B، ۱۳B و ۳۴B وجود دارد. همه مدل‌های Code Llama روی دنباله‌هایی از توکن‌های ۱۶K آموزش داده شده‌اند و پیشرفت‌هایی را در ورودی‌ها با حداکثر ۱۰۰ هزار توکن نشان می‌دهند. مدل‌های پایه و دستورالعمل ۷B و ۱۳B نیز با قابلیت‌های fill-in-the-middle آموزش دیده‌اند که تکمیل کد را امکان‌پذیر می‌کند.

مدل ۷B را می توان از طریق یک پردازنده گرافیکی ارائه کرد. همانطور که انتظار دارید، مدل ۳۴B بهترین نتایج را نشان می‌دهد، اما مدل‌های کوچک‌تر سریع‌تر هستند و تأخیر کمتری دارند، بنابراین برای استفاده در ویرایشگر که تکمیل کد را انجام می‌دهد مناسب‌تر هستند، به همین دلیل است که آنها مدل‌هایی هستند که در آن آموزش دیده‌اند. وظایف میانی را پر کنید.