آیا ایجاد یک LLM داخلی برای سازمان شما مناسب است؟

پنج سوال کلیدی که باید قبل از شروع سفر برای ایجاد مدل زبان بزرگ داخلی خود بپرسید.

رهبران کسب و کار تحت فشار بوده اند تا بهترین راه را برای گنجاندن هوش مصنوعی مولد در استراتژی های خود بیابند تا بهترین نتایج را برای سازمان و ذینفعان خود داشته باشند. به گفته گارتنر، ۳۸ درصد از رهبران کسب‌وکار خاطرنشان کردند که تجربه و حفظ مشتری هدف اصلی سرمایه‌گذاری‌های genAI آنهاست، و آن را برای آینده کسب‌وکارشان ضروری می‌سازد. با این حال، هر چند که ممکن است فریبنده به نظر برسد، مهم است که قبل از توسعه استراتژی هوش مصنوعی در نظر بگیرید که آیا LLMs (مدل های زبان بزرگ) برای کسب و کار شما مناسب هستند یا خیر.

در حالی که به طور کلی در دسترس است و دسترسی سریع به آن آسان است، در استفاده موثر از LLM های خارج از قفسه چالش هایی وجود دارد. اینها شامل تجربه مشتری بیش از حد تعمیم یافته بدون زمینه صنعتی، افزایش هزینه برون سپاری مدل های تعبیه شده و نگرانی های حفظ حریم خصوصی به دلیل اشتراک گذاری داده ها در خارج است. آموزش یک مدل هوش مصنوعی داخلی می‌تواند مستقیماً به این نگرانی‌ها رسیدگی کند و در عین حال خلاقیت و نوآوری را در تیم برای استفاده از این مدل برای پروژه‌های دیگر الهام بخشد. وقتی تصمیم گرفتید که به هوش مصنوعی مخصوص دامنه نیاز دارید، در اینجا پنج سوال کلیدی وجود دارد که باید قبل از شروع سفر برای ایجاد مدل داخلی خود بپرسید.

سوال ۱: مشکل کسب و کار چیست و چگونه هوش مصنوعی می تواند آن را حل کند؟

قبل از پرداختن به دنیای مدل‌های پایه و LLM، یک قدم به عقب بردارید و مشکلی را که می‌خواهید حل کنید یادداشت کنید. هنگامی که این مورد را شناسایی کردید، مهم است که تعیین کنید به کدام وظایف زبان طبیعی نیاز دارید. نمونه‌هایی از این کارها عبارتند از خلاصه‌سازی، شناسایی موجودیت نام‌گذاری شده، شباهت متنی معنایی و پاسخ‌گویی به سؤال و غیره.

یک کار پایین دستی و آگاهی از دامنه، سیب و پرتقال هستند، و دانستن تفاوت آن مهم است. با وجود محبوبیت، مدل‌های LLM مانند GPT، Llama و PaLM فقط برای کارهای پایین‌دستی (مانند پاسخ‌گویی به سؤال و خلاصه‌نویسی) با تعداد کمی مناسب هستند. -تغییر عکس یا تنظیم دقیق اضافی. اگرچه مدل‌های بنیادی می‌توانند در یک زمینه وسیع‌تر به خوبی عمل کنند، اما فاقد تخصص تخصصی حوزه صنعت یا کسب‌وکار لازم برای مفید بودن در اکثر برنامه‌ها هستند. دستیابی به نتایج عالی در کارهای پایین دستی به این معنی نیست که برای صنعت خاص شما نیز آگاهی از دامنه خواهد داشت.

سؤال ۲: آیا ابزارهای هوش مصنوعی خاص صنعت در حال حاضر موجود است؟

به عنوان بخشی از مرحله تحقیقاتی استراتژی هوش مصنوعی شما، ارزیابی دقیق ابزارهای موجود مهم است، زیرا برخی از آنها ممکن است مختص صنعت باشند، اما هنوز تفاوت های ظریف خاصی را برای کسب و کار شما از دست می دهند. هنگام ممیزی ابزارهای موجود، روی اطمینان از اینکه مدل هوش مصنوعی می‌تواند زمینه و همچنین کلمات به زبان انتخابی شما را برای درک بهتر اعلان‌ها و ایجاد پاسخ‌های مرتبط با کاربرتان درک کند، تمرکز کنید.

در مورد ما، پس از انجام تحقیقات و آزمایش‌ها، متوجه شدیم که یک LLM امنیت سایبری قوی برای ریسک شخص ثالث وجود ندارد. بنابراین تیم ما دو سال پیش یک مدل مبتنی بر BERT را برای تنظیم دقیق در امنیت سایبری انتخاب کرد.

علاوه بر این، در حین ساخت مدل هوش مصنوعی خود، متوجه شدیم که نتایج به طور مداوم در محدوده خاصی قرار می گیرند، زیرا متون مختلف را در حوزه امنیت سایبری تجزیه و تحلیل می کنیم. مدل پایه ای که ما به کار بردیم، متن را همگن می دانست و شباهت را به منشأ آن در همان حوزه نسبت می داد. ما سخت کار کردیم تا زمینه و نکات ظریف صنعت امنیت سایبری را برای آن فراهم کنیم، که به حل مشکل ما در مورد عدم آگاهی از دامنه کمک کرد.

متن نیز ضروری است زیرا حتی امروزه، در موارد خاصنباید همانطور که هست ۱۰۰% قابل اعتماد باشید این یکی از دلایل متعددی است که دولت بایدن هریس یک فرمان اجرایی در  هوش مصنوعی امن، مطمئن و قابل اعتماد. قبل از استفاده از ابزار هوش مصنوعی به‌عنوان یک سرویس، سازمان‌های دولتی باید مطمئن شوند که سرویسی که استفاده می‌کنند، ایمن و قابل اعتماد است، که معمولاً واضح نیست و تنها با نگاه کردن به مجموعه‌ای از خروجی‌ها مشخص نمی‌شود. و در حالی که فرمان اجرایی برای مشاغل بخش خصوصی اعمال نمی شود، این سازمان ها در صورت اتخاذ سیاست های مشابه باید این موضوع را در نظر بگیرند.

اگرچه فرآیند آموزش و تنظیم دقیق مربوط به یک مدل داخلی شامل آزمایش کامل، شناسایی نقاط ضعف و تجزیه و تحلیل مدل خواهد بود و بسیار طولانی است، اما در دراز مدت ارزش آن را دارد.

سوال ۳: آیا داده های شما آماده است؟

داده‌های سازمان شما مهم‌ترین دارایی است که باید قبل از آموزش LLM خود ارزیابی کنید. شرکت‌هایی که داده‌های با کیفیت بالا را در طول زمان جمع‌آوری کرده‌اند، در عصر LLM امروزی خوش‌شانس‌ترین هستند، زیرا تقریباً در هر مرحله از فرآیند از جمله آموزش، آزمایش، آموزش مجدد و آزمایش‌های بتا به داده‌ها نیاز است. داده های با کیفیت بالا کلید موفقیت در هنگام آموزش LLM است، بنابراین مهم است که به معنای واقعی آن در نظر بگیرید. پاسخ مطمئناً بسته به کار و دامنه تغییر می کند، اما یک قانون کلی این است که داده ها به حداقل بررسی و آموزش مجدد کمتر نیاز دارند.

وقتی شرکت‌ها سفر را برای آموزش یک LLM آغاز می‌کنند، معمولاً متوجه می‌شوند که داده‌هایشان از چند جهت آماده نیست. داده ها ممکن است بسیار پر سر و صدا باشند، یا به دلیل انتخاب ضعیف متخصص یا زمان محدود اختصاص داده شده به متخصصان، برچسب گذاری ناکارآمدی داشته باشند. یا داده‌ها می‌توانند شامل تکرارهای پنهانی باشند که حداقل یا هیچ ارزشی را برای فرآیند آموزشی ارائه نمی‌دهند، و دامنه یا کار را به طور کامل نشان نمی‌دهند، که ممکن است باعث شود مدل هوش مصنوعی حاصل بیش از حد مناسب شود.

پیش‌بینی اینکه داده‌ها می‌توانند به راحتی به گلوگاه پروژه شما تبدیل شوند، مهم است، زیرا سازماندهی آن بیشترین زمان را می‌گیرد. حتی ممکن است سال ها طول بکشد تا داده ها واقعاً برای هوش مصنوعی آماده شوند.

سوال ۴: آیا متخصصان کافی برای آموزش مدل های هوش مصنوعی در دسترس دارید؟

کارشناسان نقش مهمی در تولید داده ها و تعیین کیفیت داده ها دارند. چرا؟ زیرا ما هنوز به انسان برای تولید داده های قابل اعتماد نیاز داریم که در فرآیند آموزش استفاده می شود. مجموعه‌های داده‌ای که به‌طور مصنوعی تولید می‌شوند وجود دارند، اما اینها مفید نیستند مگر اینکه توسط متخصصان انسانی ارزیابی و واجد شرایط شوند.

هنگام انتخاب کارشناس خود، فردی را انتخاب کنید که دانش عمیقی در صنعت داشته باشد تا مدل شما را تنظیم کند (خواه یک متخصص داخلی یا یک متخصص برون سپاری). به طور خاص، برای برچسب گذاری داده ها، ارائه بازخورد در مورد داده ها، آزمایش داده ها و آموزش مجدد بر اساس بازخورد، به متخصصان نیاز دارید. این بخش مهمی از فرآیند به دست آوردن نتایج دقیق و قابل اعتماد با مدل هوش مصنوعی آموزش دیده شما است.

سوال ۵: محدودیت زمانی شما چیست؟

آموزش یک مدل هوش مصنوعی داخلی فرآیندی پرهزینه و طولانی است. مشکل تجاری، کیفیت داده‌های در دسترس، و تعداد کارشناسان و مهندسان هوش مصنوعی درگیر، همگی بر طول و کیفیت پروژه تأثیر می‌گذارند. از آنجایی که این فرآیند به آزمون و خطا متکی است، تا زمانی که راه حل برای استفاده آماده شود، ذاتاً زمان بیشتری است.

علاوه بر مسائلی که می‌تواند از داده‌ها ناشی شود، چالش‌های دیگری نیز وجود دارد که ممکن است هنگام تنظیم فراپارامترهای الگوریتم آموزشی، مانند نرخ یادگیری، تعداد دوره‌ها، و تعداد لایه‌ها ایجاد شود. این همان نقطه‌ای است که کارشناسان هوش مصنوعی ممکن است نیاز به مهندسی مجدد داشته باشند تا مسائل مربوط به فراموشی بیش از حد و فاجعه‌بار را که در مراحل آزمایش آشکار می‌شوند، که می‌تواند به هزینه پروژه منجر شود، دوباره مهندسی کنند.

اگرچه یک فرآیند با دقت فکر شده استرس را کاهش می دهد، همیشه این خطر وجود دارد که راه حل جدید LLM ظاهر شود و راه حل شما قدیمی شود. این به ویژگی و جایگاه های موجود در دامنه شما خلاصه می شود. با توجه به سرعت سریع توسعه فناوری هوش مصنوعی، به دنبال تعادل بین زمان و کیفیت باشید.

همانطور که در مورد بسیاری از راه حل های نوآورانه وجود دارد، یک رویکرد یکسان برای همه وجود ندارد. سنجیدن گزینه های شما در مورد مدلی که برای کسب و کار شما مناسب است، اولین قدم در شروع سفر هوش مصنوعی شرکت شما است. برای رهبران کسب و کار، آموزش یک LLM از ابتدا می تواند دلهره آور به نظر برسد، اما اگر داده های موجود و یک «مشکل تجاری» خاص دامنه دارید که یک LLM عمومی حل نمی کند، در دراز مدت ارزش سرمایه گذاری را دارد.

گوکچن تاپکان مدیر تحقیقات داده در بادبادک سیاه.

Generative AI Insights مکانی را برای رهبران فناوری – از جمله فروشندگان و سایر مشارکت‌کنندگان خارجی – فراهم می‌کند تا چالش‌ها و فرصت‌های هوش مصنوعی مولد را بررسی و بحث کنند. این انتخاب گسترده است، از غواصی عمیق فناوری گرفته تا مطالعات موردی گرفته تا نظرات متخصص، اما همچنین ذهنی است، بر اساس قضاوت ما در مورد اینکه کدام موضوعات و درمان ها به بهترین وجه به مخاطبان فنی پیشرفته InfoWorld خدمت می کنند. InfoWorld وثیقه بازاریابی را برای انتشار نمی پذیرد و حق ویرایش تمام محتوای ارائه شده را برای خود محفوظ می دارد. تماس با doug_dineley@foundryco.com.