چگونه RAG پازل مولد هوش مصنوعی را تکمیل می کند

نسل افزوده‌شده با بازیابی، یک چیز بزرگ را به هوش مصنوعی مولد می‌آورد که مانع آن در شرکت می‌شد.

هوش مصنوعی مولد در پایان سال ۲۰۲۲ با صدای بلندی وارد آگاهی جهانی شد (سرنخ: ChatGPT)، اما کارکرد آن در شرکت چیزی بیش از یک سری تلو تلو خوردن استفاده از هوش مصنوعی سایه در این شرکت بسیار بالا است زیرا کارمندان با ابزارهای چت هوش مصنوعی همراهان کارهای روزانه خود را ایجاد می کنند. اما برای گردش‌های کاری دانش‌محور که هسته اصلی مأموریت یک سازمان هستند، هوش مصنوعی مولد هنوز به وعده بلند خود مبنی بر تغییر روش کار ما عمل نکرده است.

با این حال، روی این قلل سرخوردگی شرط نبندید که مدت زیادی طول بکشد. فرآیندی به نام تولید افزایش یافته بازیابی (RAG) در حال باز کردن انواع موارد استفاده از هوش مصنوعی مولد سازمانی است که قبلاً قابل اجرا نبودند. شرکت‌هایی مانند OpenAI، مایکروسافت، متا، گوگل و آمازون، به همراه تعداد فزاینده‌ای از استارت‌آپ‌های هوش مصنوعی، راه‌حل‌های مبتنی بر RAG متمرکز بر سازمان را به‌شدت ارائه کرده‌اند.

RAG به هوش مصنوعی مولد یک چیز بزرگ را می آورد که مانع آن در شرکت بود: یک مدل بازیابی اطلاعات. اکنون، ابزارهای هوش مصنوعی مولد راهی برای دسترسی به داده‌های مربوطه دارند که خارج از داده‌هایی است که مدل زبان بزرگ (LLM) روی آن آموزش دیده است — و می‌توانند بر اساس آن اطلاعات خروجی تولید کنند. این بهبود ساده به نظر می رسد، اما کلیدی است که پتانسیل ابزارهای هوش مصنوعی مولد را برای موارد استفاده سازمانی باز می کند.

برای درک دلیل، ابتدا به مشکلاتی که در زمانی که هوش مصنوعی مولد توانایی دسترسی به اطلاعات خارج از داده‌های آموزشی خود را ندارد، روی می‌دهد.

محدودیت های مدل های زبان

ابزارهای هوش مصنوعی مولد مانند ChatGPT با استفاده از مدل‌های زبانی بزرگ که بر روی مقادیر وسیعی از داده‌های متنی مانند مقاله‌ها، کتاب‌ها و اطلاعات آنلاین آموزش دیده‌اند، به منظور یادگیری الگوهای زبانی که برای ایجاد پاسخ‌های منسجم نیاز دارد، پشتیبانی می‌شوند. با این حال، اگرچه داده‌های آموزشی بسیار زیاد است، اما فقط یک عکس فوری از اطلاعات جهان است که در یک نقطه زمانی خاص گرفته شده است – از نظر دامنه محدود و بدون داده‌هایی که مختص دامنه یا به‌روز هستند.

یک LLM اطلاعات جدیدی را بر اساس الگوهای زبانی که از داده های آموزشی خود آموخته تولید می کند، و در این فرآیند، تمایل به ابداع حقایقی دارد که در غیر این صورت کاملاً معتبر به نظر می رسند. این مشکل «توهم» با هوش مصنوعی مولد است. برای افرادی که از ابزارهای هوش مصنوعی مولد برای کمک به آنها در انجام کارهای معمولی در طول روز استفاده می‌کنند، مشکلی ایجاد نمی‌کند، اما برای جریان‌های کاری سازمانی که دقت آن غیرقابل مذاکره است، مسئله توهم یک مانع نمایشی است.

یک تحلیلگر سهام خصوصی نمی تواند به ابزار هوش مصنوعی که موجودیت های زنجیره تامین را می سازد تکیه کند. یک تحلیلگر حقوقی نمی تواند به ابزار هوش مصنوعی که ابداع دعوا می کند تکیه کند. و یک متخصص پزشکی نمی تواند به ابزار هوش مصنوعی که تداخلات دارویی را در خواب می بیند تکیه کند. این ابزار هیچ راهی برای تأیید صحت خروجی یا استفاده در موارد استفاده از انطباق ارائه نمی‌کند، زیرا منابع اصلی را ذکر نمی‌کند — بر اساس الگوهای زبان خروجی ایجاد می‌کند.

اما این فقط توهمات نیست که موفقیت با هوش مصنوعی مولد در شرکت را ناامید کرده است. داده‌های آموزشی LLM از نظر اطلاعات کلی غنی است، اما فاقد داده‌های اختصاصی دامنه یا اختصاصی است، بدون آن ابزار برای موارد استفاده سازمانی با دانش فشرده کاربرد چندانی ندارد. داده‌های تامین‌کننده مورد نیاز تحلیلگر سهام خصوصی وجود ندارد. نه اطلاعات دادخواست برای تحلیلگر حقوقی است و نه اطلاعات تداخل دارویی برای پزشک.

برنامه‌های هوش مصنوعی سازمانی معمولاً نیاز به دسترسی به اطلاعات فعلی دارند، و این حوزه دیگری است که LLM به تنهایی نمی‌تواند آن را ارائه دهد. داده های آموزشی آنها ثابت است، با تاریخ قطعی که اغلب چندین ماه در گذشته است. حتی اگر سیستم به نوع داده‌های تامین‌کننده مورد نیاز تحلیلگر سهام خصوصی دسترسی داشته باشد، اگر داده‌های هشت ماهه گذشته را از دست بدهد، برای او ارزش چندانی نخواهد داشت. تحلیلگر حقوقی و پزشک در یک قایق هستند – حتی اگر ابزار هوش مصنوعی به داده‌های مربوط به دامنه دسترسی داشته باشد، اگر به‌روز نباشد، فایده چندانی ندارد.

الزامات سازمانی برای هوش مصنوعی مولد

با طرح کاستی‌های هوش مصنوعی مولد در شرکت، الزامات آن را تعریف کرده‌ایم. آنها باید:

باشند

• جامع و به موقع، با گنجاندن همه داده های مرتبط و به روز مربوط به دامنه.
• قابل اعتماد و شفاف، با ذکر همه منابع استفاده شده در خروجی.
• معتبر و دقیق، با استناد به خروجی بر روی مجموعه داده های خاص و قابل اعتماد، نه داده های آموزشی LLM.

RAG این امکان را برای ابزارهای هوش مصنوعی مولد فراهم می کند تا این الزامات را برآورده کنند. با ادغام مدل‌های مبتنی بر بازیابی با مدل‌های مولد، می‌توان سیستم‌های مبتنی بر RAG را برای مقابله با جریان‌های کاری دانش‌محور طراحی کرد، جایی که لازم است خلاصه‌ها و بینش‌های دقیق از حجم زیادی از داده‌های ناقص و بدون ساختار استخراج شود و آن‌ها به وضوح و با دقت به زبان طبیعی ارائه شوند.

چهار مرحله اساسی برای RAG وجود دارد:

1. بردارسازی. با تبدیل متن به کد خاصی که سیستم می‌تواند برای دسته‌بندی استفاده کند، اطلاعات مربوطه را از منابع مطمئن تغییر دهید.
2. بازیابی. از یک نمایش ریاضی برای تطبیق درخواست خود با کدهای مشابه موجود در منابع اطلاعاتی مورد اعتماد استفاده کنید.
3. رتبه بندی با در نظر گرفتن آنچه پرسیده اید، چه کسی هستید و منبع اطلاعات مفیدترین اطلاعات را برای خود انتخاب کنید.
4. نسل. مرتبط‌ترین بخش‌های آن اسناد را با سؤال خود ترکیب کنید و آن را به یک LLM بدهید تا خروجی تولید شود.

برخلاف یک ابزار هوش مصنوعی مولد که برای تولید پاسخ صرفاً به یک LLM متکی است، ابزارهای هوش مصنوعی مبتنی بر RAG می‌توانند خروجی‌هایی بسیار دقیق، جامع‌تر و مرتبط‌تر تولید کنند تا زمانی که داده‌های اساسی به درستی منبع و بررسی شوند. در این موارد، کاربران سازمانی می‌توانند به خروجی اعتماد کرده و از آن برای گردش‌های کاری حیاتی استفاده کنند.

توانایی RAG برای بازیابی اطلاعات جدید و به‌روز شده و استناد به منابع آنقدر حیاتی است که OpenAI شروع به ارائه عملکرد RAG در ChatGPT کرد. ابزارهای جستجوی جدیدتر مانند Perplexity AI موج می زند زیرا پاسخ هایی که تولید می کنند به منابع خود اشاره می کنند. با این حال، این ابزارها هنوز ابزارهای “دانش عمومی” هستند که برای کارکرد آنها برای موارد استفاده سازمانی خاص دامنه، به زمان و سرمایه گذاری نیاز دارند.

آماده کردن آنها برای شرکت به معنای یافتن منبع و بررسی داده های اساسی از جایی که اطلاعات واکشی شده است به صورت اختصاصی دامنه، سفارشی کردن بازیابی، رتبه بندی بازیابی برای بازگرداندن اسناد مرتبط با مورد استفاده، و تنظیم دقیق LLM است. برای تولید استفاده می شود تا خروجی از اصطلاحات، لحن و قالب های مناسب استفاده کند.

علیرغم هیجان اولیه در مورد هوش مصنوعی مولد، کاربرد عملی آن در شرکت تا کنون بسیار ضعیف بوده است. اما RAG با ارائه راه‌حل‌های هوش مصنوعی مولد که در آن دقت، قابلیت اطمینان و ویژگی دامنه الزامات سختی است، بازی را در صنایع تغییر می‌دهد.

چاندینی جین بنیانگذار و مدیر عامل است از Auquan، یک مبتکر هوش مصنوعی که ساختارهای بدون ساختار جهان را متحول می کند. داده ها را به اطلاعات قابل اجرا برای مشتریان خدمات مالی تبدیل می کند. جین قبل از تأسیس Auquan، ۱۰ سال را در امور مالی جهانی گذراند و به عنوان یک معامله گر در Optiver و Deutsche Bank کار کرد. او یک متخصص و سخنران شناخته شده در زمینه استفاده از هوش مصنوعی برای سرمایه گذاری و مدیریت ریسک ESG است. جین دارای مدرک کارشناسی ارشد در مهندسی مکانیک/علوم محاسباتی از دانشگاه ایلینویز در Urbana-Champaign و مدرک B.Tech از IIT Kanpur است. برای اطلاعات بیشتر در مورد Auquan، از www.auquan.com< دیدن کنید. em>، و شرکت @auquan_ را دنبال کنید لینکداین.

—

Generative AI Insights مکانی را برای رهبران فناوری – از جمله فروشندگان و سایر مشارکت‌کنندگان خارجی – فراهم می‌کند تا چالش‌ها و فرصت‌های هوش مصنوعی مولد را بررسی و بحث کنند. این انتخاب گسترده است، از غواصی عمیق فناوری گرفته تا مطالعات موردی گرفته تا نظرات متخصص، اما همچنین ذهنی است، بر اساس قضاوت ما در مورد اینکه کدام موضوعات و درمان ها به بهترین وجه به مخاطبان فنی پیشرفته InfoWorld خدمت می کنند. InfoWorld وثیقه بازاریابی را برای انتشار نمی پذیرد و حق ویرایش تمام محتوای ارائه شده را برای خود محفوظ می دارد. تماس با doug_dineley@foundryco.com.