کوانتیزاسیون مدل و طلوع هوش مصنوعی لبه

کوانتیزاسیون مدل شکاف بین محدودیت‌های محاسباتی دستگاه‌های لبه و تقاضا برای مدل‌های بسیار دقیق و برنامه‌های هوشمند بی‌درنگ را پر می‌کند.

همگرایی هوش مصنوعی و محاسبات لبه نویدبخش تحول برای بسیاری از صنایع است. در اینجا سرعت سریع نوآوری در کوانتیزاسیون مدل، تکنیکی که با بهبود قابلیت حمل و کاهش اندازه مدل منجر به محاسبات سریع‌تر می‌شود، نقشی اساسی دارد.

کوانتیزه‌سازی مدل، شکاف بین محدودیت‌های محاسباتی دستگاه‌های لبه و نیاز به استقرار مدل‌های بسیار دقیق برای راه‌حل‌های هوش مصنوعی لبه‌ای سریع‌تر، کارآمدتر و مقرون‌به‌صرفه‌تر را پر می‌کند. پیشرفت هایی مانند کمی سازی تعمیم یافته پس از آموزش (GPTQ)، انطباق با رتبه پایین (LoRA) و انطباق با رتبه پایین کوانتیزه (QLoRA) این پتانسیل را دارند که تجزیه و تحلیل و تصمیم گیری در زمان واقعی را در نقطه ای که داده ها تولید می کنند تقویت کنند. /p>

هوش مصنوعی Edge، وقتی با ابزارها و تکنیک‌های مناسب ترکیب شود، می‌تواند نحوه تعامل ما با داده‌ها و برنامه‌های مبتنی بر داده را دوباره تعریف کند.

چرا edge AI؟

هدف از edge AI این است که پردازش داده و مدل‌ها را به محل تولید داده‌ها نزدیک‌تر کند، مانند سرور راه دور، تبلت، دستگاه اینترنت اشیا یا تلفن هوشمند. این هوش مصنوعی با تاخیر کم و بلادرنگ را فعال می کند. با توجه به Gartner، بیش از نیمی از تجزیه و تحلیل داده‌ها توسط شبکه‌های عصبی عمیق تا سال ۲۰۲۵ در لبه‌های مرزی انجام خواهد شد. این تغییر پارادایم مزایای متعددی را به همراه خواهد داشت:

• کاهش تأخیر: با پردازش داده‌ها به‌طور مستقیم بر روی دستگاه، هوش مصنوعی لبه نیاز به انتقال داده‌ها را به ابر و به عقب کاهش می‌دهد. این برای برنامه‌هایی که به داده‌های زمان واقعی وابسته هستند و به پاسخ‌های سریع نیاز دارند بسیار مهم است.
• کاهش هزینه ها و پیچیدگی: پردازش داده ها به صورت محلی در لبه، هزینه های گران انتقال داده را برای ارسال اطلاعات به عقب و جلو حذف می کند.
• حفظ حریم خصوصی: داده ها روی دستگاه باقی می مانند و خطرات امنیتی مرتبط با انتقال داده و نشت داده را کاهش می دهد.
• مقیاس‌پذیری بهتر: رویکرد غیرمتمرکز با هوش مصنوعی لبه، مقیاس‌بندی برنامه‌ها را بدون تکیه بر یک سرور مرکزی برای قدرت پردازش آسان‌تر می‌کند.

به عنوان مثال، یک تولیدکننده می‌تواند هوش مصنوعی لبه‌ای را در فرآیندهای خود برای نگهداری پیش‌بینی‌کننده، کنترل کیفیت و تشخیص عیب پیاده‌سازی کند. با اجرای هوش مصنوعی و تجزیه و تحلیل داده‌های محلی از ماشین‌ها و حسگرهای هوشمند، تولیدکنندگان می‌توانند از داده‌های هم‌زمان برای کاهش زمان خرابی و بهبود فرآیندهای تولید و کارایی بهتر استفاده کنند.

نقش کوانتیزاسیون مدل

برای اینکه هوش مصنوعی لبه‌ای مؤثر باشد، مدل‌های هوش مصنوعی باید برای عملکرد بدون به خطر انداختن دقت بهینه شوند. مدل‌های هوش مصنوعی پیچیده‌تر، پیچیده‌تر و بزرگ‌تر می‌شوند و مدیریت آنها را سخت‌تر می‌کند. این چالش‌هایی را برای استقرار مدل‌های هوش مصنوعی در لبه ایجاد می‌کند، جایی که دستگاه‌های لبه اغلب منابع محدودی دارند و توانایی‌شان برای پشتیبانی از چنین مدل‌هایی محدود است.

کوانتیزه‌سازی مدل دقت عددی پارامترهای مدل را کاهش می‌دهد (برای مثال از ممیز شناور ۳۲ بیتی به عدد صحیح ۸ بیتی)، مدل‌ها را سبک وزن و مناسب برای استقرار در دستگاه‌های دارای محدودیت منابع مانند تلفن‌های همراه، دستگاه‌های لبه، و سیستم های تعبیه شده

سه تکنیک به‌عنوان تغییردهنده‌های بالقوه بازی در حوزه کوانتیزه‌سازی مدل ظاهر شده‌اند، یعنی GPTQ، LoRA، و QLoRA:

• GPTQ شامل فشرده سازی مدل ها پس از آموزش است. این برای استقرار مدل ها در محیط هایی با حافظه محدود ایده آل است.
• LoRA شامل تنظیم دقیق مدل های بزرگ از پیش آموزش دیده برای استنباط است. به طور خاص، ماتریس های کوچکتر (معروف به آداپتور LoRA) را که ماتریس بزرگ یک مدل از پیش آموزش دیده را تشکیل می دهند، به خوبی تنظیم می کند.
• QLoRA یک گزینه حافظه کارآمدتر است که از حافظه GPU برای مدل از پیش آموزش دیده استفاده می کند. LoRA و QLoRA به ویژه هنگام تطبیق مدل‌ها با وظایف جدید یا مجموعه داده‌ها با منابع محاسباتی محدود مفید هستند.

انتخاب از این روش‌ها به شدت به نیازمندی‌های منحصربه‌فرد پروژه بستگی دارد، این که آیا پروژه در مرحله تنظیم دقیق است یا استقرار، و اینکه آیا منابع محاسباتی در اختیار دارد. با استفاده از این تکنیک‌های کوانتیزه‌سازی، توسعه‌دهندگان می‌توانند به طور موثر هوش مصنوعی را به لبه بالاتری برسانند و تعادلی بین عملکرد و کارایی ایجاد کنند که برای طیف گسترده‌ای از برنامه‌ها حیاتی است.

Edge AI مورد استفاده و پلت فرم داده

کاربردهای edge AI بسیار گسترده است. از دوربین‌های هوشمندی که تصاویر را برای بازرسی واگن‌های راه‌آهن در ایستگاه‌های قطار پردازش می‌کنند، تا دستگاه‌های بهداشتی پوشیدنی که ناهنجاری‌ها را در اجزای حیاتی کاربر تشخیص می‌دهند، تا حسگرهای هوشمندی که موجودی موجودی را در قفسه‌های خرده‌فروش‌ها نظارت می‌کنند، این احتمالات بی‌حدود است. به همین دلیل است که IDC پیش‌بینی می‌کند که هزینه‌های محاسباتی لبه‌ای در سال ۲۰۲۸ به ۳۱۷ میلیارد دلار برسد. تعریف مجدد نحوه پردازش داده ها توسط سازمان ها.

از آنجایی که سازمان‌ها مزایای استنباط هوش مصنوعی را در لبه تشخیص می‌دهند، تقاضا برای پشته‌ها و پایگاه‌های داده استنتاج لبه قوی افزایش می‌یابد. چنین پلتفرم‌هایی می‌توانند پردازش داده‌های محلی را تسهیل کنند در حالی که تمام مزایای هوش مصنوعی لبه، از کاهش تأخیر تا افزایش حریم خصوصی داده‌ها را ارائه می‌دهند.

برای رشد هوش مصنوعی لبه‌ای، یک لایه داده پایدار برای مدیریت، توزیع و پردازش داده‌ها مبتنی بر ابر و محلی ضروری است. با ظهور مدل‌های هوش مصنوعی چندوجهی، یک پلتفرم یکپارچه با قابلیت مدیریت انواع داده‌ها برای برآوردن نیازهای عملیاتی محاسبات لبه حیاتی می‌شود. یک پلت فرم داده یکپارچه، مدل‌های هوش مصنوعی را قادر می‌سازد تا به طور یکپارچه به فروشگاه‌های داده محلی در محیط‌های آنلاین و آفلاین دسترسی داشته باشند و با آنها تعامل داشته باشند. علاوه بر این، استنباط توزیع شده – که در آن مدل ها در چندین دستگاه آموزش داده می شوند که نمونه های داده محلی را بدون تبادل داده واقعی نگه می دارند – نویدبخش کاهش مسائل مربوط به حریم خصوصی داده ها و انطباق است.

همانطور که به سمت دستگاه‌های لبه هوشمند پیش می‌رویم، تلفیقی از هوش مصنوعی، محاسبات لبه و مدیریت پایگاه داده لبه‌ای برای خبر دادن به عصر راه‌حل‌های سریع، بی‌درنگ و ایمن محور خواهد بود. با نگاهی به آینده، سازمان‌ها می‌توانند روی پیاده‌سازی استراتژی‌های پیشرفته برای مدیریت کارآمد و ایمن بارهای کاری هوش مصنوعی و ساده‌سازی استفاده از داده‌ها در کسب‌وکارشان تمرکز کنند.

راهول پرادهان  معاون محصول و استراتژی در Couchbase، ارائه دهنده یک پایگاه داده مدرن برای برنامه های سازمانی است که ۳۰٪ از Fortune 100 به آن وابسته است. Rahul بیش از ۲۰ سال تجربه رهبری و مدیریت تیم های مهندسی و محصولات با تمرکز بر پایگاه های داده، ذخیره سازی، شبکه و فناوری های امنیتی در فضای ابری دارد.

—

Generative AI Insights مکانی را برای رهبران فناوری – از جمله فروشندگان و سایر مشارکت‌کنندگان خارجی – فراهم می‌کند تا چالش‌ها و فرصت‌های هوش مصنوعی مولد را بررسی و بحث کنند. این انتخاب گسترده است، از غواصی عمیق فناوری گرفته تا مطالعات موردی گرفته تا نظرات متخصص، اما همچنین ذهنی است، بر اساس قضاوت ما در مورد اینکه کدام موضوعات و درمان‌ها به بهترین وجه به مخاطبان فنی پیشرفته InfoWorld خدمت می‌کنند. InfoWorld وثیقه بازاریابی را برای انتشار نمی پذیرد و حق ویرایش تمام محتوای ارائه شده را برای خود محفوظ می دارد. تماس با doug_dineley@foundryco.com.