Vertex AI Vision گوگل بدون کد را به بینایی کامپیوتر می آورد

Vertex AI Vision منابع ویدئویی، مدل‌های یادگیری ماشین و انبارهای داده را ترکیب می‌کند تا بینش‌های غنی و تجزیه و تحلیل بینایی کامپیوتری را بدون انجام کارهای سنگین ارائه دهد.

• ساخت خطوط استنتاج هوش مصنوعی بینایی
• درباره Vertex AI Vision
• استقرار خط لوله Vertex AI Vision
• ادغام و پشتیبانی از Vertex AI Vision در لبه

توسعه و استقرار Vision AI برنامه های کاربردی پیچیده و گران است. سازمان‌ها به دانشمندان داده و مهندسین یادگیری ماشین برای ایجاد خطوط لوله آموزشی و استنتاج بر اساس داده‌های بدون ساختار مانند تصاویر و ویدئوها نیاز دارند. با کمبود شدید مهندسان یادگیری ماشین ماهر، ساخت و ادغام برنامه‌های هوش مصنوعی بینایی هوشمند برای شرکت‌ها گران شده است.

از سوی دیگر، شرکت هایی مانند گوگل، اینتل، متا، مایکروسافت، NVIDIA و OpenAI مدل های از پیش آموزش دیده را در اختیار مشتریان قرار می دهند. مدل‌های از پیش آموزش‌دیده‌شده مانند تشخیص چهره، تشخیص احساسات، تشخیص وضعیت و تشخیص وسیله نقلیه برای توسعه‌دهندگان برای ساخت برنامه‌های مبتنی بر بینایی هوشمند آشکارا در دسترس هستند. بسیاری از سازمان ها برای امنیت روی دوربین های مدار بسته، نظارت و دوربین های IP سرمایه گذاری کرده اند. اگرچه این دوربین ها را می توان به مدل های از پیش آموزش دیده موجود متصل کرد، لوله کشی مورد نیاز برای اتصال نقاط بسیار پیچیده است.

ساخت خطوط استنتاج هوش مصنوعی چشم انداز

ساخت خط لوله استنتاج هوش مصنوعی چشم انداز برای به دست آوردن بینش از دوربین های موجود و مدل های از پیش آموزش دیده یا مدل های سفارشی شامل پردازش، رمزگذاری و عادی سازی جریان های ویدئویی همسو با مدل هدف است. پس از انجام آن، نتیجه استنتاج باید همراه با فراداده گرفته شود تا اطلاعات بینش از طریق داشبوردهای بصری و تجزیه و تحلیل ارائه شود.

برای فروشندگان پلتفرم، خط لوله استنتاج هوش مصنوعی ویژن فرصتی را برای ایجاد ابزارها و محیط های توسعه برای اتصال نقاط بین منابع ویدئویی، مدل ها و موتور تجزیه و تحلیل ارائه می دهد. اگر محیط توسعه یک رویکرد no-code/low-code ارائه دهد، روند را بیشتر تسریع و ساده می کند.

شکل ۱. ساخت خط لوله استنتاج AI ویژن با Vertex AI Vision.

درباره Vertex AI Vision

Vertex AI Vision Google به سازمان‌ها این امکان را می‌دهد تا بدون نیاز به لوله‌کشی، هوش مصنوعی بینایی کامپیوتری را به طور یکپارچه در برنامه‌ها ادغام کنند. و وزنه برداری این یک محیط یکپارچه است که منابع ویدئویی، مدل‌های یادگیری ماشین و انبارهای داده را برای ارائه بینش و تجزیه و تحلیل غنی ترکیب می‌کند. مشتریان می توانند از مدل های از پیش آموزش دیده موجود در محیط استفاده کنند یا مدل های سفارشی آموزش دیده در Vertex AI را بیاورند. پلت فرم.

شکل ۲. می‌توان از مدل‌های از پیش آموزش‌دیده یا مدل‌های سفارشی آموزش‌دیده در پلتفرم Vertex AI استفاده کرد.

یک برنامه Vertex AI Vision با یک بوم خالی شروع می شود که برای ایجاد خط لوله استنتاج بینایی هوش مصنوعی با کشیدن و رها کردن اجزا از یک پالت بصری استفاده می شود.

شکل ۳. ساخت خط لوله با اجزای drag and drop.

این پالت حاوی رابط‌های مختلفی است که شامل جریان‌های دوربین/ویدیو، مجموعه‌ای از مدل‌های از پیش آموزش‌دیده، مدل‌های تخصصی که بخش‌های خاص صنعت را هدف قرار می‌دهند، مدل‌های سفارشی ساخته شده با استفاده از AutoML یا Vertex AI، و ذخیره‌های داده در قالب BigQuery و AI است. انبار چشم انداز.

طبق گزارش Google Cloud، Vertex AI Vision خدمات زیر را دارد:

• Vertex AI Vision Streams: یک سرویس نقطه پایانی برای دریافت جریان‌های ویدیویی و تصاویر در سراسر یک شبکه توزیع‌شده جغرافیایی. هر دوربین یا دستگاهی را از هر کجا وصل کنید و به Google اجازه دهید مقیاس‌گذاری و جذب را انجام دهد.
• برنامه‌های Vertex AI Vision: توسعه‌دهندگان می‌توانند با استفاده از این پلت‌فرم هماهنگ‌سازی بدون سرور، پردازش رسانه و خطوط لوله تجزیه‌وتحلیل گسترده و با مقیاس خودکار بسازند.
• مدل‌های دید Vertex AI: مدل‌های بینایی از پیش ساخته شده برای کارهای رایج تجزیه و تحلیل، از جمله شمارش اشغال، تشخیص PPE، تاری چهره، و تشخیص محصول خرده‌فروشی. علاوه بر این، کاربران می‌توانند مدل‌های خود را که در پلتفرم Vertex AI آموزش دیده‌اند، بسازند و مستقر کنند.
• Vertex AI Vision Warehouse: یک سیستم ذخیره سازی رسانه غنی بدون سرور یکپارچه که جستجوی Google و ذخیره سازی ویدیوی مدیریت شده را ترکیب می کند. پتابایت داده های ویدیویی را می توان در انبار دریافت، ذخیره و جستجو کرد.

به‌عنوان مثال، خط لوله زیر ویدیو را از یک منبع دریافت می‌کند، آن را به شمارنده شخص/خودرو ارسال می‌کند، و متادیتای ورودی و خروجی (استنتاج) را در AI Vision Warehouse برای اجرای جستارهای ساده ذخیره می‌کند. می توان آن را با BigQuery جایگزین کرد تا با برنامه های موجود ادغام شود یا پرس و جوهای پیچیده مبتنی بر SQL را انجام دهد.

شکل ۴. یک خط لوله نمونه ساخته شده با Vertex AI Vision.

استقرار خط لوله Vertex AI Vision

وقتی خط لوله به صورت بصری ساخته شد، می توان آن را برای شروع استنتاج گسترش داد. علامت‌های سبز رنگ در تصویر زیر نشان‌دهنده استقرار موفقیت‌آمیز است.

شکل ۵. تیک سبز نشان می دهد که خط لوله مستقر شده است.

مرحله بعدی این است که برای شروع استنتاج، شروع به دریافت فید ویدیو کنید. گوگل یک ابزار خط فرمان به نام vaictl برای گرفتن جریان ویدئو از یک منبع و ارسال آن به نقطه پایانی Vertex AI Vision ارائه می‌کند. هم از فایل‌های ویدئویی استاتیک و هم از جریان‌های RTSP بر اساس کدگذاری H.264 پشتیبانی می‌کند.

همانطور که نشان داده شده است، پس از راه اندازی خط لوله، هر دو جریان ورودی و خروجی را می توان از کنسول نظارت کرد.

شکل ۶. نظارت بر جریان‌های ورودی و خروجی از کنسول.

از آنجایی که خروجی استنتاج در انبار AI Vision ذخیره می شود، می توان آن را بر اساس یک معیار جستجو جستجو کرد. به عنوان مثال، اسکرین شات بعدی فریم هایی را نشان می دهد که حداقل شامل پنج نفر یا وسیله نقلیه است.

شکل ۷. یک پرس و جو نمونه برای خروجی استنتاج.

Google یک SDK برای مکالمه برنامه‌ای با انبار ارائه می‌کند. توسعه دهندگان BigQuery می توانند از کتابخانه های موجود برای اجرای پرس و جوهای پیشرفته بر اساس ANSI SQL استفاده کنند.

ادغام و پشتیبانی از Vertex AI Vision در لبه

Vertex AI Vision با Vertex AI، PaaS یادگیری ماشینی مدیریت شده Google، ادغام شدیدی دارد. مشتریان می توانند مدل ها را از طریق AutoML یا آموزش سفارشی آموزش دهند. برای افزودن پردازش سفارشی خروجی، Google توابع Cloud را یکپارچه کرده است، که می‌تواند خروجی را برای افزودن حاشیه‌نویسی یا ابرداده اضافی دستکاری کند.

پتانسیل واقعی پلتفرم Vertex AI Vision در رویکرد بدون کد و توانایی ادغام با سایر سرویس‌های Google Cloud مانند BigQuery، Cloud Functions و Vertex AI نهفته است.

در حالی که Vertex AI Vision گامی عالی به سوی ساده‌سازی هوش مصنوعی بینایی است، برای استقرار برنامه‌ها در لبه به پشتیبانی بیشتری نیاز است. بخش‌های صنعتی مانند مراقبت‌های بهداشتی، بیمه و خودرو ترجیح می‌دهند خطوط لوله هوش مصنوعی چشم‌انداز را در لبه اجرا کنند تا از تأخیر جلوگیری کنند و مطابقت را رعایت کنند. افزودن پشتیبانی برای edge به یک محرک کلیدی برای Vertex AI Vision تبدیل خواهد شد.