هوش مصنوعی قابل توضیح توضیح داد

شاید روزی مدل‌های یادگیری ماشینی بیشتر «جعبه شیشه‌ای» باشند تا جعبه سیاه. تا آن زمان، ابزارها و تکنیک‌های «XAI» می‌توانند به ما کمک کنند تا بفهمیم یک مدل جعبه سیاه چگونه تصمیم‌گیری می‌کند.

در حالی که مدل‌های یادگیری ماشینی و یادگیری عمیق اغلب طبقه‌بندی‌های و پیش‌بینی خوبی ایجاد می‌کنند، اما تقریباً هرگز کامل نیستند. . مدل ها تقریباً همیشه درصدی از پیش بینی های مثبت کاذب و منفی کاذب دارند. این گاهی اوقات قابل قبول است، اما زمانی که ریسک بالا باشد، اهمیت زیادی دارد. به عنوان مثال، یک سیستم تسلیحاتی پهپادی که به اشتباه یک مدرسه را به عنوان پایگاه تروریستی شناسایی می‌کند، می‌تواند سهواً کودکان و معلمان بی‌گناه را بکشد، مگر اینکه یک اپراتور انسانی تصمیم حمله را نادیده بگیرد.

اپراتور باید بداند چرا هوش مصنوعی مدرسه را به عنوان یک هدف طبقه‌بندی کرده است و قبل از اینکه حمله را مجاز کند یا نادیده بگیرد، تصمیم‌گیری نامطمئن است. قطعا مواردی وجود داشته است که تروریست ها از مدارس، بیمارستان ها و مراکز مذهبی به عنوان پایگاهی برای حملات موشکی استفاده کرده اند. آیا این مدرسه یکی از آن‌ها بود؟ آیا اطلاعات یا مشاهدات اخیری وجود دارد که نشان دهد مدرسه در حال حاضر توسط چنین تروریست هایی اشغال شده است؟ آیا گزارش ها یا مشاهداتی وجود دارد که نشان دهد هیچ دانش آموز یا معلمی در مدرسه حضور ندارد؟

اگر چنین توضیحاتی وجود نداشته باشد، مدل اساساً یک جعبه سیاه است و این یک مشکل بزرگ است. برای هر تصمیم هوش مصنوعی که تأثیر دارد – نه تنها تأثیر زندگی و مرگ، بلکه تأثیر مالی یا تأثیر نظارتی – مهم است که بتوانیم مشخص کنیم چه عواملی در تصمیم مدل نقش داشته اند.

هوش مصنوعی قابل توضیح چیست؟

هوش مصنوعی قابل توضیح (XAI) که به آن هوش مصنوعی قابل تفسیر نیز گفته می‌شود، به روش‌های یادگیری ماشینی و یادگیری عمیق اشاره دارد که می‌تواند تصمیمات خود را به گونه‌ای توضیح دهد که انسان بتواند آن را درک کند. امید این است که XAI در نهایت به اندازه مدل‌های جعبه سیاه دقیق شود.

توضیح‌پذیری می‌تواند پیش از وقوع (مدل‌های جعبه سفید قابل تفسیر مستقیم) یا پس‌هک (تکنیک‌هایی برای توضیح یک مدل آموزش‌دیده قبلی یا پیش‌بینی آن) باشد. مدل‌های Ante-hoc عبارتند از شبکه‌های عصبی قابل توضیح (xNN)، ماشین‌های تقویت‌کننده قابل توضیح (EBM)، مدل‌های عدد صحیح خطی بسیار پراکنده (SLIM)، مدل توجه زمان معکوس (RETAIN) و یادگیری عمیق بیزی (BDL).

روش‌های توضیح‌پذیری پس از انجام، شامل توضیحات محلی قابل تفسیر مدل-آگنوستیک است. (LIME) و همچنین تجسم های محلی و جهانی از پیش بینی های مدل مانند اثر محلی انباشته< نمودارهای /a> (ALE)، یک بعدی و دو بعدی نقشه های وابستگی جزئی< /a> (PDP)، انتظارات شرطی فردی (ICE)، و مدلهای جایگزین درخت تصمیم.

چگونه الگوریتم های هوش مصنوعی قابل توضیح کار می کنند

اگر تمام پیوندهای بالا را دنبال کردید و مقالات را خواندید، قدرت بیشتری برای شما خواهد داشت – و راحت از این بخش رد شوید. نوشته های زیر خلاصه های کوتاهی هستند. پنج مورد اول مدل‌های پیش‌هک هستند و بقیه روش‌های پس‌هک هستند.

شبکه های عصبی قابل توضیح

شبکه‌های عصبی قابل توضیح (xNN) مبتنی بر مدل‌های شاخص افزایشی هستند که می‌توانند توابع پیچیده را تقریبی کنند. عناصر این مدل ها شاخص های طرح ریزی و توابع برآمدگی نامیده می شوند. xNN ها شبکه های عصبی هستند که برای یادگیری مدل های شاخص افزایشی با زیرشبکه هایی طراحی شده اند که توابع پشته را یاد می گیرند. اولین لایه پنهان از توابع فعال سازی خطی استفاده می کند، در حالی که شبکه های فرعی معمولاً از چندین لایه کاملاً متصل تشکیل شده اند و از توابع فعال سازی غیرخطی استفاده می کنند.

xNN ها می توانند به تنهایی به عنوان مدل های پیش بینی قابل توضیح که مستقیماً از داده ها ساخته شده اند استفاده شوند. آنها همچنین می توانند به عنوان مدل های جایگزین برای توضیح سایر مدل های ناپارامتریک، مانند روش های مبتنی بر درخت و شبکه های عصبی پیشخور استفاده شوند. مقاله ۲۰۱۸ در xNN از Wells Fargo آمده است.

دستگاه تقویت کننده قابل توضیح

همانطور که هنگام بررسی هوش مصنوعی و یادگیری ماشینی Azure اشاره کردم، مایکروسافت InterpretML را منتشر کرده است. بسته به عنوان منبع باز است و آن را در داشبورد توضیحی در یادگیری ماشینی Azure گنجانده است. در میان بسیاری از ویژگی‌های خود، InterpretML یک مدل «جعبه شیشه‌ای» از Microsoft Research به نام دستگاه تقویت‌کننده قابل توضیح (EBM) دارد. .

EBM طوری طراحی شده است که به اندازه جنگل های تصادفی و درختان تقویت شده دقیق باشد و در عین حال تفسیر آن نیز آسان باشد. این یک مدل افزودنی تعمیم یافته، با برخی اصلاحات است. EBM هر عملکرد ویژگی را با استفاده از تکنیک‌های مدرن یادگیری ماشینی مانند کیسه‌بندی و تقویت گرادیان می‌آموزد. روند تقویت محدود به آموزش روی یک ویژگی در یک زمان به صورت دوره‌ای با استفاده از نرخ یادگیری بسیار پایین است تا ترتیب ویژگی‌ها مهم نباشد. همچنین می تواند اصطلاحات تعامل زوجی را شناسایی کرده و شامل شود. پیاده سازی در C++ و Python قابل موازی سازی است.

مدل عدد صحیح خطی فوق پراکنده

مدل عدد صحیح خطی فوق پراکنده (SLIM) یک مسئله برنامه ریزی اعداد صحیح است که معیارهای مستقیم دقت (از دست دادن ۰-۱) و پراکندگی (l0-seminorm) را بهینه می کند در حالی که ضرایب را به مجموعه کوچکی از اعداد صحیح coprime محدود می کند. SLIM می‌تواند سیستم‌های امتیازدهی مبتنی بر داده ایجاد کند که در غربالگری پزشکی مفید هستند.

مدل توجه زمان معکوس

مدل توجه زمان معکوس (RETAIN) یک مدل پیش بینی قابل تفسیر برای داده های پرونده الکترونیک سلامت (EHR) است. RETAIN به دقت بالایی دست می یابد و در عین حال قابل تفسیر بالینی است. این مبتنی بر یک مدل توجه عصبی دو سطحی است که بازدیدهای گذشته تأثیرگذار و متغیرهای بالینی مهم را در آن بازدیدها تشخیص می‌دهد (به عنوان مثال تشخیص‌های کلیدی). RETAIN با مراجعه به داده‌های EHR در یک ترتیب زمانی معکوس، تمرین پزشک را تقلید می‌کند تا بازدیدهای بالینی اخیر احتمالاً توجه بیشتری را به خود جلب کنند. داده‌های آزمایش در مقاله RETAIN نارسایی قلبی را بر اساس تشخیص‌ها و داروها در طول زمان پیش‌بینی کرد.

یادگیری عمیق بیزی

یادگیری عمیق بیزی (BDL) برآوردهای اصولی عدم قطعیت را از معماری های یادگیری عمیق ارائه می دهد. اساساً، BDL به رفع این مشکل کمک می‌کند که اکثر مدل‌های یادگیری عمیق نمی‌توانند عدم قطعیت خود را با مدل‌سازی مجموعه‌ای از شبکه‌ها با وزن‌های برگرفته از توزیع احتمال آموخته‌شده مدل‌سازی کنند. BDL معمولاً تعداد پارامترها را دو برابر می کند.

توضیحات مدل قابل تفسیر محلی

توضیحات مدل-اگنوستیک قابل تفسیر محلی ( LIME) تکنیکی است که پیش‌بینی‌های هر طبقه‌بندی‌کننده یادگیری ماشینی را با برهم زدن ویژگی‌های ورودی و بررسی پیش‌بینی‌ها توضیح می‌دهد. شهود اصلی پشت LIME این است که تقریب یک مدل جعبه سیاه با یک مدل ساده به صورت محلی (در همسایگی پیش‌بینی که می‌خواهیم توضیح دهیم)، بسیار ساده‌تر است، در مقابل تلاش برای تقریب یک مدل در سطح جهانی. هم در حوزه متن و هم در حوزه تصویر کاربرد دارد. بسته LIME Python در PyPI با منبع در GitHub است. همچنین در InterpretML گنجانده شده است.

قطعات ALE برای اجاره دوچرخه. از یادگیری ماشینی قابل تفسیر توسط کریستوف مولنار.

اثرات محلی انباشته شده

افکت‌های محلی انباشته (ALE) توضیح می‌دهد که چگونه ویژگی‌ها بر پیش‌بینی تأثیر می‌گذارند از یک مدل یادگیری ماشین به طور متوسط، با استفاده از تفاوت های ناشی از اختلالات محلی در فواصل زمانی. نمودارهای ALE یک جایگزین سریعتر و بی طرفانه برای نمودارهای وابستگی جزئی (PDP) هستند. PDP ها زمانی که ویژگی ها همبستگی دارند با مشکل جدی مواجه می شوند. نمودارهای ALE در R و در Python.

قطعات PDP برای اجاره دوچرخه. از یادگیری ماشینی قابل تفسیر توسط کریستوف مولنار.

نقشه های وابستگی جزئی

یک نقشه وابستگی جزئی (نقشه PDP یا PD) اثر حاشیه ای یک یا دو ویژگی بر نتیجه پیش بینی شده یک مدل یادگیری ماشینی، با استفاده از میانگین روی مجموعه داده، دارد. درک PDP ها نسبت به ALE ها آسان تر است، اگرچه ALE ها اغلب در عمل ترجیح داده می شوند. PDP و ALE برای یک ویژگی خاص اغلب شبیه به هم هستند. نمودارهای PDP در R در بسته‌های iml، pdp و DALEX موجود هستند. در Python، آنها در Scikit-learn و PDPbox گنجانده شده اند.

قطعات ICE برای اجاره دوچرخه. از یادگیری ماشینی قابل تفسیر توسط کریستوف مولنار. CC

نقشه های انتظار شرطی فردی

نقشه‌های انتظار شرطی فردی (ICE) یک خط در هر نمونه نمایش می‌دهد که نشان می دهد چگونه پیش بینی نمونه با تغییر یک ویژگی تغییر می کند. در اصل، یک PDP میانگین خطوط یک نمودار ICE است. منحنی‌های انتظار شرطی فردی حتی نسبت به نمودارهای وابستگی جزئی درک بهتری دارند. نمودارهای ICE در R در بسته‌های iml، ICEbox و PDP موجود هستند. در Python، آنها در Scikit-learn در دسترس هستند.

مدل های جایگزین

یک مدل جایگزین جهانی یک مدل قابل تفسیر است که برای تقریب پیش‌بینی‌های یک مدل جعبه سیاه آموزش داده شده است. مدل‌های خطی و مدل‌های درخت تصمیم، انتخاب‌های رایج برای جانشین‌های جهانی هستند.

برای ایجاد یک مدل جایگزین، اساساً آن را با ویژگی‌های مجموعه داده و پیش‌بینی‌های مدل جعبه سیاه آموزش می‌دهید. شما می توانید جایگزین را در مقابل مدل جعبه سیاه با نگاه کردن به مربع R بین آنها ارزیابی کنید. اگر جایگزین قابل قبول باشد، می توانید از آن برای تفسیر استفاده کنید.

هوش مصنوعی قابل توضیح در DARPA

دارپا، آژانس پروژه‌های تحقیقاتی پیشرفته دفاعی، یک برنامه فعال در هوش مصنوعی قابل توضیح با مدیریت دکتر مت تورک. از وب سایت برنامه (تاکید من):

برنامه هوش مصنوعی قابل توضیح (XAI) با هدف ایجاد مجموعه ای از تکنیک های یادگیری ماشینی است که:

• تولید مدل‌های قابل توضیح بیشتر، با حفظ سطح بالایی از عملکرد یادگیری (دقت پیش‌بینی). و
• کاربران انسانی را قادر می سازد تا نسل نوظهور شرکای باهوش مصنوعی را درک کنند، به طور مناسب اعتماد کنند و به طور موثر مدیریت کنند.

سیستم‌های جدید یادگیری ماشینی این توانایی را خواهند داشت که منطق خود را توضیح دهند، نقاط قوت و ضعف خود را مشخص کنند، و درک درستی از نحوه رفتار آنها در آینده را بیان کنند. استراتژی برای دستیابی به این هدف، توسعه تکنیک‌های یادگیری ماشینی جدید یا اصلاح‌شده است که مدل‌های قابل توضیح‌تری تولید می‌کند. این مدل‌ها با تکنیک‌های پیشرفته رابط انسان و رایانه ترکیب می‌شوند که می‌توانند مدل‌ها را به دیالوگ‌های توضیحی قابل فهم و مفید برای کاربر نهایی تبدیل کنند. استراتژی ما این است که تکنیک‌های مختلفی را دنبال کنیم تا مجموعه‌ای از روش‌ها تولید کنیم که طیف وسیعی از گزینه‌های طراحی را در اختیار توسعه‌دهندگان آینده قرار دهد که فضای تجاری عملکرد در مقابل قابلیت توضیح را پوشش می‌دهد.

هوش مصنوعی توضیح‌پذیر Google Cloud

Google Cloud Platform ابزارها و چارچوب‌های هوش مصنوعی قابل توضیح را ارائه می‌کند که با جداول AutoML و هوش مصنوعی آن کار می‌کند. خدمات پلت فرم. این ابزارها به شما کمک می‌کنند تا اسناد ویژگی‌ها را درک کنید و رفتار مدل را با استفاده از ابزار What-If به صورت بصری بررسی کنید.

همپوشانی انتساب ویژگی از مدل طبقه‌بندی تصویر Google.

توضیحات هوش مصنوعی به شما نمره ای می دهد که توضیح می دهد چگونه هر عامل در نتیجه نهایی پیش بینی های مدل نقش داشته است. ابزار What-If به شما امکان می‌دهد عملکرد مدل را برای طیف وسیعی از ویژگی‌های مجموعه داده، استراتژی‌های بهینه‌سازی و حتی دستکاری در مقادیر تکی نقطه داده بررسی کنید.

ارزیابی مستمر به شما امکان می‌دهد پیش‌بینی را از مدل‌های یادگیری ماشین آموزش‌دیده‌شده در پلتفرم هوش مصنوعی نمونه‌گیری کنید و با استفاده از قابلیت ارزیابی مستمر، برچسب‌های حقیقت زمینی را برای ورودی‌های پیش‌بینی ارائه کنید. سرویس برچسب‌گذاری داده، پیش‌بینی‌های مدل را با برچسب‌های حقیقت پایه مقایسه می‌کند تا به شما در بهبود عملکرد مدل کمک کند.

هر زمان که درخواست پیش‌بینی در پلتفرم هوش مصنوعی می‌کنید، توضیحات هوش مصنوعی به شما می‌گوید که هر ویژگی در داده‌ها چقدر در نتیجه پیش‌بینی‌شده نقش داشته است.

تفسیرپذیری یادگیری ماشین H2O.ai

هوش مصنوعی بدون راننده H2O هوش مصنوعی قابل توضیحی را با ماژول تفسیرپذیری یادگیری ماشین (MLI) خود انجام می دهد. این قابلیت در هوش مصنوعی بدون راننده H2O از ترکیبی از تکنیک‌ها و روش‌ها مانند LIME، Shapley، درخت‌های تصمیم جایگزین و وابستگی جزئی در یک داشبورد تعاملی برای توضیح نتایج مدل‌های هوش مصنوعی بدون راننده و مدل‌های خارجی استفاده می‌کند.

علاوه بر این، قابلیت مستندسازی خودکار (AutoDoc) هوش مصنوعی بدون راننده با ایجاد یک سند واحد با تمام تجزیه و تحلیل داده‌های مرتبط، مدل‌سازی و نتایج توضیحی، شفافیت و یک مسیر حسابرسی را برای مدل‌های هوش مصنوعی بدون راننده فراهم می‌کند. این سند به دانشمندان داده کمک می کند تا در زمان مستندسازی مدل صرفه جویی کنند، و می توان آن را به یک فرد تجاری یا حتی اعتبار سنجی مدل داد تا درک و اعتماد به مدل های هوش مصنوعی بدون راننده را افزایش دهد.

مدل های قابل تفسیر توسط انسان DataRobot

DataRobot، که من در دسامبر ۲۰۲۰ بررسی کردم، شامل چندین مؤلفه که منجر به مدل های بسیار قابل تفسیر توسط انسان می شود:

• Model Blueprint درباره مراحل پیش‌پردازش که هر مدل برای رسیدن به آن استفاده می‌کند، بینشی می‌دهد. نتایج آن، به شما کمک می‌کند مدل‌هایی را که با DataRobot می‌سازید توجیه کنید و در صورت نیاز آن مدل‌ها را برای سازمان‌های نظارتی توضیح دهید.
• توضیحات پیش‌بینی متغیرهای برتری را نشان می‌دهد که بر نتیجه مدل برای هر رکورد تأثیر می‌گذارند، به شما امکان می دهد دقیقاً توضیح دهید که چرا مدل شما به نتیجه رسیده است.
• نمودار Feature Fit مقادیر پیش‌بینی‌شده و واقعی را مقایسه می‌کند و آنها را بر اساس اهمیت مرتب می‌کند، و به شما امکان می‌دهد تناسب یک مدل را برای هر ویژگی جداگانه ارزیابی کنید.
• نمودار جلوه‌های ویژگی نشان می‌دهد که کدام ویژگی‌ها بر مدل تأثیرگذارتر هستند و چگونه تغییرات در مقادیر هر ویژگی بر نتایج مدل تأثیر می‌گذارد.

DataRobot برای اطمینان از اینکه مدل‌ها بسیار قابل تفسیر هستند کار می‌کند، ریسک مدل را به حداقل می‌رساند و پیروی از مقررات و بهترین شیوه‌ها را برای هر سازمانی آسان می‌کند.

تکنیک‌های تفسیرپذیری داده‌ایکو

Dataiku مجموعه ای از تکنیک های مختلف تفسیرپذیری را برای درک و توضیح بهتر رفتار مدل یادگیری ماشین ارائه می دهد، از جمله: 

• اهمیت ویژگی جهانی: کدام ویژگی مهم‌تر است و سهم آنها در مدل چیست؟
• نقشه‌های وابستگی جزئی: در بین مقادیر یک ویژگی، وابستگی مدل به آن ویژگی چیست؟
• تحلیل زیرجمعیت: آیا تعاملات یا سوگیری های مدل وجود دارد؟
• توضیحات پیش‌بینی فردی (SHAP، ICE): سهم هر ویژگی در پیش‌بینی یک مشاهده فردی چیست؟
• درخت تصمیم تعاملی برای مدل‌های مبتنی بر درخت: تقسیم‌بندی‌ها و احتمالات منجر به پیش‌بینی چیست؟
• اظهارات مدل: آیا پیش‌بینی‌های مدل با شهودات متخصص موضوع در موردهای شناخته شده و لبه مطابقت دارد؟
• تشخیص یادگیری ماشینی: آیا روش من صحیح است یا مشکلات اساسی مانند نشت داده، تطبیق بیش از حد، یا عدم تعادل هدف وجود دارد؟
• تحلیل چه می‌شود: با توجه به مجموعه‌ای از ورودی‌ها، مدل چه چیزی را پیش‌بینی می‌کند، چرا و چقدر مدل نسبت به تغییر مقادیر ورودی حساس است؟
• تحلیل انصاف مدل: آیا این مدل به نفع یا علیه گروه‌ها یا ویژگی‌های حساس تعصب دارد؟

هوش مصنوعی قابل توضیح بالاخره توجهی را که شایسته آن است دریافت می کند. ما کاملاً در نقطه ای نیستیم که مدل های “جعبه شیشه ای” همیشه بر مدل های جعبه سیاه ترجیح داده شوند، اما در حال نزدیک شدن هستیم. برای پر کردن این شکاف، انواع تکنیک‌های بعدی برای توضیح مدل‌های جعبه سیاه داریم.