هوش مصنوعی توصیف‌پذیر یا Explainable Artificial Intelligence (XAI)

XAI یا هوش مصنوعی توصیف‌پذیر به حوزه تحقیقاتی و تکنیک‌هایی اشاره دارد که هدف آن شفاف‌تر کردن و

XAI یا هوش مصنوعی توصیف‌پذیر به حوزه تحقیقاتی و تکنیک‌هایی اشاره دارد که هدف آن شفاف‌تر کردن و تفسیرپذیرتر کردن سیستم‌های AI است. XAI بر ارائه توضیحات و توجیهات برای تصمیم‌ها، پیش‌بینی‌ها و اقدامات انجام شده توسط مدل‌های AI تمرکز دارد. مدل‌های سنتی AI، به‌ویژه آن‌هایی که مبتنی بر یادگیری عمیق و الگوریتم‌های پیچیده هستند، اغلب به‌صورت جعبه سیاه در نظر گرفته می‌شوند؛ زیرا نحوة تصمیم‌گیری و پیش‌بینی در آن‌ها مشخص نیست. هدف اصلی XAI ایجاد اطمینان و درک انسانی از طریق قادر ساختن کاربران به چگونگی تصمیم‌گیری است. تکنیک‌های XAI در پی ارائه بینشی درمورد عملکرد داخلی مدل‌های AI و حل نگرانی‌های مربوط به AI از قبیل: بایاس، discrimination یا سوگیری،ethics  (تعامل با انسان) و accountability (مسئولیت‌پذیری) است.

به‌طورکلی روش‌های XAI به دودسته اصلی تقسیم می‌شوند:

1. آنالیز ویژگی‌های مهم:  برای درک سهم و ارتباط ویژگی‌ها یا متغیرهای ورودی مختلف در پیش‌بینی‌های مدل یادگیری ماشین از این نوع روش‌های XAI استفاده می‌شود. در تکنیک Permutation Importance اهمیت یک ویژگی را با جابه‌جایی تصادفی مقادیر آن در مجموعه داده و مشاهده تأثیر حاصله بر عملکرد مدل اندازه‌گیری می‌کند. میزان عملکرد پس از Permutation Importance نشانگر اهمیت ویژگی است. تکنیک دیگر در این حوزه از XAI عبارت است از Feature Importance in Tree-based Models که مانند درخت‌های تصمیم‌گیری و random forest، معیارهای اهمیت ویژگی ذاتی را ارائه می‌کنند. این روش‌ها اهمیت یک ویژگی را با ارزیابی میزان کاهش ناخالصی یا خطا در هر گره ارزیابی می‌کنند. هر چه کاهش ناخالصی بیشتر باشد، ویژگی مهم‌تر در نظر گرفته می‌شود.
2. روش‌های local interpretability: این روش‌ها متمرکز بر درک فرایند تصمیم‌گیری هستند. تکنیک‌های مرسوم در این حوزه عبارت‌اند از:

• LIME (Local Interpretable Model-Agnostic Explanations): یک تکنیک محبوب برای ایجاد توضیحات محلی برای پیش‌بینی مدل‌های یادگیری ماشین سنتی است. هدف آن ارائه بینش‌های قابل‌درک برای انسان در مورد چگونگی تصمیم‌گیری یک مدل در مورد نمونه‌ها است. ایده کلیدی در LIME، تقریب رفتار یک مدل پیچیده به‌صورت محلی با ایجاد یک مدل ساده‌تر و قابل‌تفسیر در مجاورت مدل سنتی موردنظر است. این مدل محلی برای تقلید از پیش‌بینی‌های مدل سنتی موردنظر، با نمونه‌های خاص آموزش داده شده است.
• SHAP (Shapley Additive Explanations): یک چارچوب یکپارچه برای تخصیص مقادیر مهم به ویژگی‌ها یا متغیرهای ورودی در یک مدل ارائه می‌کند. این مفهوم مبتنی بر نظریه بازی‌های مشارکتی (cooperative games) و مفهوم ارزش‌های Shapley است. در بازی‌های مشارکتی، برای نشان‌دادن توزیع عادلانه ارزش در بین بازیکنانی که به یک نتیجه جمعی کمک می‌کنند، ارزش‌های Shapley مورداستفاده قرار می‌گیرند.

سیستم‌های XAI  امروزه در صنایع مختلف از جمله پزشکی (ارائه منطق و دلیل برای تشخیص‌های پزشکی صورت‌گرفته و قادر ساختن آن‌ها در اخذ تصمیمات آگاهانه‌تر)، امور مالی (ارائه توضیحات در امتیازدهی اعتبار، کشف تقلب و توصیه‌های سرمایه‌گذاری، افزایش شفافیت و...) و وسایل نقلیه خودران (به رانندگان و تنظیم‌کننده‌ها کمک می‌کند تا تصمیمات اتخاذ شده توسط سیستم‌های خودران را درک کنند و ایمنی و پذیرش عمومی را افزایش دهند) نقش مهمی را ایفا می‌کنند. توسعه سیستم‌های XAI با مجموعه‌ای از چالش‌ها همراه است. ایجاد تعادل بین دقت و تفسیرپذیری همچنان یک نگرانی کلیدی است. تفسیرپذیری برخی از تکنیک‌های XAI ممکن است به قیمت تأثیر بر عملکرد مدل تمام شود. با پیشرفت این زمینه، محققان در حال بررسی روش‌هایی برای ادغام XAI با مدل‌های یادگیری عمیق سنتی هستند.

به‌طورکلی XAI گامی مهم در جهت ایجاد سیستم‌های هوش مصنوعی مسئول، قابل‌اعتماد و انسان‌محور است. این سیستم‌ها با فعال‌کردن شفافیت و تفسیرپذیری، کاربران را قادر می‌سازد تا پیش‌بینی‌ها و تصمیمات AI را درک کنند، سؤال کنند و اعتبارسنجی کنند. در شرایط فعلی پذیرش تکنیک‌های XAI در توسعه  AI نه‌تنها اعتماد و مسئولیت‌پذیری را تقویت می‌کند، بلکه باعث ایجاد نوآوری در صنایع مختلف خواهد شد.