Исследователи представляют ConceptSMILE, модель-агностическую фреймворк для аудита на основе возмущений, предназначенный для оценки надёжности концептуальных объяснений в объяснимом ИИ. Система расширяет логику возмущений от атрибуции на уровне признаков до понятных человеку концепций путём измерения сдвигов ответов и подбора суррогатной модели XGBoost.

  • Надёжность оценивается через точность атрибуции, верность суррогата, достоверность, стабильность и согласованность.
  • Оценка на изображениях сетчатки глаза сравнивает визуальные концепции, полученные из MedSAM, с семантическими концепциями на основе VLM.
  • MedSAM демонстрирует более сильную пространственную атрибуцию и наивысшую верность суррогата ($R^2 = 0.8503$, $R_w^2 = 0.8465$).
  • Путь VLM показывает более высокую достоверность и стабильность сосудов при выбранных условиях артефактов.

ConceptSMILE предоставляет независимый слой аудита для оценки надёжности концептуально-объяснимого ИИ.