研究者らは、説明可能AIにおける概念ベースの説明の信頼性を評価するために設計された、モデル非依存の摂動ベースの監査フレームワークであるConceptSMILEを発表した。このシステムは、応答の変化を測定しXGBoostのサロゲートモデルに適合させることで、特徴レベルの帰属から人間が理解可能な概念へと摂動ロジックを拡張する。

  • 信頼性は、帰属精度、サロゲートの忠実度、忠実性、安定性、一貫性を通じて評価される。
  • 網膜眼底画像に対する評価では、MedSAM由来の視覚的概念とVLMベースのセマンティック的概念が比較された。
  • MedSAMはより強力な空間的帰属と最も高いサロゲート忠実度（$R^2 = 0.8503$、$R_w^2 = 0.8465$）を達成した。
  • VLMパスウェイは、選択されたアーティファクト条件下でより強力な血管の忠実性と安定性を示した。

ConceptSMILEは、概念ベースのXAIの信頼性を評価するための独立した監査層を提供する。