ConceptSMILE mengaudit keandalan AI dapat dijelaskan berbasis konsep

Para peneliti memperkenalkan ConceptSMILE, sebuah kerangka kerja audit berbasis perturbasi yang tidak bergantung pada model, yang dirancang untuk mengevaluasi keandalan penjelasan berbasis konsep dalam AI dapat dijelaskan. Sistem ini memperluas logika perturbasi dari atribusi tingkat fitur ke konsep yang dapat dipahami manusia dengan mengukur pergeseran respons dan menyesuaikan surrogate XGBoost.

• Keandalan dinilai melalui akurasi atribusi, kesetiaan surrogate, kesetiaan, stabilitas, dan konsistensi.
• Evaluasi pada gambar fundus retina membandingkan konsep visual yang diturunkan dari MedSAM dengan konsep semantik berbasis VLM.
• MedSAM mencapai atribusi spasial yang lebih kuat dan kesetiaan surrogate tertinggi ($R^2 = 0.8503$, $R_w^2 = 0.8465$).
• Jalur VLM menunjukkan kesetiaan dan stabilitas pembuluh darah yang lebih kuat di bawah kondisi artefak tertentu.

ConceptSMILE menyediakan lapisan audit independen untuk mengevaluasi keandalan XAI berbasis konsep.