Les chercheurs présentent ConceptSMILE, un cadre d'audit basé sur les perturbations et indépendant du modèle, conçu pour évaluer la fiabilité des explications basées sur des concepts dans l'IA explicable. Le système étend la logique de perturbation de l'attribution au niveau des caractéristiques aux concepts compréhensibles par l'homme en mesurant les changements de réponse et en ajustant un substitut XGBoost.
- La fiabilité est évaluée via la précision de l'attribution, la fidélité du substitut, la fidélité, la stabilité et la cohérence.
- L'évaluation sur des images de fondus rétiniens compare les concepts visuels dérivés de MedSAM aux concepts sémantiques basés sur VLM.
- MedSAM atteint une attribution spatiale plus forte et la plus haute fidélité du substitut ($R^2 = 0.8503$, $R_w^2 = 0.8465$).
- La voie VLM démontre une fidélité et une stabilité des vaisseaux plus fortes dans des conditions d'artefacts sélectionnées.
ConceptSMILE fournit une couche d'audit indépendante pour évaluer la fiabilité de l'IA explicable basée sur des concepts.