Los investigadores presentan ConceptSMILE, un marco de auditoría basado en perturbaciones y agnóstico al modelo, diseñado para evaluar la fiabilidad de las explicaciones basadas en conceptos en la IA explicable. El sistema extiende la lógica de perturbación desde la atribución a nivel de características hasta conceptos comprensibles para humanos mediante la medición de cambios en la respuesta y el ajuste de un sustituto XGBoost.
- La confiabilidad se evalúa a través de la precisión de la atribución, la fidelidad del sustituto, la veracidad, la estabilidad y la consistencia.
- La evaluación en imágenes de fondo de retina compara conceptos visuales derivados de MedSAM con conceptos semánticos basados en VLM.
- MedSAM logra una atribución espacial más fuerte y la mayor fidelidad del sustituto ($R^2 = 0.8503$, $R_w^2 = 0.8465$).
- La vía VLM demuestra una veracidad y estabilidad de los vasos sanguíneos más fuertes bajo condiciones de artefactos seleccionadas.
ConceptSMILE proporciona una capa de auditoría independiente para evaluar la confiabilidad de la IA explicable basada en conceptos.