Este artículo presenta un marco de detección de anomalías en línea para sistemas ciberfísicos autónomos que integra el aprendizaje por refuerzo (RL) con el reentrenamiento humano en el bucle para manejar comportamientos del sistema en evolución.
El marco utiliza una red Q profunda factorizada con autoatención para seleccionar detectores óptimos de un conjunto de candidatos basándose en dependencias de microservicios. Emplea un conjunto de tres detectores de deriva estadística que priorizan la precisión al generar alarmas solo cuando todos están de acuerdo. Un búfer de transiciones pendientes y una estrategia de replay priorizado 60/40 permiten a los operadores incorporar conocimiento experto sin olvido catastrófico.
Evaluado en un banco de pruebas de vehículos conectados para estacionamiento automático, el agente aumentado con atención logró una puntuación F1 de 0.69, superando significativamente a los detectores individuales que obtuvieron como máximo 0.11. Tras la deriva de concepto inducida por una actualización de software, el reentrenamiento activado por el operador recuperó el rendimiento a 0.65 en la nueva distribución mientras mantenía 0.69 en la anterior.