Este artículo presenta un marco de detección de anomalías en línea para sistemas ciberfísicos autónomos que integra el aprendizaje por refuerzo con el reentrenamiento humano en el bucle para manejar comportamientos del sistema en evolución.
El marco emplea una red Q profunda factorizada con autoatención para seleccionar el detector óptimo de un conjunto de candidatos basado en dependencias entre servicios. Utiliza un conjunto de tres detectores de deriva estadística que priorizan la precisión al generar alarmas solo cuando todos están de acuerdo. Un búfer de transiciones pendientes y una estrategia de replay priorizado 60/40 permiten a los operadores incorporar conocimiento experto sin olvido catastrófico.
Evaluado en un banco de pruebas de vehículos conectados para estacionamiento automático, el agente aumentado con atención logró una puntuación F1 de 0.69, superando significativamente a los detectores individuales que obtuvieron como máximo 0.11. Después de que la deriva del concepto por una actualización de software redujera el rendimiento a 0.52, el reentrenamiento activado por el operador recuperó la puntuación F1 a 0.65 en la nueva distribución.