Cet article présente un cadre de détection d'anomalies en ligne pour les systèmes cyber-physiques autonomes qui intègre l'apprentissage par renforcement avec une réentraînement en boucle humaine pour gérer les comportements évolutifs du système.
Le cadre utilise un réseau de Q profond factorisé avec auto-attention pour sélectionner le détecteur optimal parmi un pool de candidats basé sur les dépendances inter-services. Il exploite un ensemble de trois détecteurs de dérive statistique qui privilégient la précision en émettant des alarmes uniquement lorsque tous sont d'accord. Un tampon de transition en attente et une stratégie de rejeu priorisé 60/40 permettent aux opérateurs d'incorporer des connaissances expertes sans oubli catastrophique.
Évalué sur un banc d'essai pour véhicules connectés pour le stationnement automatique, l'agent augmenté par l'attention a atteint un score F1 de 0.69, surpassant significativement les détecteurs uniques qui ont obtenu au maximum 0.11. Après une dérive de concept due à une mise à jour logicielle ayant réduit la performance à 0.52, le réentraînement déclenché par l'opérateur a récupéré le score F1 à 0.65 sur la nouvelle distribution.