Cet article présente un cadre de détection d'anomalies en ligne pour les systèmes cyber-physiques autonomes qui intègre l'apprentissage par renforcement avec une réentraînement humain-dans-la-boucle pour gérer les comportements évolutifs du système.
Le cadre utilise un réseau Q profond factorisé avec auto-attention pour sélectionner les détecteurs optimaux d'un pool de candidats basé sur les dépendances des microservices. Il emploie un ensemble de trois détecteurs de dérive statistique qui privilégient la précision en émettant des alarmes uniquement lorsque tous sont d'accord. Un tampon de transition en attente et une stratégie de rejeu priorisé 60/40 permettent aux opérateurs d'incorporer des connaissances expertes sans oubli catastrophique.
Évalué sur un banc d'essai pour véhicules connectés pour le stationnement automatique, l'agent augmenté par l'attention a obtenu un score F1 de 0.69, surpassant significativement les détecteurs uniques qui ont marqué au maximum 0.11. Après une dérive de concept induite par une mise à jour logicielle, la réentraînement déclenchée par l'opérateur a récupéré la performance à 0.65 sur la nouvelle distribution tout en maintenant 0.69 sur la précédente.