본 논문은 진화하는 시스템 동작을 처리하기 위해 강화 학습과 인간-in-the-loop 재훈련을 통합한 자율 사이버 물리 시스템을 위한 온라인 이상 탐지 프레임워크를 제시합니다.
이 프레임워크는 서비스 간 의존성에 기반하여 후보 풀에서 최적의 검출기를 선택하기 위해 자기 주의(self-attention)가 적용된 분해형 딥 Q 네트워크를 사용합니다. 모든 검출기가 동의할 경우에만 경보를 발생시켜 정밀도를 우선시하는 3개의 통계적 드리프트 검출기 앙상블을 활용합니다. 보류 중인 전이 버퍼와 60/40 우선 재플레이 전략을 통해 연산자는 파괴적 망각 없이 전문가 지식을 통합할 수 있습니다.
자동 발레 주차를 위한 연결된 차량 시험대(testbed)에서 평가한 결과, 주의 메커니즘이 강화된 에이전트는 F1 점수 0.69를 달성하여 최대 0.11의 단일 검출기를 크게 능가했습니다. 소프트웨어 업데이트로 인한 개념 드리프트 후 성능이 0.52로 감소했으나, 연산자가 triggers한 재훈련을 통해 새로운 분포에서 F1 점수가 0.65로 회복되었습니다.