본 논문은 진화하는 시스템 동작을 처리하기 위해 인간-in-the-loop 재학습과 강화 학습을 통합하여 자율 사이버 물리 시스템을 위한 온라인 이상 감지 프레임워크를 제시합니다.
이 프레임워크는 마이크로서비스 종속성을 기반으로 후보 풀에서 최적의 검출기를 선택하기 위해 자기 주의(self-attention)가 적용된 분해형 딥 Q 네트워크를 활용합니다. 모든 검출기가 동의할 때만 경고를 발생시켜 정밀도를 우선시하는 3개의 통계적 드리프트 검출기 앙상블을 사용합니다. 보류 중인 전이 버퍼와 60/40 우선 재플레이 전략은 연산자가 파탄적 망각 없이 전문가 지식을 통합할 수 있게 합니다.
자동 발레 주차를 위한 연결된 차량 시험대 위에서 평가한 결과, 주의 강화 에이전트는 F1 점수 0.69를 달성하여 최대 0.11의 단일 검출기를 크게 능가했습니다. 소프트웨어 업데이트로 인한 개념 드리프트 후, 연산자가 트리거한 재학습을 통해 이전 분포에서의 0.69를 유지하면서 새로운 분포에서 성능을 0.65로 회복시켰습니다.