本文提出了一种用于自主网络物理系统的在线异常检测框架，该框架将强化学习与人在环路的重新训练相结合，以处理不断演变的系统行为。
该框架采用带有自注意力的分解深度Q网络，基于服务间依赖关系从候选池中选择最优检测器。它利用由三个统计漂移检测器组成的集成模型，仅在所有检测器达成一致时才发出警报，从而优先保证精度。待处理转换缓冲区和60/40优先级重放策略允许操作员在不发生灾难性遗忘的情况下融入专家知识。
在用于自动代客泊车的联网车辆测试台上进行评估时，增强注意力的智能体取得了0.69的F1分数，显著优于得分最高仅为0.11的单检测器。在软件更新导致概念漂移使性能降至0.52后，操作员触发的重新训练将新分布上的F1分数恢复至0.65。