В данной статье представлен онлайн-фреймворк для обнаружения аномалий в автономных киберфизических системах, который интегрирует обучение с подкреплением (RL) с переобучением с участием человека в контуре для обработки эволюционирующего поведения системы.
Фреймворк использует факторизованную глубокую Q-сеть с механизмом внимания для выбора оптимальных детекторов из пула кандидатов на основе зависимостей микросервисов. Применяется ансамбль из трех статистических детекторов дрейфа, которые отдают приоритет точности, подавая сигналы тревоги только при полном согласии всех компонентов. Буфер ожидающих переходов и стратегия приоритизированного воспроизведения с соотношением 60/40 позволяют операторам внедрять экспертные знания без катастрофического забывания.
Оценка проводилась на тестовом стенде подключенных транспортных средств для автоматической парковки. Агент, дополненный механизмом внимания, достиг F1-меры на уровне 0.69, значительно превзойдя одиночные детекторы, чья максимальная оценка составила 0.11. После дрейфа концепции, вызванного обновлением программного обеспечения, переобучение по инициативе оператора восстановило производительность до 0.65 на новом распределении, сохраняя показатель 0.69 на предыдущем.