В данной статье представлен онлайн-фреймворк для обнаружения аномалий в автономных киберфизических системах, который интегрирует обучение с подкреплением (RL) с переобучением с участием человека в контуре для обработки эволюционирующего поведения системы.
Фреймворк использует факторизованную глубокую Q-сеть с механизмом внимания для выбора оптимального детектора из пула кандидатов на основе межсервисных зависимостей. Применяется ансамбль из трех статистических детекторов дрейфа, которые отдают приоритет точности, выдавая тревоги только при полном согласии всех компонентов. Буфер ожидающих переходов и стратегия приоритизированного воспроизведения с соотношением 60/40 позволяют операторам внедрять экспертные знания без катастрофического забывания.
Тестирование на тестовой площадке подключенных автомобилей для автоматической парковки показало, что агент с дополненным вниманием достиг F1-меры на уровне 0.69, значительно превзойдя одиночные детекторы, чья максимальная оценка составила 0.11. После дрейфа концепции из-за обновления программного обеспечения производительность упала до 0.52, но инициированное оператором переобучение восстановило F1-меру до 0.65 на новом распределении.