Makalah ini menyajikan kerangka kerja deteksi anomali online untuk sistem siber-fisika otonom yang mengintegrasikan pembelajaran penguatan dengan pelatihan ulang human-in-the-loop untuk menangani perilaku sistem yang berkembang.
Kerangka kerja tersebut menggunakan jaringan Q-deep terfaktorisasi dengan self-attention untuk memilih detektor optimal dari kumpulan kandidat berdasarkan dependensi antar-layanan. Kerangka kerja ini memanfaatkan ensemble dari tiga detektor drift statistik yang mengutamakan presisi dengan hanya memicu alarm ketika semua setuju. Buffer transisi tertunda dan strategi replay diprioritaskan 60/40 memungkinkan operator untuk memasukkan pengetahuan ahli tanpa lupa katastrofik.
Dievaluasi pada testbed kendaraan terhubung untuk parkir valet otomatis, agen yang diperkaya dengan attention mencapai skor F1 sebesar 0.69, secara signifikan mengungguli detektor tunggal yang mencetak skor maksimal 0.11. Setelah drift konsep dari pembaruan perangkat lunak mengurangi kinerja menjadi 0.52, pelatihan ulang yang dipicu oleh operator memulihkan skor F1 menjadi 0.65 pada distribusi baru.