Este artigo apresenta um framework de detecção de anomalias online para sistemas ciberfísicos autônomos que integra aprendizado por reforço com re-treinamento em loop humano para lidar com comportamentos de sistema em evolução.
O framework utiliza uma rede Q profunda fatorizada com autoatenção para selecionar detectores ótimos de um pool de candidatos com base nas dependências de microsserviços. Ele emprega um ensemble de três detectores de deriva estatística que priorizam a precisão, emitindo alarmes apenas quando todos concordam. Um buffer de transições pendentes e uma estratégia de replay priorizado 60/40 permitem que operadores incorporem conhecimento especialista sem esquecimento catastrófico.
Avaliado em um testbed de veículos conectados para estacionamento automático, o agente aumentado com atenção alcançou uma pontuação F1 de 0.69, superando significativamente detectores individuais que marcaram no máximo 0.11. Após a deriva de conceito induzida por uma atualização de software, o re-treinamento acionado pelo operador recuperou o desempenho para 0.65 na nova distribuição enquanto mantinha 0.69 na anterior.