Este artigo apresenta um framework de detecção de anomalias online para sistemas ciberfísicos autônomos que integra aprendizado por reforço com re-treinamento em loop humano para lidar com comportamentos do sistema em evolução.
O framework emprega uma rede Q profunda fatorizada com autoatenção para selecionar o detector ótimo de um pool de candidatos com base nas dependências entre serviços. Ele utiliza um ensemble de três detectores de deriva estatística que priorizam a precisão, emitindo alarmes apenas quando todos concordam. Um buffer de transições pendentes e uma estratégia de replay priorizado 60/40 permitem que operadores incorporem conhecimento de especialistas sem esquecimento catastrófico.
Avaliado em um banco de testes de veículos conectados para estacionamento automático, o agente aumentado por atenção alcançou uma pontuação F1 de 0.69, superando significativamente detectores individuais que marcaram no máximo 0.11. Após a deriva de conceito causada por uma atualização de software reduzir o desempenho para 0.52, o re-treinamento acionado pelo operador recuperou a pontuação F1 para 0.65 na nova distribuição.