Um estudo revela que juízes LLM tendenciosos podem desativar silenciosamente o mecanismo de "aposentadoria de habilidades" em agentes autoevolutivos, impedindo-os de descartar habilidades ruins. Isso ocorre porque o viés de falsos positivos permite que falhas escapem como sucessos, efetivamente desligando o curador que mantém a qualidade da biblioteca de habilidades.
- Ruído simétrico não afeta a aposentadoria, mas o viés de falsos positivos desativa a aposentadoria baseada em contribuição após um limiar agudo.
- A falha do mecanismo é universal em domínios e taxas de falha, poupando apenas avaliadores tipo verificador com taxa de falsos positivos próxima de zero.
- A qualidade da avaliação a jusante degrada-se apenas onde a corrupção também priva a síntese de habilidades; caso contrário, o desempenho se mantém estável.
- Uma auditoria de injeção de defeitos pode determinar se um juiz opera do lado seguro do limiar antes da implantação.
A pesquisa destaca que curadores desativados permanecem silenciosos nas métricas agregadas, representando um risco oculto para a confiabilidade do agente.