Un estudio revela que los jueces LLM sesgados pueden desactivar silenciosamente el mecanismo de "jubilación de habilidades" en agentes autoevolutivos, impidiéndoles descartar habilidades deficientes. Esto ocurre porque el sesgo de falsos positivos permite que los fallos se filtren como éxitos, desactivando efectivamente al curador que mantiene la calidad de la biblioteca de habilidades.
- El ruido simétrico no afecta la jubilación, pero el sesgo de falsos positivos desactiva la jubilación basada en contribuciones más allá de un umbral agudo.
- La falla del mecanismo es universal en todos los dominios y tasas de fallo, excepto para evaluadores tipo verificador con tasa de falsos positivos cercana a cero.
- La calidad de la evaluación posterior solo se degrada donde la corrupción también priva la síntesis de habilidades; de lo contrario, el rendimiento se mantiene estable.
- Una auditoría de inyección de defectos puede determinar si un juez opera al lado seguro del umbral antes del despliegue.
La investigación destaca que los curadores desactivados permanecen silenciosos en las métricas agregadas, planteando un riesgo oculto para la confiabilidad del agente.